WO2024257545A1 - 空間浮遊映像表示装置および空間浮遊映像表示システム - Google Patents

空間浮遊映像表示装置および空間浮遊映像表示システム Download PDF

Info

Publication number
WO2024257545A1
WO2024257545A1 PCT/JP2024/018108 JP2024018108W WO2024257545A1 WO 2024257545 A1 WO2024257545 A1 WO 2024257545A1 JP 2024018108 W JP2024018108 W JP 2024018108W WO 2024257545 A1 WO2024257545 A1 WO 2024257545A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display device
floating
space
floating image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/018108
Other languages
English (en)
French (fr)
Inventor
智貴 山本
浩司 藤田
拓也 清水
祥 朝倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of WO2024257545A1 publication Critical patent/WO2024257545A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a three-dimensional [3D] volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a three-dimensional [3D] volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Definitions

  • the present invention relates to a space floating image display device and a space floating image display system.
  • Patent Document 1 The technology for displaying floating information in space is disclosed, for example, in Patent Document 1.
  • Patent Document 1 does not sufficiently consider configurations for achieving practical brightness and quality for the floating image in space, or configurations for allowing users to view the floating image in space more enjoyably.
  • the object of the present invention is to provide a more suitable floating image display device.
  • a floating-in-space image display device includes an image processing unit, a display unit that displays an image that has been processed by the image processing unit, and an optical system that generates a floating-in-space image based on the image displayed by the display unit, and at least a part of the floating-in-space image is formed in liquid stored in a liquid storage tank.
  • the present invention makes it possible to realize a more suitable floating-in-space image display device.
  • Other issues, configurations, and advantages will be made clear in the description of the embodiments below.
  • 1 is a diagram showing an example of a usage form of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a floating-in-the-air image display device according to an embodiment of the present invention
  • 1 is a projection diagram of a retroreflector constituting a floating-in-the-air image display device according to an embodiment of the present invention
  • FIG. 2 is a top view of a retroreflector constituting a floating-in-the-air image display device according to an embodiment of the present invention.
  • FIG. 2 is a perspective view showing a corner reflector constituting a retroreflector constituting a floating-in-the-air image display device according to an embodiment of the present invention.
  • FIG. 2 is a top view showing a corner reflector constituting a retroreflector constituting a floating-in-the-air image display device according to an embodiment of the present invention.
  • 1 is a side view showing a corner reflector constituting a retroreflector constituting a floating-in-the-air image display device according to an embodiment of the present invention;
  • FIG. 1 is a diagram showing a configuration example of a space floating image display device according to an embodiment of the present invention
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention;
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 2 is a cross-sectional view showing an example of a specific configuration of a light source device according to an embodiment of the present invention.
  • FIG. 2 is a cross-sectional view showing an example of a specific configuration of a light source device according to an embodiment of the present invention.
  • 1 is a layout diagram showing a main part of a space floating image display device according to an embodiment of the present invention; 1 is a cross-sectional view showing a configuration of a display device according to an embodiment of the present invention. 1 is a cross-sectional view showing a configuration of a display device according to an embodiment of the present invention. 1 is an explanatory diagram for explaining a light source diffusion characteristic of an image display device according to an embodiment of the present invention.
  • FIG. 1 is an explanatory diagram for explaining the diffusion characteristics of a video display device according to an embodiment of the present invention
  • 1 is a diagram illustrating an example of a problem to be solved by image processing according to an embodiment of the present invention
  • FIG. 4 is an explanatory diagram of an example of image processing according to an embodiment of the present invention.
  • FIG. 4 is an explanatory diagram of an example of a video display process according to an embodiment of the present invention.
  • FIG. 4 is an explanatory diagram of an example of a video display process according to an embodiment of the present invention.
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention;
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 13 is a diagram showing an example of a state in which a spatial floating image is displayed inside an aquarium.
  • FIG. 1 is a diagram showing an example of a space floating image display system according to an embodiment of the present invention
  • 5 is a flowchart showing an example of an operation of the space floating image display device according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating examples of judgment items and judgment conditions.
  • FIG. 11 is a diagram illustrating an example of settings in a second mode.
  • the following examples relate to an image display device that can transmit an image produced by image light from an image emission source through a transparent member that divides a space, such as glass, and display the image as a floating image outside the transparent member.
  • an image that floats in space is expressed using the term "floating image in space.” Instead of this term, it is also acceptable to express it as "aerial image,” “spatial image,” “floating image in space,” “floating optical image of displayed image,” “floating optical image of displayed image,” etc.
  • the term “floating image in space” that is mainly used in the explanation of the examples is used as a representative example of these terms.
  • a suitable image display device can be realized in a bank ATM, a ticket vending machine at a station, a digital signage, etc.
  • a touch panel is usually used in a bank ATM, a ticket vending machine at a station, etc., but a transparent glass surface or a light-transmitting plate material can be used to display high-resolution image information in a floating state on the glass surface or the light-transmitting plate material.
  • a device including the light source of this embodiment can provide a new and highly usable floating image display device (floating image display system) that can significantly reduce power consumption.
  • a floating image display device for a vehicle that can display a floating image in a one-way manner, which is visible inside and/or outside the vehicle, can be provided.
  • FIG. 1 is a diagram showing an example of the use form of a space-floating image display device according to an embodiment of the present invention, and is a diagram showing the overall configuration of the space-floating image display device according to this embodiment. The specific configuration of the space-floating image display device will be described in detail using FIG.
  • the retroreflector 2 (retroreflector) is used as an example of the retroreflector.
  • the retroreflector 2 of the present invention is not limited to a planar plate, and is used as an example of a concept including a sheet-like retroreflector attached to a planar or non-planar member, and an entire assembly in which a sheet-like retroreflector is attached to a planar or non-planar member. Furthermore, since the light rays reflected by the retroreflector 2 have the optical property of forming an image, the retroreflector 2 may be expressed as an imaging optical member or an imaging optical plate.
  • the space is divided by a show window (also called “window glass”) 105, which is a translucent material such as glass.
  • a show window also called “window glass”
  • the inside of the window glass 105 (inside the store) is shown in the depth direction, with the outside (e.g., the sidewalk) in the foreground.
  • the window glass 105 by providing the window glass 105 with a means for reflecting a specific polarized wave, it is possible to reflect the wave and form a spatial image (aerial image) at a desired position within the store.
  • FIG. 2A is a diagram showing an example of the configuration of an optical system of a space floating image display device according to an embodiment of the present invention.
  • the configuration of the space floating image display device will be described in more detail using FIG. 2A.
  • a display device 1 that diverges specific polarized image light at a narrow angle is provided in the oblique direction of a transparent member 100 such as glass.
  • the display device 1 includes a liquid crystal display panel 11 and a light source device 13 that generates specific polarized light having a narrow angle diffusion characteristic.
  • the image light of a specific polarization from the display device 1 is reflected by the polarization separation member 101 (in the figure, the polarization separation member 101 is formed into a sheet and adhered to the transparent member 100) having a film that selectively reflects the image light of a specific polarization provided on the transparent member 100, and enters the retroreflector 2.
  • a ⁇ /4 plate 21 is provided on the image light incidence surface of the retroreflector 2. The image light is made to pass through the ⁇ /4 plate 21 twice, when it enters the retroreflector 2 and when it leaves, and is polarized and converted from the specific polarization to the other polarization.
  • the polarization separation member 101 that selectively reflects the image light of a specific polarization has the property of transmitting the polarized light of the other polarization that has been polarized and converted, so the image light of the specific polarization after polarization conversion passes through the polarization separation member 101.
  • the image light that has passed through the polarization separation member 101 forms a real image, a floating image 3, outside the transparent member 100.
  • FIG. 2A shows an example in which the chief ray of the image light incident on the retroreflector 2 is incident at 90° to the retroreflector 2.
  • the incident angle of the chief ray of the image light on the retroreflector 2 is not limited to 90°, and can also be, for example, 90° ⁇ 15°.
  • the display device 1 may be configured to emit S-polarized image light to the polarization separation member 101, which may have the property of reflecting S-polarized light and transmitting P-polarized light.
  • the S-polarized image light reaching the polarization separation member 101 from the display device 1 is reflected by the polarization separation member 101 and travels toward the retroreflector 2.
  • the image light is reflected by the retroreflector 2, it passes through the ⁇ /4 plate 21 provided on the incident surface of the retroreflector 2 twice, so that the image light is converted from S-polarized light to P-polarized light.
  • the image light converted to P-polarized light travels again toward the polarization separation member 101.
  • the polarization separation member 101 has the property of reflecting S-polarized light and transmitting P-polarized light, so that the P-polarized image light passes through the polarization separation member 101 and then through the transparent member 100.
  • the image light that passes through the transparent member 100 is generated by the retroreflector 2, so it forms a floating image 3, which is an optical image of the image displayed on the display device 1, at a position that is in a mirror relationship with the image displayed on the display device 1 relative to the polarization separation member 101.
  • This polarization design makes it possible to form the floating image 3 in an optimal manner.
  • the display device 1 may be configured to emit P-polarized image light to the polarization separation member 101, and the polarization separation member 101 may have the property of reflecting P-polarized light and transmitting S-polarized light.
  • the P-polarized image light that reaches the polarization separation member 101 from the display device 1 is reflected by the polarization separation member 101 and travels toward the retroreflector 2.
  • the image light is reflected by the retroreflector 2, it passes through the ⁇ /4 plate 21 provided on the incident surface of the retroreflector 2 twice, so that the image light is converted from P-polarized light to S-polarized light.
  • the image light converted to S-polarized light travels again toward the polarization separation member 101.
  • the polarization separation member 101 has the property of reflecting P-polarized light and transmitting S-polarized light, so the S-polarized image light passes through the polarization separation member 101 and then through the transparent member 100.
  • the image light that passes through the transparent member 100 is generated by the retroreflector 2, so it forms a floating image 3, which is an optical image of the image displayed on the display device 1, at a position that is in a mirror relationship with the image displayed on the display device 1 relative to the polarization separation member 101.
  • This polarization design makes it possible to form the floating image 3 in an optimal manner.
  • the light that forms the floating image 3 is a collection of light rays that converge from the retroreflector 2 to the optical image of the floating image 3, and these light rays continue to travel in a straight line even after passing through the optical image of the floating image 3. Therefore, the floating image 3 is an image with high directionality, unlike the diffuse image light formed on a screen by a general projector or the like. Therefore, in the configuration of FIG. 2A, when a user looks in the direction of arrow A, the floating image 3 is seen as a bright image. However, when another person looks in the direction of arrow B, the floating image 3 cannot be seen as an image at all. This characteristic is very suitable for use in a system that displays images that require high security or highly confidential images that should be kept secret from people directly facing the user.
  • the polarization axis of the reflected image light may become uneven.
  • the reflection angle may also become uneven.
  • Such uneven light may not maintain the polarization state and propagation angle assumed in the design.
  • light with a polarization state and propagation angle that is not assumed in the design may re-enter the image display surface side of the liquid crystal display panel 11 directly from the position of the retroreflector 2 without passing through the polarization separation member.
  • Such light with a polarization state and propagation angle that is not assumed in the design may be reflected by a component in the space floating image display device and then re-enter the image display surface side of the liquid crystal display panel 11.
  • Such light that re-enters the image display surface side of the liquid crystal display panel 11 may be re-reflected by the image display surface of the liquid crystal display panel 11 that constitutes the display device 1, generating a ghost image and possibly degrading the image quality of the space floating image. Therefore, in this embodiment, an absorbing polarizing plate 12 may be provided on the image display surface of the display device 1.
  • the image light emitted from the display device 1 is transmitted through the absorptive polarizer 12, and the reflected light returning from the polarization separation member 101 is absorbed by the absorptive polarizer 12, thereby suppressing the re-reflection. This makes it possible to prevent degradation of image quality due to ghost images of spatially floating images.
  • the absorptive polarizer 12 may be a polarizer that absorbs P-polarized light. Also, if the display device 1 is configured to emit P-polarized image light to the polarization separation member 101, the absorptive polarizer 12 may be a polarizer that absorbs S-polarized light.
  • the above-mentioned polarization separation member 101 may be formed, for example, from a reflective polarizing plate or a metal multilayer film that reflects a specific polarized wave.
  • FIG. 2A (2) shows an example of the surface shape of a typical retroreflector 2.
  • Light rays incident on the interior of regularly-arranged hexagonal prisms are reflected by the walls and bottoms of the hexagonal prisms and emitted as retroreflected light in a direction corresponding to the incident light, and a real image floating in space is displayed based on the image displayed on the display device 1.
  • the resolution of this floating image in space depends not only on the resolution of the liquid crystal display panel 11, but also on the outer shape D and pitch P of the retroreflective portion of the retroreflector 2 shown in Figure 2A (2).
  • the resolution of the floating image in space depends not only on the resolution of the liquid crystal display panel 11, but also on the outer shape D and pitch P of the retroreflective portion of the retroreflector 2 shown in Figure 2A (2).
  • the resolution of the floating image in space depends not only on the resolution of the liquid crystal display panel 11, but also on the outer shape D and pitch P of the retroreflective portion of the retroreflector 2 shown in Figure 2A (2).
  • the resolution of the floating image in space will be reduced to about 1/3.
  • the diameter and pitch of the retroreflective portion close to that of one pixel of the liquid crystal display panel.
  • the pitch ratio of each it is advisable to design the pitch ratio of each to be a different integer multiple of one pixel.
  • the surface shape of the retroreflector of this embodiment is not limited to the above example. It may have various surface shapes that realize retroreflection. Specifically, the surface of the retroreflector of this embodiment may be provided with retroreflection elements in which triangular pyramid prisms, hexagonal pyramid prisms, other polygonal prisms, or combinations of these are periodically arranged. Alternatively, the surface of the retroreflector of this embodiment may be provided with retroreflection elements in which these prisms are periodically arranged to form cube corners. These can also be expressed as corner reflector arrays and multifaceted reflector arrays. Alternatively, the surface of the retroreflector of this embodiment may be provided with capsule lens-type retroreflection elements in which glass beads are periodically arranged.
  • FIG. 2B Another example of the configuration of the optical system of the space floating image display device will be described with reference to Fig. 2B.
  • Fig. 2B the components with the same reference numerals as Fig. 2A have the same functions and configurations as Fig. 2A. For such components, repeated explanations will be omitted to simplify the explanation.
  • image light of a specific polarization is output from the display device 1.
  • the image light of a specific polarization output from the display device 1 is input to the polarization separation member 101B.
  • the polarization separation member 101B is a member that selectively transmits the image light of a specific polarization.
  • the polarization separation member 101B is not integrated with the transparent member 100, but has an independent plate-like shape. Therefore, the polarization separation member 101B may be expressed as a polarization separation plate.
  • the polarization separation member 101B may be configured as a reflective polarizing plate configured by attaching a polarization separation sheet to a transparent member, for example.
  • the transparent member may be formed of a metal multilayer film that selectively transmits a specific polarization and reflects the polarization of other specific polarizations.
  • the polarization separation member 101B is configured to transmit the image light of a specific polarization output from the display device 1.
  • the image light that has passed through the polarization separation member 101B enters the retroreflector 2.
  • a ⁇ /4 plate 21 is provided on the image light incident surface of the retroreflector.
  • the image light is polarized and converted from a specific polarization to the other polarization by passing through the ⁇ /4 plate 21 twice, when it enters the retroreflector and when it leaves.
  • the polarization separation member 101B has the property of reflecting the polarized light of the other polarization that has been polarized and converted by the ⁇ /4 plate 21, so the image light after polarization conversion is reflected by the polarization separation member 101B.
  • the image light reflected by the polarization separation member 101B passes through the transparent member 100 and forms a spatially floating image 3, which is a real image, outside the transparent member 100.
  • the display device 1 may be configured to emit P-polarized image light to the polarization separation member 101B, which has the property of reflecting S-polarized light and transmitting P-polarized light.
  • the P-polarized image light that reaches the polarization separation member 101B from the display device 1 passes through the polarization separation member 101B and heads toward the retroreflector 2.
  • the image light is reflected by the retroreflector 2, it passes through the ⁇ /4 plate 21 provided on the incident surface of the retroreflector 2 twice, so that the image light is converted from P-polarized light to S-polarized light.
  • the image light converted to S-polarized light heads again toward the polarization separation member 101B.
  • the polarization separation member 101B has the property of reflecting S-polarized light and transmitting P-polarized light, so the S-polarized image light is reflected by the polarization separation member 101 and transmits through the transparent member 100.
  • the image light that passes through the transparent member 100 is generated by the retroreflector 2, and therefore forms a floating image 3, which is an optical image of the image displayed on the display device 1, at a position that is in a mirror relationship with the image displayed on the display device 1 relative to the polarization separation member 101B.
  • This polarization design allows the floating image 3 to be formed optimally.
  • the display device 1 may be configured to emit S-polarized image light to the polarization separation member 101B, which has the property of reflecting P-polarized light and transmitting S-polarized light.
  • the S-polarized image light that reaches the polarization separation member 101B from the display device 1 passes through the polarization separation member 101B and heads toward the retroreflector 2.
  • the image light is reflected by the retroreflector 2, it passes through the ⁇ /4 plate 21 provided on the incident surface of the retroreflector 2 twice, so that the image light is converted from S-polarized light to P-polarized light.
  • the image light converted to P-polarized light heads again toward the polarization separation member 101B.
  • the polarization separation member 101B has the property of reflecting P-polarized light and transmitting S-polarized light, so that the P-polarized image light is reflected by the polarization separation member 101 and passes through the transparent member 100.
  • the image light that passes through the transparent member 100 is generated by the retroreflector 2, so it forms a floating image 3, which is an optical image of the image displayed on the display device 1, at a position that is in a mirror relationship with the image displayed on the display device 1 relative to the polarization separation member 101B.
  • This polarization design allows the floating image 3 to be formed optimally.
  • the image display surface of the display device 1 and the surface of the retroreflector 2 are arranged parallel to each other.
  • the polarized light separating member 101B is arranged at an angle ⁇ (e.g., 30°) with respect to the image display surface of the display device 1 and the surface of the retroreflector 2.
  • e.g. 30°
  • the traveling direction of the image light reflected by the polarized light separating member 101B differs by an angle ⁇ (e.g., 60°) from the traveling direction of the image light incident from the retroreflector 2 (the direction of the chief ray of the image light).
  • the image light is output at a predetermined angle shown in the figure toward the outside of the transparent member 100, forming the space-floating image 3, which is a real image.
  • the space-floating image 3 is viewed as a bright image.
  • the space-floating image 3 cannot be viewed as an image at all. This characteristic is highly suitable for use in systems that display images that require high security or highly confidential images that should be concealed from people directly facing the user.
  • the optical system of FIG. 2B is an optical system with a different configuration from the optical system of FIG. 2A, but can form a suitable floating image in space, just like the optical system of FIG. 2A.
  • An absorptive polarizing plate may be provided on the surface of the transparent member 100 facing the polarization separation member 101B.
  • the absorptive polarizing plate may transmit the polarized waves of the image light from the polarization separation member 101B and absorb the polarized waves that are 90° out of phase with the polarized waves of the image light from the polarization separation member 101B.
  • the image light for forming the space-floating image 3 is sufficiently transmitted while the external light incident from the space-floating image 3 side of the transparent member 100 can be reduced by about 50%. This makes it possible to reduce stray light in the optical system of FIG. 2B due to the external light incident from the space-floating image 3 side of the transparent member 100.
  • FIG. 2C Another example of the configuration of the optical system of the space floating image display device will be described with reference to Fig. 2C.
  • Fig. 2C the components with the same reference numerals as those in Fig. 2B have the same functions and configurations as those in Fig. 2B. For the sake of simplicity, the description of such components will not be repeated.
  • the only difference between the optical system in FIG. 2B and the optical system in FIG. 2C is the angle at which the polarization separation member 101B is disposed relative to the image display surface of the display device 1 and the surface of the retroreflector 2. All other configurations are similar to the optical system in FIG. 2B, so a repeated description will be omitted.
  • the polarization design of the optical system in FIG. 2C is also similar to the polarization design of the optical system in FIG. 2B, so a repeated description will be omitted.
  • the polarization separation member 101B is arranged at an angle ⁇ with respect to the image display surface of the display device 1 and the surface of the retroreflector 2.
  • the angle ⁇ is 45°.
  • the angle ⁇ between the traveling direction of the image light reflected by the polarization separation member 101B (direction of the chief ray of the image light) and the traveling direction of the image light incident from the retroreflector 2 is 90°.
  • the image display surface of the display device 1 and the surface of the retroreflector 2 are perpendicular to the traveling direction of the image light reflected by the polarization separation member 101B, and the angular relationship of the surfaces constituting the optical system can be simplified. If the surface of the transparent member 100 is arranged so as to be perpendicular to the traveling direction of the image light reflected by the polarization separation member 101B, the angular relationship of the surfaces constituting the optical system can be further simplified.
  • FIG. 2C when the user looks in the direction of arrow A, the floating image 3 is seen as a bright image. However, when another person looks in the direction of arrow B, the floating image 3 cannot be seen as an image at all. This characteristic is very suitable for use in a system that displays images that require high security or highly confidential images that should be concealed from people directly facing the user.
  • the optical system of FIG. 2C is an optical system with a different configuration from the optical systems of FIG. 2A and FIG. 2B, but can form a suitable floating image in space, similar to the optical system of FIG. 2A and FIG. 2B.
  • the angles of the surfaces that make up the optical system can be made simpler.
  • An absorptive polarizing plate may be provided on the surface of the transparent member 100 facing the polarization separation member 101B.
  • the absorptive polarizing plate may transmit the polarized waves of the image light from the polarization separation member 101B and absorb the polarized waves that are 90° out of phase with the polarized waves of the image light from the polarization separation member 101B.
  • the image light for forming the space-floating image 3 is sufficiently transmitted while the external light incident from the space-floating image 3 side of the transparent member 100 can be reduced by about 50%. This makes it possible to reduce stray light in the optical system of FIG. 2C due to the external light incident from the space-floating image 3 side of the transparent member 100.
  • FIG. 2D Another example of the configuration of the optical system of the space floating image display device will be described with reference to FIG. 2D.
  • the optical system of FIG. 2D is an optical system using a retroreflector 5 different from the retroreflector 2 used in FIG. 2A to FIG. 2C.
  • Another example of the configuration 3 of the optical system will be described in more detail below with reference to FIG. 2D to FIG. 2I.
  • the components with the same reference numerals as those in FIG. 2A to FIG. 2C have the same functions and configurations as those in FIG. 2A to FIG. 2C. Such components will not be described repeatedly in order to simplify the explanation.
  • FIG. 2D is a diagram showing an example of the main components and retroreflective components of a spatial floating image display device according to one embodiment of the present invention.
  • a display device 10 that emits image light is provided in an oblique direction of a transparent member 100 such as glass.
  • the display device 10 includes a liquid crystal display panel 11 and a light source device 13 that generates light.
  • the chief ray 9020 which represents the light beam emitted from the display device 10, travels toward the retroreflector 5 and is incident on the retroreflector 5 at an incident angle ⁇ .
  • the incident angle ⁇ may be, for example, 45°.
  • the incident angle ⁇ is not limited to 45°, and may be, for example, 45° ⁇ 15°.
  • the retroreflector 5 is an optical element that has the optical property of retroreflecting light rays in at least some directions.
  • the retroreflector 5 may also be referred to as an imaging optical element or imaging optical plate.
  • the retroreflector 5 causes the main ray 9020 to travel in the z direction while being retroreflected in the x and y directions.
  • the reflected ray 9021 travels along an optical path that is mirror-symmetrical to the main ray 9020 with the retroreflector 5 as the reference, in a direction away from the retroreflector 5, passes through the transparent member 100, and forms the floating-in-space image 3 as a real image on the imaging plane.
  • the light beam that forms the floating image 3 is a collection of light rays that converge from the retroreflector 5 to the optical image of the floating image 3, and these light rays continue to travel in a straight line even after passing through the optical image of the floating image 3. Therefore, the floating image 3 is an image with high directionality, unlike a diffuse image formed on a screen by a general projector or the like. Therefore, in the configuration of Figure 2, when a user looks in the direction of arrow A, the floating image 3 is seen as a bright image. However, when another person looks in the direction of arrow B, the floating image 3 cannot be seen as an image at all. This characteristic is suitable for use in a system that displays images that require high security or highly confidential images that should be kept secret from people directly facing the user.
  • the retroreflector 5 is configured by arranging multiple corner reflectors 9040 in an array on the surface of a transparent member 50. This may be called a corner reflector array or a multi-surface reflector array.
  • the specific configuration of the corner reflector 9040 will be described in detail using Figures 2G, 2H, and 2I.
  • Light rays 9111, 9112, 9113, and 9114 emitted from a light source 9110 are reflected twice by two mirror surfaces 9041 and 9042 of the corner reflector 9040, becoming reflected light rays 9121, 9122, 9123, and 9124.
  • This double reflection is a retroreflection that turns back in the same direction as the incident direction (travels in a direction rotated 180 degrees) in the x and y directions, and a regular reflection in which the incident angle and reflection angle match due to total reflection in the z direction.
  • the light rays 9111 to 9114 generate reflected light rays 9121 to 9124 on a straight line symmetrical in the z direction with respect to the corner reflector 9040, forming an aerial real image 9120.
  • the light rays 9111 to 9114 emitted from the light source 9110 are four light rays that represent the diffused light from the light source 9110, and although the light rays that enter the retroreflector 5 are not limited to these depending on the diffusion characteristics of the light source 9110, all of the incident light rays cause similar reflections and form an aerial real image 9120.
  • the position of the light source 9110 and the position of the aerial real image 9120 in the x direction are shifted, but in reality the position of the light source 9110 and the position of the aerial real image 9120 in the x direction are the same, and are overlapping when viewed in the z direction.
  • the corner reflector 9040 is a rectangular parallelepiped with only two specific faces being mirror surfaces 9041 and 9042, and the other four faces being made of transparent material.
  • the retroreflector 5 has a configuration in which the corner reflectors 9040 are arrayed so that the corresponding mirror surfaces face in the same direction.
  • mirror surface 9041 When viewed from the top (+z direction), light ray 9111 emitted from light source 9110 is incident on mirror surface 9041 (or mirror surface 9042) at a specific angle of incidence, is totally reflected at reflection point 9130, and is then totally reflected again at reflection point 9132 on mirror surface 9042 (or mirror surface 9041).
  • the angle of incidence of the light ray 9111 with respect to the mirror surface 9041 (or the mirror surface 9042) is ⁇
  • the angle of incidence of the first reflected light ray 9131 reflected by the mirror surface 9041 (or the mirror surface 9042) with respect to the mirror surface 9042 (or the mirror surface 9041) can be expressed as 90°- ⁇ . Therefore, with respect to the light ray 9111, the second reflected light ray 9121 rotates by 2 ⁇ after the first reflection and by 2 ⁇ (90°- ⁇ ) after the second reflection, resulting in a total inversion optical path of 180°. On the other hand, when viewed from the side (the direction halfway between -x and -y), total reflection in the z direction occurs only once. Therefore, if the angle of incidence with respect to the mirror surface 9041 or the mirror surface 9042 is ⁇ , with respect to the light ray 9111, the reflected light ray 9121 rotates by 2 ⁇ after one reflection.
  • the light rays incident on the corner reflector 9040 undergo retroreflection with inverted optical paths in the x and y directions, and undergo regular reflection due to total reflection in the z direction.
  • the retroreflector 5 Similar reflections occur in each optical path, so that an image is formed at a point symmetrical with respect to the z-axis direction due to the inverted optical paths that are convergent in the x and y directions.
  • the retroreflector 2 has retroreflection properties in three axial directions.
  • the convergent reflected light beam travels towards the side of the retroreflector 2 where the light source of the incident light is located.
  • This convergent reflected light beam forms an image in the air to form a floating image 3.
  • the traveling direction of the chief ray of the convergent reflected light beam reflected from the retroreflector 2 is the opposite direction to the traveling direction of the chief ray of the diffusive incident light beam that is incident on the retroreflector 2.
  • the retroreflector 5 has retroreflection properties in two axial directions, and is specular in the other axial direction.
  • the retroreflector 5 when a diffusive incident light beam is incident on the retroreflector 5, the convergent reflected light beam reflected by the corner reflector array travels toward the side of the retroreflector 5 opposite the side where the light source of the incident light is located. This convergent reflected light beam forms an image in the air, forming the floating image 3.
  • the direction of travel of the chief ray of the convergent reflected light beam reflected by the corner reflector array of the retroreflector 5 is not the opposite direction to the direction of travel of the chief ray of the diffusive incident light beam incident on the retroreflector 5.
  • the normal component of the plate-shaped surface of the retroreflector 5 in the direction of travel of the chief ray of the diffusive incident light beam incident on the retroreflector 5 and the normal component of the plate-shaped surface of the retroreflector 5 in the direction of travel of the chief ray after being reflected by the retroreflector 5 to become a convergent reflected light beam continue to travel in a straight line before and after reflection by the corner reflector array.
  • the diffusive incident light beam is converted into a convergent reflected light beam by reflection on the retroreflector 5, but in the normal direction to the plate-shaped surface of the retroreflector 5, this light beam travels as if passing through the retroreflector 5.
  • the diffusive incident light beam that enters the retroreflector 5 and the convergent reflected light beam that exits from the retroreflector 5 are geometrically symmetrical with respect to the plate-shaped surface of the retroreflector 5.
  • the resolution of the floating image formed by the light from the video output unit 10 depends heavily on the diameter D and pitch P (not shown) of the retroreflective portion of the retroreflector 5 shown in Figures 2E and 2F, in addition to the resolution of the liquid crystal display panel 11.
  • D and pitch P not shown
  • the diameter D of the retroreflective portion is 240 ⁇ m and the pitch P is 300 ⁇ m
  • one pixel of the floating image in space will be equivalent to 300 ⁇ m.
  • the effective resolution of the floating image in space will be reduced to about 1/3.
  • the diameter D and pitch P of the retroreflective portion close to one pixel of the liquid crystal display panel.
  • the pitch ratio of each it is advisable to design the pitch ratio of each to be a different integer multiple of one pixel.
  • the shape of the retroreflector (imaging optical plate) according to this embodiment is not limited to the above example. It may have various shapes that realize retroreflection. Specifically, it may be various cubic corner bodies, corner reflector arrays, slit mirror arrays, two-sided corner reflector arrays, polyhedral reflector arrays, or shapes in which a combination of their reflective surfaces is periodically arranged. Alternatively, a capsule lens type retroreflection element in which glass beads are periodically arranged may be provided on the surface of the retroreflection plate of this embodiment. The detailed configuration of these retroreflection elements can be achieved by using existing technology, so a detailed description will be omitted. Specifically, it is possible to use the technology disclosed in JP2017-33005A, JP2019-133110A, JP2017-67933A, WO2009/131128A, etc.
  • the image light emitted from the display device 10 can be in any polarization state. It does not matter whether it is S-polarized or P-polarized.
  • the optical system of FIG. 2D is an optical system that uses a different retroreflector than the optical systems of FIG. 2A to FIG. 2C, but it can form a more suitable floating image in space, just like the optical systems of FIG. 2A to FIG. 2C.
  • optical systems of Figures 2A, 2B, 2C, and 2D described above can provide brighter, higher quality floating images.
  • FIG. 3 is a block diagram showing an example of the internal configuration of the space floating image display device 1000.
  • the floating-in-space image display device 1000 includes a retroreflection unit 1101, an image display unit 1102, a light guide 1104, a light source 1105, a power source 1106, an external power source input interface 1111, an operation input unit 1107, a non-volatile memory 1108, a memory 1109, a control unit 1110, an image signal input unit 1131, an audio signal input unit 1133, a communication unit 1132, an aerial operation detection sensor 1351, an aerial operation detection unit 1350, an audio output unit 1140, a microphone 1139, an image control unit 1160, a storage unit 1170, an imaging unit 1180, and the like. It may also include a removable media interface 1134, an attitude sensor 1113, a transmissive self-luminous image display device 1650, a second display device 1680, or a secondary battery 1112.
  • the components of the space floating image display device 1000 are arranged in a housing 1190.
  • the imaging unit 1180 and the aerial operation detection sensor 1351 shown in FIG. 3 may be provided on the outside of the housing 1190.
  • the retroreflective portion 1101 in FIG. 3 corresponds to the retroreflective plate 2 in FIG. 2A, FIG. 2B, and FIG. 2C.
  • the retroreflective portion 1101 retroreflects light modulated by the image display portion 1102.
  • the light reflected from the retroreflective portion 1101 is output to the outside of the space-floating image display device 1000 to form the space-floating image 3.
  • the image display unit 1102 in FIG. 3 corresponds to the liquid crystal display panel 11 in FIG. 2A, FIG. 2B, and FIG. 2C.
  • the light source 1105 in FIG. 3 corresponds to the light source device 13 in FIG. 2A, FIG. 2B, and FIG. 2C.
  • the image display unit 1102, the light guide 1104, and the light source 1105 in FIG. 3 correspond to the display device 1 in FIG. 2A, FIG. 2B, and FIG. 2C.
  • the video display unit 1102 is a display unit that generates an image by modulating transmitted light based on a video signal input under the control of the video control unit 1160 described below.
  • the video display unit 1102 corresponds to the liquid crystal display panel 11 of Figures 2A, 2B, and 2C.
  • a transmissive liquid crystal panel is used as the video display unit 1102.
  • a reflective liquid crystal panel that modulates reflected light or a DMD (Digital Micromirror Device: registered trademark) panel may be used as the video display unit 1102.
  • the light source 1105 generates light for the image display unit 1102 and is a solid-state light source such as an LED light source or a laser light source.
  • the power source 1106 converts AC current input from the outside via the external power input interface 1111 into DC current and supplies power to the light source 1105.
  • the power source 1106 also supplies the necessary DC current to each part in the space-floating image display device 1000.
  • the secondary battery 1112 stores the power supplied from the power source 1106.
  • the secondary battery 1112 also supplies power to the light source 1105 and other components that require power when power is not supplied from the outside via the external power input interface 1111. In other words, when the space-floating image display device 1000 is equipped with the secondary battery 1112, the user can use the space-floating image display device 1000 even when power is not supplied from the outside.
  • the light guide 1104 guides the light generated by the light source 1105 and irradiates it onto the image display unit 1102.
  • the combination of the light guide 1104 and the light source 1105 can also be called the backlight of the image display unit 1102.
  • the light guide 1104 may be configured mainly using glass.
  • the light guide 1104 may be configured mainly using plastic.
  • the light guide 1104 may be configured using a mirror. There are various methods for combining the light guide 1104 and the light source 1105. Specific configuration examples for the combination of the light guide 1104 and the light source 1105 will be explained in detail later.
  • the aerial operation detection sensor 1351 is a sensor that detects the operation of the floating-in-space image 3 by the finger of the user 230.
  • the aerial operation detection sensor 1351 senses, for example, a range that overlaps with the entire display range of the floating-in-space image 3. Note that the aerial operation detection sensor 1351 may only sense a range that overlaps with at least a portion of the display range of the floating-in-space image 3.
  • the aerial operation detection sensor 1351 include a distance sensor that uses invisible light such as infrared rays, an invisible light laser, ultrasonic waves, etc.
  • the aerial operation detection sensor 1351 may also be configured to detect coordinates on a two-dimensional plane by combining multiple sensors.
  • the aerial operation detection sensor 1351 may also be configured with a ToF (Time of Flight) type LiDAR (Light Detection and Ranging) or an image sensor.
  • ToF Time of Flight
  • LiDAR Light Detection and Ranging
  • the mid-air operation detection sensor 1351 only needs to be capable of sensing to detect touch operations, etc., performed by the user with his/her finger on an object displayed as the floating-in-space image 3. Such sensing can be performed using existing technology.
  • the aerial operation detection unit 1350 acquires a sensing signal from the aerial operation detection sensor 1351, and performs operations such as determining whether or not the finger of the user 230 has touched an object in the floating-in-space image 3 and calculating the position (contact position) at which the finger of the user 230 has touched the object based on the sensing signal.
  • the aerial operation detection unit 1350 is configured with a circuit such as an FPGA (Field Programmable Gate Array). Some of the functions of the aerial operation detection unit 1350 may also be realized by software, for example, by a spatial operation detection program executed by the control unit 1110.
  • the aerial operation detection sensor 1351 and the aerial operation detection unit 1350 may be configured to be built into the space-floating image display device 1000, or may be provided separately from the space-floating image display device 1000. When provided separately from the space-floating image display device 1000, the aerial operation detection sensor 1351 and the aerial operation detection unit 1350 are configured to transmit information and signals to the space-floating image display device 1000 via a wired or wireless communication connection path or image signal transmission path.
  • the aerial operation detection sensor 1351 and the aerial operation detection unit 1350 may be provided separately. This makes it possible to build a system in which the air-floating image display device 1000, which does not have an aerial operation detection function, is the main body, and only the aerial operation detection function can be added as an option. Also, a configuration in which only the aerial operation detection sensor 1351 is a separate unit, and the aerial operation detection unit 1350 is built into the air-floating image display device 1000, may be used. In cases where it is desired to more freely position the aerial operation detection sensor 1351 relative to the installation position of the air-floating image display device 1000, a configuration in which only the aerial operation detection sensor 1351 is a separate unit is advantageous.
  • the imaging unit 1180 is a camera with an image sensor, and captures the space near the floating-in-space image 3 and/or the face, arms, fingers, etc. of the user 230.
  • a plurality of imaging units 1180 may be provided. By using a plurality of imaging units 1180, or by using an imaging unit with a depth sensor, it is possible to assist the aerial operation detection unit 1350 in detecting the touch operation of the floating-in-space image 3 by the user 230.
  • the imaging unit 1180 may be provided separately from the floating-in-space image display device 1000. When the imaging unit 1180 is provided separately from the floating-in-space image display device 1000, it is sufficient to configure it so that an imaging signal can be transmitted to the floating-in-space image display device 1000 via a wired or wireless communication connection path, etc.
  • the aerial operation detection sensor 1351 may not be able to detect information such as how far an object that has not intruded into the intrusion detection plane (e.g., a user's finger) is from the intrusion detection plane, or how close the object is to the intrusion detection plane.
  • the distance between the object and the intrusion detection plane can be calculated by using information such as object depth calculation information based on the captured images of the multiple image capturing units 1180 and object depth information from the depth sensor.
  • This information, as well as various other information such as the distance between the object and the intrusion detection plane, are used for various display controls for the floating in space image 3.
  • the aerial operation detection unit 1350 may detect a touch operation of the floating-in-space image 3 by the user 230 based on the captured image of the imaging unit 1180.
  • the imaging unit 1180 may also capture an image of the face of the user 230 operating the floating image 3, and the control unit 1110 may perform an identification process for the user 230.
  • the imaging unit 1180 may also capture an image of the user 230 operating the floating image 3 and a range including the user 230 operating the floating image 3 and the surrounding area of the user 230, in order to determine whether or not another person is standing around or behind the user 230 operating the floating image 3 and peeking at the user's operation of the floating image 3.
  • the operation input unit 1107 is, for example, an operation button, a signal receiving unit such as a remote controller, or an infrared light receiving unit, and inputs a signal for an operation different from the aerial operation (touch operation) by the user 230.
  • the operation input unit 1107 may be used, for example, by an administrator to operate the floating-in-space image display device 1000.
  • Video signal input unit 1131 connects to an external video output device and inputs video data.
  • Various digital video input interfaces are possible for video signal input unit 1131.
  • it may be configured with a video input interface conforming to the HDMI (registered trademark) (High-Definition Multimedia Interface) standard, a video input interface conforming to the DVI (Digital Visual Interface) standard, or a video input interface conforming to the DisplayPort standard.
  • HDMI registered trademark
  • DVI Digital Visual Interface
  • DisplayPort DisplayPort
  • an analog video input interface such as analog RGB or composite video may be provided.
  • the audio signal input unit 1133 connects an external audio output device and inputs audio data.
  • the audio signal input unit 1133 may be configured as an HDMI standard audio input interface, an optical digital terminal interface, a coaxial digital terminal interface, or the like.
  • the video signal input unit 1131 and the audio signal input unit 1133 may be configured as an interface in which a terminal and a cable are integrated.
  • the audio output unit 1140 is capable of outputting audio based on the audio data input to the audio signal input unit 1133.
  • the audio output unit 1140 may be configured as a speaker.
  • the audio output unit 1140 may also output built-in operation sounds or error warning sounds. Alternatively, the audio output unit 1140 may be configured to output a digital signal to an external device, like the Audio Return Channel function defined in the HDMI standard.
  • the microphone 1139 is a microphone that picks up sounds around the space floating image display device 1000, converts them into a signal, and generates an audio signal.
  • the microphone may be configured to record a person's voice, such as a user's voice, and the control unit 1110, described later, may perform voice recognition processing on the generated audio signal to obtain text information from the audio signal.
  • Non-volatile memory 1108 stores various data used by the space floating image display device 1000.
  • Data stored in non-volatile memory 1108 includes, for example, data for various operations to be displayed on the space floating image 3, display icons, data for objects to be operated by user operations, layout information, etc.
  • Memory 1109 stores image data to be displayed as the space floating image 3, data for controlling the device, etc.
  • the control unit 1110 controls the operation of each connected unit.
  • the control unit 1110 may also work with a program stored in the memory 1109 to perform calculations based on information acquired from each unit in the space floating image display device 1000.
  • the communication unit 1132 communicates with external devices, external servers, etc., via a wired or wireless communication interface.
  • the wired communication interface may be configured, for example, as an Ethernet standard LAN interface.
  • the interface may be configured, for example, as a Wi-Fi communication interface, a Bluetooth communication interface, or a mobile communication interface such as 4G or 5G.
  • Various types of data such as video data, image data, and audio data, are sent and received by communication via the communication unit 1132.
  • the removable media interface 1134 is an interface for connecting a removable recording medium (removable media).
  • the removable recording medium (removable media) may be composed of a semiconductor element memory such as a solid state drive (SSD), a magnetic recording medium recording device such as a hard disk drive (HDD), or an optical recording medium such as an optical disk.
  • the removable media interface 1134 is capable of reading out various information such as various data including video data, image data, and audio data recorded on the removable recording medium.
  • the video data, image data, and the like recorded on the removable recording medium are output as a floating image 3 via the image display unit 1102 and the retroreflection unit 1101.
  • the storage unit 1170 is a storage device that records various information such as various data such as video data, image data, audio data, etc.
  • the storage unit 1170 may be configured with a magnetic recording medium recording device such as a hard disk drive (HDD) or a semiconductor element memory such as a solid state drive (SSD).
  • HDD hard disk drive
  • SSD solid state drive
  • various information such as various data such as video data, image data, audio data, etc. may be recorded in advance in the storage unit 1170 at the time of product shipment.
  • the storage unit 1170 may also record various information such as various data such as video data, image data, audio data, etc. acquired from an external device or an external server via the communication unit 1132.
  • the video data, image data, etc. recorded in the storage unit 1170 are output as the space floating image 3 via the image display unit 1102 and the retroreflective unit 1101.
  • the video data, image data, etc. of the display icons and objects for the user to operate, which are displayed as the space floating image 3, are also recorded in the storage unit 1170.
  • Layout information such as display icons and objects displayed as the floating-in-space image 3, and various metadata information related to the objects are also recorded in the storage unit 1170.
  • the audio data recorded in the storage unit 1170 is output as audio from the audio output unit 1140, for example.
  • the video control unit 1160 performs various controls related to the video signal input to the video display unit 1102.
  • the video control unit 1160 may be called a video processing circuit, and may be configured with hardware such as an ASIC, an FPGA, or a video processor.
  • the video control unit 1160 may also be called a video processing unit or an image processing unit.
  • the video control unit 1160 performs control of video switching, such as which video signal is input to the video display unit 1102, between the video signal to be stored in the memory 1109 and the video signal (video data) input to the video signal input unit 1131, for example.
  • the image control unit 1160 may also generate a superimposed image signal by superimposing the image signal to be stored in the memory 1109 and the image signal input from the image signal input unit 1131, and input the superimposed image signal to the image display unit 1102, thereby controlling the formation of a composite image as a floating-in-space image 3.
  • the video control unit 1160 may also control image processing of the video signal input from the video signal input unit 1131 and the video signal to be stored in the memory 1109.
  • image processing include scaling processing to enlarge, reduce, or deform an image, brightness adjustment processing to change the brightness, contrast adjustment processing to change the contrast curve of an image, and Retinex processing to break down an image into light components and change the weighting of each component.
  • the video control unit 1160 may also perform special effect video processing, etc., to assist the user 230 in performing an aerial operation (touch operation) on the video signal input to the video display unit 1102.
  • the special effect video processing is performed, for example, based on the detection result of the touch operation of the user 230 by the aerial operation detection unit 1350, or on an image of the user 230 captured by the imaging unit 1180.
  • the attitude sensor 1113 is a sensor consisting of a gravity sensor or an acceleration sensor, or a combination of these, and can detect the attitude in which the space-floating image display device 1000 is installed. Based on the attitude detection result of the attitude sensor 1113, the control unit 1110 may control the operation of each connected unit. For example, if an undesirable attitude is detected as the user's usage state, control may be performed to stop the display of the image being displayed on the image display unit 1102 and display an error message to the user. Alternatively, if the attitude sensor 1113 detects that the installation attitude of the space-floating image display device 1000 has changed, control may be performed to rotate the display direction of the image being displayed on the image display unit 1102.
  • the space-floating image display device 1000 is equipped with various functions. However, the space-floating image display device 1000 does not need to have all of these functions, and any configuration is acceptable as long as it has the function of forming the space-floating image 3.
  • FIG. 4A is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4A is equipped with an optical system corresponding to the optical system of FIG. 2A.
  • the space-floating image display device 1000 shown in FIG. 4A is installed horizontally so that the surface on which the space-floating image 3 is formed faces upward. That is, in FIG. 4A, the space-floating image display device 1000 has a transparent member 100 installed on the top surface of the device.
  • the space-floating image 3 is formed above the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels diagonally upward.
  • the mid-air operation detection sensor 1351 When the mid-air operation detection sensor 1351 is provided as shown in the figure, it is possible to detect the operation of the space-floating image 3 by the finger of the user 230.
  • the x direction is the left-right direction as seen from the user
  • the y direction is the front-back direction (depth direction) as seen from the user
  • the z direction is the up-down direction (vertical direction).
  • the definitions of the x-direction, y-direction, and z-direction are the same in each of the figures in Figure 4, so repeated explanations will be omitted.
  • FIG. 4B is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4B is equipped with an optical system corresponding to the optical system of FIG. 2A.
  • the space-floating image display device 1000 shown in FIG. 4B is installed vertically so that the surface on which the space-floating image 3 is formed faces the front of the space-floating image display device 1000 (toward the user 230). That is, in FIG. 4B, the space-floating image display device is installed with the transparent member 100 on the front side of the device (toward the user 230).
  • the space-floating image 3 is formed on the user 230 side with respect to the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels diagonally upward.
  • the midair operation detection sensor 1351 is provided as shown in the figure, it is possible to detect the operation of the space-floating image 3 by the finger of the user 230.
  • the aerial operation detection sensor 1351 senses the finger of the user 230 from above, and can use the reflection of sensing light by the user's nail for touch detection.
  • the nail has a higher reflectivity than the pad of the finger, so this configuration can improve the accuracy of touch detection.
  • FIG. 4C is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4C is equipped with an optical system corresponding to the optical system of FIG. 2B.
  • the space-floating image display device 1000 shown in FIG. 4C is installed horizontally so that the surface on which the space-floating image 3 is formed faces upward. That is, in FIG. 4C, the space-floating image display device 1000 has a transparent member 100 installed on the top surface of the device.
  • the space-floating image 3 is formed above the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels diagonally upward. If the mid-air operation detection sensor 1351 is provided as shown in the figure, it can detect the operation of the space-floating image 3 by the finger of the user 230.
  • FIG. 4D is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4D is equipped with an optical system corresponding to the optical system of FIG. 2B.
  • the space-floating image display device 1000 shown in FIG. 4D is installed vertically so that the surface on which the space-floating image 3 is formed faces the front of the space-floating image display device 1000 (toward the user 230). That is, in FIG. 4D, the space-floating image display device 1000 is installed with the transparent member 100 on the front side of the device (toward the user 230).
  • the space-floating image 3 is formed on the user 230 side with respect to the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels diagonally upward.
  • the midair operation detection sensor 1351 is provided as shown in the figure, it is possible to detect the operation of the space-floating image 3 by the finger of the user 230.
  • the aerial operation detection sensor 1351 senses the finger of the user 230 from above, and can use the reflection of sensing light by the user's nail for touch detection.
  • nails have a higher reflectivity than the pad of a finger, so this configuration can improve the accuracy of touch detection.
  • FIG. 4E is a diagram showing an example of the configuration of a floating-in-space image display device.
  • the floating-in-space image display device 1000 shown in FIG. 4E is equipped with an optical system corresponding to the optical system in FIG. 2C.
  • the floating-in-space image display device 1000 shown in FIG. 4E is installed horizontally so that the surface on which the floating-in-space image 3 is formed faces upward. That is, in FIG. 4E, the floating-in-space image display device 1000 has a transparent member 100 installed on the top surface of the device.
  • the floating-in-space image 3 is formed above the surface of the transparent member 100 of the floating-in-space image display device 1000.
  • the light of the floating-in-space image 3 travels directly upward. If the mid-air operation detection sensor 1351 is provided as shown in the figure, it is possible to detect the operation of the floating-in-space image 3 by the finger of the user 230.
  • FIG. 4F is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4F is equipped with an optical system corresponding to the optical system of FIG. 2C.
  • the space-floating image display device 1000 shown in FIG. 4F is installed vertically so that the surface on which the space-floating image 3 is formed faces the front of the space-floating image display device 1000 (toward the user 230). That is, in FIG. 4F, the space-floating image display device 1000 is installed with the transparent member 100 on the front side of the device (toward the user 230).
  • the space-floating image 3 is formed on the user 230 side with respect to the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels in the direction toward the user. If the mid-air operation detection sensor 1351 is provided as shown in the figure, it is possible to detect the operation of the space-floating image 3 by the finger of the
  • FIG. 4G is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4G is equipped with an optical system corresponding to the optical system of FIG. 2C.
  • the central optical path of the image light emitted from the display device 1 was on the yz plane. That is, in the optical systems of the space-floating image display devices shown in FIG. 4A to FIG. 4F, the image light traveled in the front-back direction and the up-down direction as seen from the user.
  • the central optical path of the image light emitted from the display device 1 is on the xy plane. That is, in the optical system of the space-floating image display device shown in FIG. 4G, the image light travels in the left-right direction and the front-back direction as seen from the user.
  • the surface on the side on which the space-floating image 3 is formed is installed so that it faces the front of the device (the direction of the user 230). That is, in FIG. 4G, the space-floating image display device 1000 has the transparent member 100 installed on the front side of the device (toward the user 230).
  • the space-floating image 3 is formed on the user side of the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels toward the user. If the mid-air operation detection sensor 1351 is provided as shown in the figure, it can detect the operation of the space-floating image 3 by the finger of the user 230.
  • FIG. 4H is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 of FIG. 4H differs from the space-floating image display device of FIG. 4G in that it has a window having a transparent plate 100B such as glass or plastic on the back of the device (opposite the position where the user 230 views the space-floating image 3, i.e., opposite the traveling direction of the image light of the space-floating image 3 toward the user 230).
  • the other configurations are the same as those of the space-floating image display device of FIG. 4G, so repeated explanations will be omitted.
  • the space-floating image display device 1000 has a window having a transparent plate 100B at a position opposite the traveling direction of the image light of the space-floating image 3 with respect to the space-floating image 3. Therefore, when the user 230 views the space-floating image 3, the scenery behind the space-floating image display device 1000 can be recognized as the background of the space-floating image 3. Therefore, the user 230 can perceive the space floating image 3 as floating in the air in front of the scenery behind the space floating image display device 1000. This further emphasizes the floating feeling of the space floating image 3.
  • the window on the back of the space floating image display device 1000 may be configured without providing the transparent plate 100B.
  • FIG. 4I is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 in FIG. 4I differs from the space-floating image display device in FIG. 4H in that a light-blocking door 1410 is provided in the window of the transparent plate 100B located on the back of the device (the opposite side to the position where the user 230 views the space-floating image 3).
  • the rest of the configuration is the same as that of the space-floating image display device in FIG. 4H, so repeated explanations will be omitted.
  • the opening and closing door 1410 of the space-floating image display device 1000 in FIG. 4I has, for example, a light-shielding plate and is equipped with a mechanism for moving (sliding), rotating, or attaching/detaching the light-shielding plate, so that the window (rear window) of the transparent plate 100B located at the back of the space-floating image display device 1000 can be switched between an open state and a light-shielding state.
  • the movement (sliding) and rotation of the light-shielding plate by the opening and closing door 1410 may be electrically driven by a motor (not shown).
  • the motor may be controlled by the control unit 1110 in FIG. 3. Note that in the example of FIG. 4I, an example in which the opening and closing door 1410 has two light-shielding plates is disclosed. In contrast, the opening and closing door 1410 may have only one light-shielding plate.
  • the control unit 1110 may control a motor (not shown) to perform a shielding operation by the light shielding plate of the opening and closing door 1410.
  • control unit 1110 in FIG. 3 may control a motor (not shown) to perform the opening and closing operation of the light shielding plate of the opening and closing door 1410 according to the detection result of the illuminance sensor.
  • the light shielding plate provided by the opening and closing door 1410 may be manually detachable. Depending on the intended use of the spatial floating image display device 1000 and the installation environment, the user can select whether the rear window is open or shielded. If the rear window is to be used in a shielded state for a long period of time, the removable light shielding plate can be fixed in the shielded state. If the rear window is to be used in an open state for a long period of time, the removable light shielding plate can be removed.
  • the light shielding plate may be attached and detached using screws, a hook structure, or a fitting structure.
  • the window on the back of the space-floating image display device 1000 may be configured without providing the transparent plate 100B.
  • the above-mentioned opening and closing door 1410 may be provided on the window that does not have the transparent plate 100B. In order to prevent this stray light, it is desirable that the surface of the light shielding plate of the above-mentioned opening and closing door 1410 on the inside of the housing has a coating or material with low light reflectance.
  • FIG. 4J is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 of FIG. 4J differs from the space-floating image display device of FIG. 4H in that instead of placing a transparent plate 100B made of glass or plastic on the rear side window, an electronically controlled transmittance variable device 1620 is placed.
  • the rest of the configuration is the same as that of the space-floating image display device of FIG. 4H, so repeated explanations will be omitted.
  • An example of the electronically controlled transmittance variable device 1620 is a liquid crystal shutter, etc.
  • the liquid crystal shutter can control the transmitted light by controlling the voltage of the liquid crystal element sandwiched between two polarizing plates. Therefore, if the liquid crystal shutter is controlled to increase the transmittance, the scenery through the rear window can be seen through the background of the floating image 3. Also, if the liquid crystal shutter is controlled to increase the transmittance, the scenery through the rear window can be hidden as the background of the floating image 3. In addition, since the liquid crystal shutter can control the intermediate length, it can also be set to a state of transmittance of 50% or the like.
  • the control unit 1110 may control the transmittance of the electronically controlled transmittance variable device 1620 in response to an operation input via the operation input unit 1107 in FIG. 3.
  • the control unit 1110 in FIG. 3 controls the transmittance of the electronically controlled transmittance variable device 1620 according to the detection result of the illuminance sensor.
  • the transmittance of the electronically controlled transmittance variable device 1620 can be adjusted according to the brightness of the space beyond the rear window even if the user 230 does not perform operation input via the operation input unit 1107 in FIG. 3, making it possible to more appropriately maintain the visibility of the space floating image 3.
  • a liquid crystal shutter has been described as an example of the electronically controlled transmittance variable device 1620.
  • electronic paper may be used as another example of the electronically controlled transmittance variable device 1620.
  • the same effect as described above can be obtained when electronic paper is used.
  • electronic paper consumes very little power to maintain a halftone state. Therefore, a low-power floating image display device can be realized compared to the case where a liquid crystal shutter is used.
  • FIG. 4K is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 of FIG. 4K differs from the space-floating image display device of FIG. 4G in that it has a transmissive self-luminous image display device 1650 instead of a transparent member 100.
  • the rest of the configuration is the same as that of the space-floating image display device of FIG. 4G, so repeated explanations will be omitted.
  • the image light beam passes through the display surface of the transparent self-luminous image display device 1650, and then the space-floating image 3 is formed outside the space-floating image display device 1000. That is, when an image is displayed on the transparent self-luminous image display device 1650, which is a two-dimensional flat display, the space-floating image 3 can be displayed as a pop-out image further in front of the image of the transparent self-luminous image display device 1650. At this time, the user 230 can simultaneously view two images with different depth positions.
  • the transparent self-luminous image display device 1650 may be configured using existing technology such as a transparent organic EL panel disclosed in, for example, JP 2014-216761 A. Note that the transparent self-luminous image display device 1650 is not shown in FIG. 3, but may be configured to be connected to other processing units such as the control unit 1110 as one component of the space-floating image display device 1000 of FIG. 3.
  • the transparent self-luminous image display device 1650 displays both the background and an object such as a character, and then the object such as the character moves into the floating image 3 in front of the user, the user 230 can be provided with a more effective surprise image experience.
  • the transparent self-luminous image display device 1650 appears to the user 230 as a normal two-dimensional flat display, not a transparent display. Note that since the space-floating image 3 in the embodiment of the present invention is displayed as a real optical image in a space without a screen, if the light source of the display device 1 is turned off, the intended display position of the space-floating image 3 becomes an empty space.
  • the transparent self-luminous image display device 1650 when used to display an image as if it were a general two-dimensional flat display, characters, objects, etc. can be suddenly displayed in the air as the space-floating image 3, providing the user 230 with a more effective surprise video experience.
  • an absorbing polarizing plate (not shown) that transmits the polarized wave of the image light reflected by the polarization separation member 101B and absorbs the polarized wave that is 90 degrees out of phase with the polarized wave may be provided on the inner surface of the transmissive self-luminous image display device 1650 (the incident surface of the image light reflected by the polarization separation member 101B to the transmissive self-luminous image display device 1650, i.e., the surface of the transmissive self-luminous image display device 1650 opposite the space-floating image 3).
  • the effect on the image light that forms the space-floating image 3 is not so great, but the light that enters the inside of the space-floating image display device 1000 from the outside through the transmissive self-luminous image display device 1650 can be significantly reduced, and the inside of the space-floating image display device 1000 can be made darker, which is preferable.
  • FIG. 4L is a diagram showing an example of the configuration of a space-floating image display device.
  • Space-floating image display device 1000 in FIG. 4L is a modified example of the space-floating image display device in FIG. 4K.
  • the orientation of the components in space-floating image display device 1000 differs from that of the space-floating image display device in FIG. 4K, and is closer to the arrangement of the space-floating image display device in FIG. 4F.
  • the functions and operations of each component are the same as those of the space-floating image display device in FIG. 4K, so repeated explanations will be omitted.
  • a space-floating image 3 is formed on the user 230 side of the transmissive self-luminous image display device 1650.
  • the space-floating image 3 appears superimposed on the image of the transparent self-luminous image display device 1650 as seen by the user 230.
  • the position of the space-floating image 3 and the position of the image of the transparent self-luminous image display device 1650 are configured to have a difference in the depth direction. Therefore, when the user moves his/her head (position of viewpoint), he/she can recognize the depth of the two images due to parallax. Therefore, by displaying two images with different depth positions, it is possible to provide the user with a more suitable three-dimensional image experience with the naked eye without the need for stereoscopic glasses or the like.
  • FIG. 4M is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 of FIG. 4M is provided with a second display device 1680 on the rear side, as seen from the user, of the polarization separation member 101B of the space-floating image display device of FIG. 4G.
  • the rest of the configuration is the same as that of the space-floating image display device of FIG. 4G, so repeated explanations will be omitted.
  • the second display device 1680 is provided behind the display position of the space-floating image 3, and the image display surface faces the space-floating image 3.
  • the image of the second display device 1680 and the image of the space-floating image 3, which are displayed at two different depth positions, can be viewed as being superimposed from the user 230's perspective.
  • the second display device 1680 is positioned so that the image is displayed in the direction of the user 230 who is viewing the space-floating image 3.
  • the second display device 1680 is not shown in FIG. 3, it may be configured to be connected to other processing units such as the control unit 1110 as one component of the space-floating image display device 1000 of FIG. 3.
  • the image light of the second display device 1680 of the space floating image display device 1000 in FIG. 4M is visually recognized by the user 230 after passing through the polarization separation member 101B. Therefore, in order for the image light of the second display device 1680 to pass through the polarization separation member 101B more preferably, it is desirable that the image light output from the second display device 1680 is polarized in a vibration direction that the polarization separation member 101B more preferably passes through. In other words, it is desirable that the image light is polarized in the same vibration direction as the polarization of the image light output from the display device 1. For example, if the image light output from the display device 1 is S-polarized, it is desirable that the image light output from the second display device 1680 is also S-polarized. Also, if the image light output from the display device 1 is P-polarized, it is desirable that the image light output from the second display device 1680 is also P-polarized.
  • the example of the space-floating image display device of FIG. 4M has the same effect as the example of the space-floating image display device of FIG. 4K and the example of the space-floating image display device of FIG. 4L in that a second image is displayed behind the space-floating image 3.
  • the luminous flux of the image light for forming the space-floating image 3 does not pass through the second display device 1680.
  • the second display device 1680 does not need to be a transmissive self-luminous image display device, and may be a liquid crystal display that is a two-dimensional flat display.
  • the second display device 1680 may be an organic EL display. Therefore, in the example of the space-floating image display device of FIG. 4M, it is possible to realize the space-floating image display device 1000 at a lower cost than the example of the space-floating image display device of FIG. 4K and the example of the space-floating image display device of FIG. 4L.
  • a portion of the image light output from the display device 1 may be reflected by the polarization separation member 101B and travel toward the second display device 1680.
  • This light (a portion of the image light) may be reflected again by the surface of the second display device 1680 and may be visually recognized by the user as stray light.
  • an absorptive polarizer may be provided on the surface of the second display device 1680.
  • the absorptive polarizer may transmit the polarized waves of the image light output from the second display device 1680 and absorb the polarized waves that are 90° out of phase with the polarized waves of the image light output from the second display device 1680.
  • the second display device 1680 is a liquid crystal display
  • an absorptive polarizer is also present on the image output side inside the liquid crystal display.
  • the floating-in-space image 3 can be displayed as an image further in front of the user in front of the image on the second display device 1680.
  • the user 230 can simultaneously view two images with different depth positions.
  • the second display device 1680 displays both the background and an object such as a character, and then the object such as the character moves into the floating-in-space image 3 in the foreground, the user 230 can be provided with a more effective surprise-like video experience.
  • FIG. 4N is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 in FIG. 4N is a space-floating image display device that employs the optical system in FIG. 2D.
  • an image is formed in the air as a space-floating image 3 by image light that has passed through a transparent member 100.
  • the operation of the space-floating image 3 by the user's finger 9004 can be detected using the sensing light of an aerial operation detection sensor 1351 that is positioned on the back side of the transparent member 100 as seen from the user.
  • the floating-in-space image 3 is formed in front of the transparent member 100, and the operation of the floating-in-space image 3 by the user's finger can be detected using the sensing light of the aerial operation detection sensor 1351 arranged on the back side of the transparent member 100 as seen by the user. Therefore, the floating-in-space image display device employing the optical system of Fig. 2D has a different optical system from the floating-in-space image display device in which the optical system of Fig. 2A to Fig. 2C is arranged on the back side of the transparent member 100 as seen by the user.
  • FIG. 4O is a diagram showing an example of the configuration of a space-floating image display device.
  • FIG. 4O is a diagram showing the configuration of the internal optical system of the space-floating image display device 1000 of FIG. 4N.
  • the space-floating image display device 1000 shown in FIG. 4O is equipped with an optical system corresponding to the optical system of FIG. 2D.
  • the space-floating image display device 1000 shown in FIG. 4O is installed horizontally so that the surface on which the space-floating image 3 is formed faces upward.
  • the floating-in-space image display device 1000 has a transparent member 100 placed on the top surface of the device.
  • the floating-in-space image 3 is formed above the surface of the transparent member 100 of the floating-in-space image display device 1000.
  • the light of the floating-in-space image 3 travels diagonally upward. If the mid-air operation detection sensor 1351 is provided as shown in the figure, it can detect the operation of the floating-in-space image 3 by the finger of the user 230.
  • Fig. 4O will be compared with the configuration of Fig. 4A to confirm the differences.
  • the display device 1 and the floating image 3 are in a plane-symmetrical relationship with respect to the plane of the polarized light separating member 101.
  • the display device 1 and the floating image 3 are in a plane-symmetrical relationship with respect to the plane of the retroreflector 5.
  • the configuration of Fig. 4A includes the retroreflector 2 and the ⁇ /4 plate 21, but these do not exist in Fig. 4O.
  • it would be more preferable to include an absorbing polarizer 12 in Fig. 4A there is no particular need for an absorbing polarizer 12 in Fig. 4O.
  • the following can be done. That is, the polarization separation member 101 in the configuration of FIG. 4A can be replaced with the retroreflector 5, and the retroreflector 2 and the ⁇ /4 plate 21 can be removed from the configuration of FIG. 4A.
  • the absorptive polarizer 12 can be omitted. If a replacement is made based on this idea, the optical system of FIG. 2A to FIG. 2C mounted on the configuration of the space floating image display device of FIG. 4A to FIG. 4G can be replaced with the optical system of FIG.
  • the space floating image display device can be replaced with the optical system of FIG. 2D.
  • the polarization separation member 101 can be replaced with the retroreflector 5 in FIG. 4A and FIG. 4B, and the polarization separation member 101B can be replaced with the retroreflector 5 in FIG. 4C to FIG. 4G.
  • the display device 1 of this embodiment includes an image display element (liquid crystal display panel) 11 and a light source device 13 constituting the light source thereof.
  • the light source device 13 is shown together with the liquid crystal display panel as an exploded perspective view.
  • this liquid crystal display panel receives an illumination light beam from light source device 13, which is a backlight device, that has narrow-angle diffusion characteristics, i.e., has strong directionality (straight-line propagation) and characteristics similar to laser light with a polarization plane aligned in one direction.
  • the liquid crystal display panel (image display element 11) modulates the received illumination light beam according to the input video signal.
  • the modulated image light is reflected by retroreflector 2 and passes through transparent member 100 to form a real image, which is a floating image in space (see Figure 1).
  • the display device 1 is configured to include a liquid crystal display panel 11, a light direction conversion panel 54 that controls the directional characteristics of the light beam emitted from the light source device 13, and a narrow-angle diffuser plate (not shown) as necessary. That is, polarizing plates are provided on both sides of the liquid crystal display panel 11, and image light of a specific polarization is emitted with the light intensity modulated by the image signal (see arrow 30 in FIG. 5). As a result, the desired image is projected as light of a specific polarization with high directivity (linearity) through the light direction conversion panel 54 toward the retroreflector 2, and after reflection by the retroreflector 2, it is transmitted toward the eyes of a monitor outside the store (space) to form a floating image 3.
  • a protective cover 50 may be provided on the surface of the above-mentioned light direction conversion panel 54.
  • FIG. 6 shows an example of a specific configuration of the display device 1.
  • the liquid crystal display panel 11 and the light direction conversion panel 54 are arranged on the light source device 13 of FIG. 5.
  • the light source device 13 is formed, for example, from plastic on the case shown in FIG. 5, and is configured by storing the LED element 201 and the light guide 203 inside.
  • the end surface of the light guide 203 has a shape in which the cross-sectional area gradually increases toward the opposite side to the light receiving part in order to convert the divergent light from each LED element 201 into a substantially parallel light beam, and is provided with a lens shape that has an effect of gradually decreasing the divergence angle by total reflection multiple times during propagation inside.
  • the liquid crystal display panel 11 constituting the display device 1 is attached to the upper surface of the display device 1.
  • the LED element 201 which is a semiconductor light source
  • the LED board 202 on which its control circuit is mounted are attached to one side (the left end surface in this example) of the case of the light source device 13.
  • a heat sink which is a member for cooling the heat generated by the LED elements and the control circuit, may be attached to the outer surface of the LED board 202 .
  • the frame (not shown) of the liquid crystal display panel attached to the upper surface of the case of the light source device 13 is configured by attaching the liquid crystal display panel 11 attached to the frame, and further by attaching FPC (Flexible Printed Circuits) (not shown) electrically connected to the liquid crystal display panel 11. That is, the liquid crystal display panel 11, which is an image display element, generates a display image by modulating the intensity of transmitted light based on a control signal from a control circuit (image control unit 1160 in FIG. 3) constituting an electronic device together with the LED element 201, which is a solid light source.
  • FPC Flexible Printed Circuits
  • the generated image light has a narrow diffusion angle and contains only specific polarization components, so that a new image display device that is similar to a surface-emitting laser image source driven by an image signal is obtained.
  • a new image display device that is similar to a surface-emitting laser image source driven by an image signal is obtained.
  • Figures 6 and 7 are cross-sectional views, only one of the multiple LED elements 201 that make up the light source is shown, and this is converted into approximately collimated light by the shape of the light-receiving end surface 203a of the light guide 203. For this reason, the light-receiving part of the light guide end surface and the LED element are attached while maintaining a specified positional relationship.
  • the light guides 203 are each formed of a translucent resin such as acrylic.
  • the LED light receiving surface at the end of the light guide 203 has a convex convex outer surface obtained by rotating a parabolic cross section, and at the top of the light guide 203, a concave portion is formed with a convex portion (i.e., a convex lens surface) in the center, and a convex lens surface protruding outward (or a concave lens surface recessed inward) is formed in the center of the flat surface (not shown).
  • the outer shape of the light receiving part of the light guide to which the LED element 201 is attached is a parabolic shape that forms a conical outer surface, and is set within an angle range in which the light emitted from the LED element in the peripheral direction can be totally reflected inside, or a reflective surface is formed.
  • the LED elements 201 are arranged at predetermined positions on the surface of the LED board 202, which is the circuit board.
  • the LED board 202 is arranged and fixed so that the LED elements 201 on its surface are positioned in the center of the recessed portion described above with respect to the LED collimator (light receiving end surface 203a).
  • the shape of the light receiving end surface 203a of the light guide 203 makes it possible to extract the light emitted from the LED element 201 as approximately parallel light, thereby improving the efficiency of use of the generated light.
  • the light source device 13 is configured by attaching a light source unit in which a plurality of LED elements 201 serving as light sources are arranged to the light receiving end surface 203a, which is the light receiving portion provided on the end surface of the light guide 203, and the divergent light beam from the LED elements 201 is converted into approximately parallel light by the lens shape of the light receiving end surface 203a of the light guide end surface, which is guided inside the light guide 203 (in a direction parallel to the drawing) as shown by the arrow, and is emitted by the light beam direction conversion means 204 toward the liquid crystal display panel 11 arranged approximately parallel to the light guide 203 (in a direction perpendicular to the front of the drawing).
  • the uniformity of the light beam incident on the liquid crystal display panel 11 can be controlled by optimizing the distribution (density) of this light beam direction conversion means 204 depending on the shape inside or on the surface of the light guide.
  • the light beam direction conversion means 204 described above emits the light beam propagated within the light guide toward the liquid crystal display panel 11 arranged approximately parallel to the light guide 203 (in a direction perpendicular to the front of the drawing) by using the shape of the light guide surface or by providing a portion with a different refractive index inside the light guide.
  • the relative brightness ratio between the brightness at the center of the screen and the brightness at the periphery of the screen is compared while facing the liquid crystal display panel 11 directly at the center of the screen and placing the viewpoint at the same position as the diagonal dimension of the screen, there is no practical problem if the relative brightness ratio is 20% or more, and if it exceeds 30%, it will be an even better characteristic.
  • FIG. 6 is a cross-sectional layout diagram for explaining the configuration and operation of the light source of this embodiment that performs polarization conversion in light source device 13 including the above-mentioned light guide 203 and LED element 201.
  • light source device 13 is composed of light guide 203 formed of, for example, plastic or the like and having light beam direction conversion means 204 on its surface or inside, LED element 201 as a light source, reflective sheet 205, retardation plate 206, lenticular lens, etc., and on the upper surface thereof is attached liquid crystal display panel 11 equipped with polarizing plates on the light source light entrance surface and image light exit surface.
  • a film or sheet-like reflective polarizing plate 49 is provided on the light source light incidence surface (lower surface in the figure) of the liquid crystal display panel 11 corresponding to the light source device 13, and selectively reflects one side of the polarized wave (e.g. P wave) 212 of the natural light beam 210 emitted from the LED element 201.
  • the reflected light is reflected again by the reflective sheet 205 provided on one surface (lower surface in the figure) of the light guide 203, and directed toward the liquid crystal display panel 11.
  • a retardation plate (lambda/4 plate) is provided between the reflective sheet 205 and the light guide 203 or between the light guide 203 and the reflective polarizing plate 49, and the reflected light beam is reflected by the reflective sheet 205 and passes through it twice to convert the reflected light beam from P polarized light to S polarized light, improving the efficiency of use of the light source light as image light.
  • the image light beam whose light intensity has been modulated by the image signal in the liquid crystal display panel 11 (arrow 213 in FIG. 6) enters the retroreflector 2. After reflection from the retroreflector 2, a real image, a floating image in space, can be obtained.
  • FIG. 7, like FIG. 6, is a cross-sectional layout diagram for explaining the configuration and operation of the light source of this embodiment that performs polarization conversion in light source device 13 including light guide 203 and LED element 201.
  • Light source device 13 is similarly composed of light guide 203 formed of, for example, plastic, on the surface or inside of which light beam direction conversion means 204 is provided, LED element 201 as a light source, reflective sheet 205, retardation plate 206, lenticular lens, etc.
  • Attached to the top surface of light source device 13 is liquid crystal display panel 11 as an image display element, which has polarizing plates on the light source light entrance surface and image light exit surface.
  • a film or sheet-like reflective polarizing plate 49 is provided on the light source light incidence surface (lower surface in the figure) of the liquid crystal display panel 11 corresponding to the light source device 13, and selectively reflects one side of the polarized wave (e.g., S wave) 211 of the natural light beam 210 emitted from the LED element 201. That is, in the example of FIG. 7, the selective reflection characteristic of the reflective polarizing plate 49 is different from that of FIG. 7. The reflected light is reflected by the reflective sheet 205 provided on one surface (lower surface in the figure) of the light guide 203 and heads toward the liquid crystal display panel 11 again.
  • the polarized wave e.g., S wave
  • a retardation plate (lambda/4 plate) is provided between the reflective sheet 205 and the light guide 203 or between the light guide 203 and the reflective polarizing plate 49, and the reflected light beam is reflected by the reflective sheet 205 and passes through it twice to convert the reflected light beam from S polarized light to P polarized light, improving the utilization efficiency of the light source light as image light.
  • the image light beam intensity-modulated by the image signal in the liquid crystal display panel 11 enters the retroreflector 2. After reflection from the retroreflector 2, a real image, a floating image in space, can be obtained.
  • ⁇ Display Device Example 2> 8 shows another example of the specific configuration of the display device 1.
  • This light source device 13 is configured by housing LEDs, a collimator, a composite diffusion block, a light guide, etc., in a case made of, for example, plastic, and has a liquid crystal display panel 11 attached to its upper surface.
  • LED elements which are semiconductor light sources, and an LED board on which a control circuit for the LED elements are mounted are attached to one side of the case of the light source device 13, and a heat sink 103, which is a member for cooling heat generated by the LED elements and the control circuit, is attached to the outer surface of the LED board.
  • the liquid crystal display panel frame attached to the top surface of the case is configured to have the liquid crystal display panel 11 attached to the frame, and further, an FPC 403 electrically connected to the liquid crystal display panel 11, etc. attached to it. That is, the liquid crystal display panel 11, which is a liquid crystal display element, generates a display image by modulating the intensity of transmitted light based on a control signal from a control circuit (not shown here) that constitutes the electronic device, together with the LED elements, which are solid-state light sources.
  • the light source device of this display device 1 converts the divergent light flux of the light (mixture of P-polarized light and S-polarized light) from the LED into a substantially parallel light flux by the collimator 18, and reflects it toward the liquid crystal display panel 11 by the reflecting surface of the reflective light guide 304.
  • the reflected light is incident on the reflective polarizing plate 49 arranged between the liquid crystal display panel 11 and the reflective light guide 304.
  • the reflective polarizing plate 49 transmits light of a specific polarized wave (e.g., P-polarized light) and causes the transmitted polarized light to be incident on the liquid crystal display panel 11.
  • polarized waves other than the specific polarized wave e.g., S-polarized light
  • S-polarized light polarized waves other than the specific polarized wave
  • the reflective polarizing plate 49 is installed at an angle to the liquid crystal display panel 11 so that it is not perpendicular to the chief ray of light from the reflective surface of the reflective light guide 304.
  • the chief ray of light reflected by the reflective polarizing plate 49 is incident on the transmission surface of the reflective light guide 304.
  • the light incident on the transmission surface of the reflective light guide 304 passes through the back surface of the reflective light guide 304, passes through the ⁇ /4 plate 270, which is a retardation plate, and is reflected by the reflector 271.
  • the light reflected by the reflector 271 passes through the ⁇ /4 plate 270 again, and passes through the transmission surface of the reflective light guide 304.
  • the light that has passed through the transmission surface of the reflective light guide 304 is incident on the reflective polarizing plate 49 again.
  • the light that re-enters the reflective polarizing plate 49 has passed through the ⁇ /4 plate 270 twice, and therefore its polarization has been converted to a polarized wave (e.g., P-polarized light) that passes through the reflective polarizing plate 49. Therefore, the light whose polarization has been converted passes through the reflective polarizing plate 49 and enters the liquid crystal display panel 11.
  • a polarized wave e.g., P-polarized light
  • the light from the LED is aligned to a specific polarization (e.g., P polarization), enters the liquid crystal display panel 11, and is brightness-modulated according to the video signal to display an image on the panel surface.
  • a specific polarization e.g., P polarization
  • multiple LEDs that make up the light source are shown (however, because it is a vertical cross section, only one is shown in Figure 9), and these are attached at a predetermined position relative to the collimator 18.
  • the collimators 18 are each formed of a translucent resin such as acrylic or glass.
  • the collimators 18 may have a cone-shaped outer periphery obtained by rotating a parabolic cross section.
  • the collimator 18 may have a concave portion with a convex portion (i.e., a convex lens surface) formed in the center of the apex (the side facing the LED board 102).
  • the collimator 18 has a convex lens surface protruding outward (or a concave lens surface recessed inward) in the center of the flat surface (the side opposite the apex).
  • the parabolic surface forming the cone-shaped outer periphery of the collimator 18 is set within an angle range that allows the light emitted from the LED in the peripheral direction to be totally reflected therein, or a reflective surface is formed.
  • the LEDs are arranged at predetermined positions on the surface of the circuit board, LED board 102.
  • the LED board 102 is arranged and fixed to the collimator 18 so that the LEDs on its surface are located at the center of the apex of the convex cone shape (or in the concave portion if the apex has a concave portion).
  • the collimator 18 focuses the light emitted from the LED, particularly the light emitted from the center, into parallel light by the convex lens surface that forms the outer shape of the collimator 18.
  • Light emitted from other parts toward the periphery is reflected by the parabolic surface that forms the outer peripheral surface of the cone shape of the collimator 18, and is similarly focused into parallel light.
  • a collimator 18 that has a convex lens in its center and a parabolic surface formed on its periphery, it is possible to extract almost all of the light generated by the LED as parallel light, improving the efficiency of use of the generated light.
  • the light converted into approximately parallel light by the collimator 18 shown in FIG. 9 is reflected by the reflective light guide 304.
  • light of a specific polarized wave is transmitted through the reflective polarizing plate 49 by the action of the reflective polarizing plate 49, and the light of the other polarized wave reflected by the action of the reflective polarizing plate 49 is transmitted again through the reflective light guide 304.
  • the light is reflected by the reflector 271 located opposite the liquid crystal display panel 11 with respect to the reflective light guide 304.
  • the light is polarized and converted by passing twice through the ⁇ /4 plate 270, which is a retardation plate.
  • the light reflected by the reflector 271 is transmitted again through the reflective light guide 304 and enters the reflective polarizing plate 49 provided on the opposite surface. Since the incident light has been polarized, it is transmitted through the reflective polarizing plate 49 and enters the liquid crystal display panel 11 with the polarization direction aligned. As a result, all the light from the light source can be used, and the geometrical optical utilization efficiency of light is doubled.
  • the degree of polarization (extinction ratio) of the reflective polarizer is also included in the extinction ratio of the entire system, the use of the light source device of this embodiment significantly improves the contrast ratio of the entire display device.
  • the reflection diffusion angle of light at each reflective surface can be adjusted.
  • the surface roughness of the reflective surface of the reflective light guide 304 and the surface roughness of the reflector 271 can be adjusted for each design so that the uniformity of the light incident on the liquid crystal display panel 11 is more optimal.
  • the ⁇ /4 plate 270 which is the retardation plate in FIG. 9, does not necessarily have to have a phase difference of ⁇ /4 with respect to polarized light that is perpendicularly incident on the ⁇ /4 plate 270.
  • any retardation plate that changes the phase by 90° ( ⁇ /2) when polarized light passes through it twice may be used.
  • the thickness of the retardation plate may be adjusted according to the incidence angle distribution of the polarized light.
  • Display example 4 Another example (display example 4) of the configuration of the optical system such as the light source device of the display device will be described with reference to Fig. 10.
  • This is a configuration example in which a diffusion sheet is used instead of the reflective light guide 304 in the light source device of the display device example 3.
  • two optical sheets optical sheet 207A and optical sheet 207B that convert the diffusion characteristics in the vertical direction and horizontal direction (front and back directions not shown in the figure) of the drawing are used on the light emission side of the collimator 18, and the light from the collimator 18 is made to enter between the two optical sheets (diffusion sheets).
  • the optical sheet may be one sheet rather than two sheets.
  • the vertical and horizontal diffusion characteristics are adjusted by the fine shape of the front and back surfaces of the single optical sheet.
  • multiple diffusion sheets may be used to share the function.
  • the reflection diffusion characteristics due to the front and back shapes of optical sheets 207A and 207B may be optimally designed with the number of LEDs, the divergence angle from LED substrate (optical element) 102, and the optical specifications of collimator 18 as design parameters so that the surface density of the light beam emitted from liquid crystal display panel 11 is uniform.
  • the diffusion characteristics are adjusted by the surface shapes of multiple diffusion sheets instead of light guides.
  • the polarization conversion is performed in the same manner as in the display device example 3 described above. That is, in the example of FIG. 10, the reflective polarizing plate 49 may be configured to have the property of reflecting S-polarized light (transmitting P-polarized light).
  • the P-polarized light emitted from the LED light source is transmitted, and the transmitted light is incident on the liquid crystal display panel 11.
  • the S-polarized light emitted from the LED light source is reflected, and the reflected light passes through the retardation plate 270 shown in FIG. 10.
  • the light that passes through the retardation plate 270 is reflected by the reflector 271.
  • the light reflected by the reflector 271 passes through the retardation plate 270 again and is converted to P-polarized light.
  • the polarization-converted light passes through the reflective polarizing plate 49 and is incident on the liquid crystal display panel 11.
  • the ⁇ /4 plate 270 which is the retardation plate in FIG. 10, does not necessarily have to have a phase difference of ⁇ /4 with respect to polarized light that is perpendicularly incident on the ⁇ /4 plate 270.
  • any retardation plate that changes the phase by 90° ( ⁇ /2) when polarized light passes through it twice may be used.
  • the thickness of the retardation plate may be adjusted according to the distribution of the incident angles of the polarized light.
  • the polarization design related to the polarization conversion may be configured in reverse (reversing the S-polarized light and P-polarized light) based on the above explanation.
  • the light emitted from the liquid crystal display panel 11 has similar diffusion characteristics in both the horizontal direction of the screen (shown on the X-axis in FIG. 12(a)) and the vertical direction of the screen (shown on the Y-axis in FIG. 12(b)).
  • the diffusion characteristics of the light flux emitted from the liquid crystal display panel of this embodiment are 1/5 of the 62 degrees of a typical TV device, when the viewing angle at which the luminance is 50% of that when viewed from the front (angle 0 degrees) is set to 13 degrees, as shown in example 1 of FIG. 12.
  • the vertical viewing angle is optimized by optimizing the reflection angle of the reflective light guide and the area of the reflection surface so that the upper viewing angle is approximately 1/3 of the lower viewing angle, with the upper and lower viewing angles being unequal.
  • the amount of image light directed in the monitoring direction is significantly improved compared to conventional LCD TVs, and the luminance is more than 50 times higher.
  • the viewing angle at which the brightness is 50% of that when viewed from the front is set to 5 degrees, which is 1/12 of the 62 degrees of devices used for general TV applications.
  • the vertical viewing angle is optimized by optimizing the reflection angle of the reflective light guide and the area of the reflective surface so that the viewing angle is approximately 1/12 of that of devices used for general TV applications, with equal viewing angles both above and below.
  • the amount of image light directed in the monitoring direction is significantly improved compared to conventional LCD TVs, and the brightness is more than 100 times higher.
  • the viewing angle a narrow angle
  • the amount of light flux heading in the monitoring direction can be concentrated, greatly improving the efficiency of light utilization.
  • the light diffusion characteristics of the light source device it is possible to achieve a significant improvement in brightness with similar power consumption, making it possible to create an image display device that is compatible with information display systems facing bright outdoors.
  • the overall brightness of the screen can be improved by directing the light around the periphery of the screen inwards so that it faces the observer when he or she is facing the centre of the screen.
  • Figure 11 shows the convergence angle of the long and short sides of the panel when the observer's distance from the panel L and the panel size (screen ratio 16:10) are used as parameters.
  • the convergence angle can be set to match the short side; for example, when using a 22-inch panel vertically and the monitoring distance is 0.8 m, a convergence angle of 10 degrees will allow the image light from the four corners of the screen to be effectively directed towards the observer.
  • the overall brightness of the screen can be improved by directing the image light from the periphery of the screen towards the observer who is in the optimum position to monitor the centre of the screen.
  • the basic configuration involves a light source device directing a light beam with a narrow angle of directionality to a liquid crystal display panel 11, which is then luminance modulated according to a video signal.
  • the video information displayed on the screen of the liquid crystal display panel 11 is then reflected by a retroreflector, and the resulting floating-in-space image is displayed indoors or outdoors via a transparent member 100.
  • the image control unit 1160 in FIG. 3 distinguishes and recognizes the pixel area in which the image of the character "panda” 1525 is drawn from the transparent information area 1520, which is the background image, for an image including the pixel area in which the image of the character "panda” 1525 is drawn and the transparent information area 1520, which is the background image, as shown in FIG. 13A(1).
  • a method for distinguishing and recognizing the character image from the background image is to configure the image processing of the video control unit 1160 so that the background image layer and the character image layer in front of the background image layer can be processed as separate layers, and the character image and background image can be distinguished and recognized based on the overlapping relationship when these layers are composited.
  • the image control unit 1160 recognizes the black of pixels that draw objects such as character images and the transparent information pixels as different information. However, it is assumed that the brightness of both the black pixels that draw objects and the transparent information pixels is 0. In this case, when the spatial floating image 3 is displayed, there is no difference in brightness between the pixels that draw black in the image of the character "panda" 1525 and the pixels of the transparent information area 1520, which is the background image. Therefore, in the spatial floating image 3, as shown in FIG. 13A (2), there is no brightness in either the pixels that draw black in the image of the character "panda" 1525 and the pixels of the transparent information area 1520, and they are visually recognized by the user as the same optical black space.
  • FIG. 13B is a diagram for explaining an example of image processing that more suitably resolves the issue of the black image area of the object blending into the background, as described in FIG. 13A.
  • the upper side shows the display state of the floating-in-space image 3
  • the lower side shows the input/output characteristics of the image processing of the image of the object.
  • the image of the object character "panda" 1525
  • the corresponding data may be read from the storage unit 1170 or memory 1109 in FIG. 3. Alternatively, they may be input from the video signal input unit 1131. Alternatively, they may be acquired via the communication unit 1132.
  • the input/output characteristics of the image processing of the image of the object are in a linear state with no particular adjustment.
  • the display state is the same as FIG. 13A(2), and the black image area of the object blends into the background.
  • the video control unit 1160 of this embodiment adjusts the input/output characteristics of the image processing of the image of the object (character "panda" 1525) to the linear input/output characteristics shown in the lower row.
  • the video control unit 1160 performs image processing with input/output characteristics on the image of the object (character “panda” 1525), which has the characteristic of converting the pixels of the input image into output pixels with increased luminance values of pixels in low luminance areas.
  • a video including the image of the object character “panda” 1525
  • the display state of the floating in space video 3 is such that the luminance of pixel areas that render black in the image of the character "panda” 1525 increases. This allows the user to distinguish the areas that render black among the areas that render the image of the character "panda” 1525 without them blending into the black of the background, making it possible to display the object more suitably.
  • the area displaying the image of the character "panda" 1525 which is an object, can be distinguished from the black background inside the housing of the space-floating image display device 1000 through the window, improving the visibility of the object. Therefore, for example, even if the pixels constituting the object include pixels with a brightness value of 0 before the image processing (i.e., the time when the image of the object and the corresponding data are read from the storage unit 1170 or memory 1109 in FIG.
  • the image is converted into an object with a high brightness value of the pixels in the low brightness area by the image processing of the input/output characteristics by the video control unit 1160, and then displayed on the display device 1, and is converted into a space-floating image 3 by the optical system of the space-floating image display device 1000.
  • the pixels that make up the object after image processing of the input/output characteristics are converted to a state in which they do not include pixels with a luminance value of 0, and then the object is displayed on the display device 1, and is converted into a floating-in-space image 3 by the optical system of the floating-in-space image display device 1000.
  • a method of applying the image processing of the input/output characteristics of FIG. 13B(2) only to the image area of the object is, for example, to configure the image processing of the video control unit 1160 so that the background image layer and the layer of the character image in front of the background image layer can be processed as separate layers, and the image processing of the input/output characteristics of FIG. 13B(2) is applied to the layer of the character image, while the image processing is not applied to the background image layer.
  • image processing with a characteristic of raising the low brightness areas of the input image is performed only on the character image.
  • image processing with the input/output characteristics of FIG. 13B(2) can be performed only on the character image area.
  • the input/output image characteristics used in the image processing that boosts low luminance areas of the input/output characteristics for the input image are not limited to the example in FIG. 13B(2). Any image processing that boosts low luminance may be used, including so-called brightness adjustment. Alternatively, image processing that improves visibility may be performed by controlling the gain that changes the weighting of the Retinex processing, as disclosed in International Publication WO 2014/162533.
  • FIG. 13B(2) The image processing of FIG. 13B(2) described above allows the user to recognize areas in which black is drawn, such as in areas where images of characters or objects are drawn, without them blending into the black background, making it possible to achieve a more suitable display.
  • the background of the space-floating image 3 is not black, but is the view behind the space-floating image display device 1000 through the window.
  • the same problems as those described in FIG. 13A and FIG. 13B still exist.
  • the part of the image of the object character “panda” 1525 that is drawn in black will blend into the scenery behind the space-floating image display device 1000 through the window.
  • the part of the image of the object character “panda” 1525 that is drawn in black can be recognized as distinct from the scenery behind the space-floating image display device 1000 through the window, improving the visibility of the object.
  • the area displaying the image of the object character "panda” 1525 can be recognized as distinct from the scenery behind the space floating image display device 1000 through the window, and it can be more easily recognized that the object character "panda” 1525 is in front of the scenery, improving the visibility of the object.
  • the space-floating image display device 1000 of Figs. 4K, 4L, and 4M as described above, if another image (such as an image from the transmissive self-luminous image display device 1650 or an image from the second display device 1680) is displayed at a position different in depth from the space-floating image 3, the background of the space-floating image 3 will not be black, but will be that other image. In this case as well, the problems described in Figs. 13A and 13B will similarly exist.
  • the part of the image of the object character "panda” 1525 that is drawn in black will blend into the other image that is displayed at a different depth from the spatial floating image 3. Even in this case, by using the image processing of FIG. 13B(2), the part of the image of the object character "panda” 1525 that is drawn in black can be recognized as being distinct from the other image, improving the visibility of the object.
  • the area displaying the image of the object character "panda” 1525 can be recognized as distinct from the other image, and it can be more easily recognized that the object character "panda" 1525 is in front of the other image, improving the visibility of the object.
  • FIG. 13C shows an example of the image display of this embodiment in which the floating-in-space image 3 and a second image 2050, which is another image, are displayed simultaneously.
  • the second image 2050 may correspond to the display image of the transmissive self-luminous image display device 1650 of FIG. 4K or FIG. 4L.
  • the second image 2050 may also correspond to the display image of the second display device 1680 of FIG. 4M.
  • the example of image display in FIG. 13C shows an example of a specific example of the image display of the space-floating image display device 1000 in FIG. 4K, FIG. 4L, and FIG. 4M.
  • a bear character is displayed in space-floating image 3. Areas other than the bear character in space-floating image 3 are displayed in black, and become transparent as a space-floating image.
  • the second image 2050 is a background image in which plains, mountains, and the sun are depicted.
  • floating-in-space image 3 and second image 2050 are displayed at different depth positions.
  • user 230 views the two images, floating-in-space image 3 and second image 2050, in the line of sight of arrow 2040, user 230 can view the two images in a superimposed state.
  • the bear character in floating-in-space image 3 appears superimposed in front of the background of plains, mountains, and the sun depicted in second image 2050.
  • the floating-in-space image 3 is formed as a real image in the air, if the user 230 moves his/her viewpoint slightly, the user 230 can recognize the depth of the floating-in-space image 3 and the second image 2050 due to parallax. Therefore, the user 230 can get a stronger sense of floating in space from the floating-in-space image 3 while viewing the two images in an overlapping state.
  • FIG. 13D(1) is a diagram showing the floating-in-space image 3 from the example of the image display of this embodiment in FIG. 13C, as viewed in the line of sight of the user 230.
  • a bear character is displayed in the floating-in-space image 3.
  • the areas other than the bear character in the floating-in-space image 3 are displayed in black, and are transparent as a floating-in-space image.
  • FIG. 13D(2) is a diagram showing the second image 2050 in the example of the image display of this embodiment in FIG. 13C, as viewed in the line of sight of the user 230.
  • the second image 2050 is a background image depicting a plain, mountains, and the sun.
  • FIG. 13D(3) is a diagram showing the example of the image display of this embodiment in FIG. 13C, in which second image 2050 and floating-in-space image 3 appear superimposed in the line of sight of user 230. Specifically, the bear character of floating-in-space image 3 appears superimposed in front of the background of plains, mountains, and the sun depicted in second image 2050.
  • the floating-in-space image 3 and the second image 2050 When displaying the floating-in-space image 3 and the second image 2050 simultaneously, it is desirable to pay attention to the balance of brightness between the two images in order to ensure the best visibility of the floating-in-space image 3. If the second image 2050 is too bright compared to the brightness of the floating-in-space image 3, the displayed image of the floating-in-space image 3 will be transparent, and the second image 2050, which is the background, will be strongly visible through it.
  • the output of the light source of the floating image 3 and the display image luminance of the display device 1, and the output of the light source of the display device displaying the second image 2050 and the display image luminance of the display device should be set so that at least the brightness per unit area of the floating image 3 at the display position of the floating image 3 is greater than the brightness per unit area of the image light reaching the display position of the floating image 3 from the second image 2050.
  • control may be performed to reduce the brightness of the second image 2050 by lowering the output of the light source of the display device that displays the second image 2050 and/or the display image luminance of the display device.
  • These controls may be realized by the control unit 1110 in FIG. 3 controlling the display device 1 and the display device that displays the second image 2050 (the transmissive self-luminous image display device 1650 in FIG. 4K or FIG. 4L or the second display device 1680 in FIG. 4M).
  • the brightness when controlling to reduce the brightness of the second image 2050 in switching from the above-mentioned first display mode to the above-mentioned second display mode, the brightness may be reduced uniformly across the entire screen of the second image 2050.
  • the brightness reduction effect instead of reducing the brightness uniformly across the entire screen of the second image 2050, the brightness reduction effect may be greatest in the portion where the object is displayed in the floating-in-space image 3, and the brightness reduction effect may be gradually reduced around that portion. In other words, if the brightness reduction of the second image 2050 is achieved only in the portion where the floating-in-space image 3 is superimposed on the second image 2050 and viewed, the visibility of the floating-in-space image 3 is sufficiently ensured.
  • the floating-in-space image 3 and the second image 2050 are displayed at positions with different depths, when the user 230 slightly changes his/her viewpoint, the position at which the floating-in-space image 3 is superimposed on the second image 2050 changes due to parallax. Therefore, when switching from the first display mode to the second display mode described above, if the brightness is to be reduced unevenly across the entire screen of the second image 2050, it is not desirable to reduce the brightness sharply based on the contours of the object displayed in the floating-in-space image 3, and it is desirable to perform a gradation process of the brightness reduction effect, which changes the brightness reduction effect stepwise depending on the position as described above.
  • the position where the brightness reduction effect of the gradation process of the brightness reduction effect is the highest can be set to the center position of the space floating image 3.
  • the user 230 can more easily view the floating-in-space image 3 and the second image 2050.
  • control may be performed so that the second image 2050 is not displayed. Since the visibility of the floating-in-space image 3 is improved when the second image 2050 is not displayed, this is suitable for applications such as the floating-in-space image display device 1000 where the user must be able to reliably view the floating-in-space image 3 when it is displayed.
  • Example 2 As the second embodiment of the present invention, an example of another configuration example of the space floating image display device will be described.
  • the space floating image display device according to this embodiment is a device in which the optical system stored in the space floating image display device described in the first embodiment is changed to the optical system shown in FIG. 14(1) or FIG. 14(2).
  • differences from the first embodiment will be described, and repeated explanations of the same configuration as the first embodiment will be omitted.
  • the predetermined polarized light and the other polarized light are polarized waves whose phases differ from each other by 90°.
  • FIG. 14(1) is an example of an optical system and optical path according to this embodiment.
  • the optical system shown in FIG. 14(1) is the optical system shown in FIG. 2C, in which the display device 1 is moved closer to the polarization separation member 101B, making the entire optical system more compact.
  • FIG. 14(1) detailed descriptions of components that are given the same reference numerals as in FIG. 2C will not be repeated.
  • image light of a specific polarized light (P polarized light in the figure) emitted from display device 1 travels in a direction perpendicular to the image display surface of display device 1.
  • polarization separation member 101B selectively transmits the specific polarized light (P polarized light in the figure) emitted from display device 1 and reflects the other polarized light (S polarized light in the figure).
  • the image light of a specific polarization (P-polarized light in the figure) traveling vertically from the image display surface of the display device 1 passes through the polarization separation member 101B and reaches the retroreflector 2 to which the ⁇ /4 plate 21 is attached.
  • the image light that is retroreflected by the retroreflector 2 and travels again toward the polarization separation member 101B is converted from the specific polarization (P-polarized light in the figure) at the time of emission from the display device 1 to the other polarization (S-polarized light in the figure) by passing through the ⁇ /4 plate 21 twice.
  • the image light that travels again toward the polarization separation member 101B is the other polarization (S-polarized light in the figure), so it is reflected by the polarization separation member 101B toward the position where the user should be.
  • the traveling direction of the image reflected by the polarization separation member 101B is determined based on the angle at which the polarization separation member 101B is arranged.
  • the image light traveling toward the polarization separation member 101B is reflected at a right angle by the polarization separation member 101B and travels as shown.
  • the image light reflected by the polarization separation member 101B forms a floating image 3A.
  • the floating image 3A can be viewed by the user in the direction of the arrow A.
  • the optical path length of the image light emitted from the display device 1 to reach the retroreflector 2 is equal to the optical path length of the image light emitted from the retroreflector 2 to reach the position where the floating image 3A is formed. This relationship determines the position where the floating image 3A is formed in the direction of travel of the image light reflected by the polarization separation member 101B.
  • the display device 1, the polarization separation member 101B, and the retroreflector 2 are arranged closer together than in the example of FIG. 2C. This allows the entire optical system to be configured more compactly.
  • the amount by which the floating image 3A protrudes from the optical system of FIG. 14(1) is not very large.
  • the figure shows the distance from the position where the central light beam of the image light is reflected by the polarization separation member 101B to the position where the image light forms the floating image 3A (L1 in the example of FIG. 14(1)).
  • the characteristics of P polarization and S polarization may be swapped.
  • a specific polarization of the image light emitted from the display device 1 may be S polarization
  • the reflection characteristics of the polarization separation member 101B may be swapped between P polarization and S polarization.
  • the P polarization and S polarization shown in the figure are both reversed, but the optical design, such as the optical path, can be realized in exactly the same way.
  • FIG. 14(2) shows another example of an optical system and optical path according to this embodiment.
  • the optical system of FIG. 14(2) is a modified version of the optical system of FIG. 14(1) in order to increase the amount of the floating image projecting from the optical system while still achieving the same compactness as the optical system of FIG. 14(1).
  • FIG. 14(2) detailed descriptions of components that are given the same reference numerals as those in FIG. 14(1) will not be repeated.
  • FIG. 14(2) like FIG. 14(1), image light of a specific polarization (P-polarized light in the figure) emitted from display device 1 travels vertically from the image display surface of display device 1.
  • the polarization characteristics of polarization separation member 101B differ by 90 degrees from that in FIG. 14(1).
  • Image light of a specific polarization (P-polarized light in the figure) traveling vertically from the image display surface of display device 1 passes through polarization separation member 101B.
  • specular reflector 4 with a ⁇ /4 plate 21B attached, rather than a retroreflector 2 with a ⁇ /4 plate 21 attached.
  • specular reflection also called regular reflection
  • the image light that passes through the polarization separation member 101B is specularly reflected by the specular reflector 4 to which the ⁇ /4 plate 21B is attached.
  • the image light that is specularly reflected by the specular reflector 4 and travels again toward the polarization separation member 101B has been converted from the specified polarization (P-polarized in the figure) at the time of emission from the display device 1 to the other polarization (S-polarized in the figure) by passing through the ⁇ /4 plate 21 twice.
  • the image light that travels again toward the polarization separation member 101B is the other polarization (S-polarized in the figure), and is therefore reflected by the polarization separation member 101B.
  • the image light reflected by the polarization separation member 101B travels in the opposite direction to where the user should be.
  • the image light reflected by the polarization separation member 101B travels to a retroreflector 2 with a ⁇ /4 plate 21C attached.
  • the image light is retroreflected by the retroreflector 2.
  • the image light that is retroreflected by the retroreflector 2 and travels back toward the polarization separation member 101B has been converted from the other polarized light (S-polarized light in the figure) back to the specified polarized light (P-polarized light in the figure) by passing through the ⁇ /4 plate 21C twice.
  • the image light that travels back toward the polarization separation member 101B is of a specific polarization (P polarization in the figure), so it passes through the polarization separation member 101B and continues toward the position where the user should be.
  • the image light that passes through the polarization separation member 101B forms a floating image 3B.
  • the floating image 3B can be viewed by the user in the direction of arrow A.
  • the optical path length of the image light emitted from the display device 1 to reach the retroreflector 2 is equal to the optical path length of the image light emitted from the retroreflector 2 to reach the position where the floating image 3B is formed. This relationship determines the position where the floating image 3B is formed in the direction of travel of the image light that has passed through the polarization separation member 101B.
  • the optical path length of the image light emitted from the display device 1 to reach the retroreflector 2 is longer than the optical path length of the image light emitted from the display device 1 to reach the retroreflector 2 in FIG. 14(1). This is because in the optical system of FIG. 14(2), an optical path going back and forth between the polarization separation member 101B and the specular reflector 4, which does not exist in the optical system of FIG. 14(1), is added to the optical path length of the image light emitted from the display device 1 to reach the retroreflector 2.
  • the distance from the position where the central light beam of the image light passes through the polarization separation member 101B to the position where the image light forms the floating image 3B is significantly longer than the distance from the position where the central light beam of the image light is reflected by the polarization separation member 101B to the position where the image light forms the floating image 3A (L1 in the example of FIG. 14(1)) in the optical system of FIG. 14(1).
  • the characteristics of P polarization and S polarization may also be swapped.
  • a specific polarization of the image light emitted from the display device 1 may be S polarization
  • the characteristics of P polarization and S polarization may be swapped for the reflection characteristics of the polarization separation member 101B.
  • the P polarization and S polarization shown in the figure are both reversed, but the optical design, such as the optical path, can be realized in exactly the same way.
  • the optical system of Fig. 14(2) in the second embodiment of the present invention described above a more compact optical system can be realized.
  • the optical system of Fig. 14(2) makes it possible to increase the amount of the floating image projecting from the optical system, while still achieving a more compact optical system.
  • the optical system of FIG. 14(1) or FIG. 14(2) When incorporating the optical system of FIG. 14(1) or FIG. 14(2) into a space-floating image display device, this can be realized by replacing the optical system in the space-floating image display device described in Example 1 with the optical system of FIG. 14(1) or FIG. 14(2).
  • the optical system of FIG. 14(1) may be replaced with the optical system of the space-floating image display device of FIG. 4E, FIG. 4F, FIG. 4G, FIG. 4H, FIG. 4I, FIG. 4J, FIG. 4K, FIG. 4L, or FIG. 4M.
  • the optical system becomes compact, it is possible to make the housing of the space-floating image display device of each figure smaller.
  • the optical system of FIG. 14(2) may be replaced with the optical system of the space-floating image display device of FIG. 4E, FIG. 4F, FIG. 4G, FIG. 4K, or FIG. 4L.
  • the optical system becomes more compact, it is possible to make the housing of the space-floating image display device of each figure smaller.
  • Example 3 As the third embodiment of the present invention, another configuration example of the space-floating image display device will be described.
  • an image floating in space such as in air or liquid (e.g., underwater) is expressed by the term "space-floating image”. Instead of this term, it may be expressed as "spatial image”, “space-floating optical image of the displayed image”, etc.
  • an image floating in air may be expressed as “aerial image”, “floating image”, “floating optical image of the displayed image”, etc.
  • an image floating in liquid may be expressed as "liquid image”, “image floating in liquid”, “floating optical image of the displayed image”, etc.
  • space-floating image mainly used in the description of the third embodiment is used as a representative example of these terms.
  • the spatially floating image display device of Example 3 is configured to use the optical system described in Examples 1 and 2, and to form at least a part of the spatially floating image in the liquid stored in a liquid storage tank. More specifically, the liquid floating image device of Example 3 is configured to form at least a part of the spatially floating image in the water stored in an aquarium. In other words, Example 3 is an example of an aspect in which the spatially floating image display device is used as an aquarium device.
  • the aquarium device referred to here refers to, for example, a device for raising and viewing aquatic organisms such as fish in an aquarium.
  • Example 3 the left-right direction of the tank is the X direction, the front-back direction (depth direction) is the Y direction, and the height direction (vertical direction) is the Z direction.
  • the left-right direction of the tank is the X direction
  • the front-back direction is the Y direction
  • the height direction is the Z direction.
  • FIG. 15 is a diagram showing an example of the configuration of a space-floating image display device according to the third embodiment.
  • the space-floating image display device 1000 according to this embodiment is disposed outside a water tank (liquid storage tank) 2000 in which liquid 2100, for example water, is stored.
  • the space-floating image display device 1000 includes a display device 1 and an optical system 1800 as separate entities from the water tank 2000.
  • the display device 1 and optical system 1800 constituting the space-floating image display device 1000 are arranged in a housing (not shown).
  • the internal configuration of the space-floating image display device 1000 shown in FIG. 15 is the same as the internal configuration shown in FIG. 3, except that it does not include the imaging unit 1180, the aerial operation detection sensor 1351, and the aerial operation detection unit 1350.
  • the aquarium 2000 has a bottom wall 2001 and a side wall 2002 standing around the bottom wall 2001.
  • the side wall 2002 of the aquarium 2000 is formed of a transparent material such as glass or acrylic resin.
  • the display device 1 and the optical system 1800 are disposed on the outside of the side wall 2002 of the aquarium 2000.
  • the display device 1 and the optical system 1800 are disposed on the outside of the side wall 2002a that constitutes the rear side of the aquarium 2000.
  • the display device 1 and the optical system 1800 are placed close to the aquarium 2000 so that a floating image 3C is generated inside the aquarium 2000.
  • the display device 1 is installed facing vertically upward.
  • This optical system 1800 corresponds to the optical system in FIG. 2A, in which the retroreflector 2 is arranged vertically, and the polarization separation member 101 provided on the transparent member 100 is arranged at an angle of approximately 45° to the vertical direction.
  • the optical system 1800 generates a floating image 3C inside the aquarium 2000 based on the image displayed on the display device 1. For example, when the aquarium 2000 is filled with liquid 2100, which is water, the floating image display device 1000 generates a floating image 3C in the liquid 2100 (underwater).
  • the optical path length of the image light emitted from the display device 1 until it reaches the retroreflector 2 is equal to the optical path length of the image light emitted from the retroreflector 2 until it reaches the position where the floating image 3 is formed.
  • the floating image 3C is formed at a position that satisfies the above relationship, for example, at a first position Y1 in the Y direction as shown by the two-dot chain line in FIG. 15.
  • the position at which the floating image 3C is formed is a second position Y2 on the +Y side of the first position Y1, as shown by the dotted line in FIG. 15.
  • the display device 1 and optical system 1800 that constitute the floating image display device 1000 are positioned outside the water tank 2000 so that the first position Y1 and the second position Y2 are both inside the water tank 2000.
  • the floating image 3C is formed inside the aquarium 2000, regardless of whether or not liquid 2100 is stored inside the aquarium 2000.
  • the sidewall 2002b which is the front side of the aquarium 2000, that is, when observing the inside of the aquarium 2000 in the direction of arrow A
  • the user can visually recognize the floating image 3C displayed inside the aquarium 2000 as a bright image.
  • the user can enjoy viewing aquatic life in a simulated manner.
  • the arrangement of the display device 1 and the optical system 1800 can be changed as appropriate as long as the first position Y1 and the second position Y2 are within the aquarium 2000.
  • the second position Y2 is set to a position in the Y direction close to the center of the aquarium 2000 or the side wall 2002b on the front side of the aquarium 2000. This makes it easier for the user to view the spatially floating image 3C of the aquatic organism.
  • the second position Y2 is set to a position in the Y direction close to the side wall 2002a on the rear side of the aquarium 2000. This allows the user to enjoy viewing the aquatic organisms raised with the spatially floating image 3C as the background.
  • the orientation of the floating image 3C in space (the direction of the chief ray of the image light, indicated by the arrow in the figure) is set to be approximately horizontal.
  • the orientation of the floating image 3C in space does not necessarily have to be horizontal, and may be determined appropriately taking into consideration, for example, the expected line of sight of the user.
  • the orientation of the floating image 3C in space may be a direction that intersects with the horizontal direction. More specifically, the orientation of the floating image 3C in space may be diagonally upward from the horizontal direction, or diagonally downward from the horizontal direction.
  • a chamfered portion 2003 is provided at the corner between the bottom wall 2001 and the side wall 2002a of the aquarium 2000. This chamfered portion 2003 is provided to avoid interference between the aquarium 2000 and the polarization separation member 101 provided on the transparent member 100. If there is no interference between the polarization separation member 101 and the aquarium 2000, this chamfered portion 2003 does not need to be provided.
  • ⁇ Modification of the third embodiment> 16 is a diagram showing a modified example of the space-floating image display device 1000 of the third embodiment.
  • the space-floating image display device 1000 shown in FIG. 16 is an example in which the optical system 1800 is placed in the water tank 2000. More specifically, in this example, the retroreflector 2 and the polarization separation member 101 constituting the optical system 1800 are placed in the water tank 2000. In addition, a ⁇ /4 plate 21 is provided on the incident surface of the retroreflector 2. In addition, the polarization separation member 101 is adhered to the transparent member 100.
  • the water tank 2000 is sufficiently filled with liquid 2100, and the retroreflector 2 is disposed in the liquid 2100.
  • part of the retroreflector 2 may be exposed outside the liquid 2100.
  • most of the polarization separation member 101 is disposed in the liquid 2100, but the upper end (the end in the +Z direction) of the polarization separation member 101 is exposed outside the liquid 2100 (above the water surface).
  • the entire polarization separation member 101 may be disposed in the liquid 2100.
  • the display device 1 is disposed on the outside of the bottom wall 2001 of the aquarium 2000.
  • a transparent window 2004 made of a transparent material such as glass or acrylic resin is provided in the area of the aquarium 2000 facing the display device 1, and the image light emitted from the display device 1 enters the aquarium 2000 through this transparent window 2004.
  • the image light that enters the aquarium 2000 is reflected by the polarization separation member 101 and enters the retroreflector 2.
  • the image light reflected by the retroreflector 2 also passes through the polarization separation member 101 to form a spatially floating image 3C in the liquid 2100.
  • the position where the floating image 3C is formed is the third position Y3, which is on the +Y side of the second position Y2 in the Y direction.
  • the display device 1 and the optical system 1800 are disposed so that the third position Y3 is inside the aquarium 2000.
  • the spatially floating image 3C can be displayed satisfactorily within the aquarium 2000. Therefore, by displaying an image of an aquatic organism such as a fish as the spatially floating image 3C, the user can enjoy viewing the aquatic organism in a simulated manner.
  • the transparent window 2004 is provided in an area of the bottom wall 2001 of the aquarium 2000 facing the display device 1, but is not limited to this configuration.
  • the transparent window 2004 may be formed, for example, over the entire surface of the bottom wall 2001 of the aquarium 2000.
  • the entire bottom wall 2001 of the aquarium 2000 may be formed of a transparent material.
  • a recess 2005 is provided in the bottom wall 2001 of the aquarium 2000, with part of it recessed into the inside of the aquarium 2000.
  • a transparent window 2004 is provided in a portion corresponding to this recess 2005, and the display device 1 is housed within the recess 2005.
  • the recess 2005 does not necessarily have to be provided in the bottom wall 2001, and the configuration may not include the recess 2005.
  • a recess may be provided in the surface of a mounting base on which the aquarium 2000 is placed, and the display device 1 may be placed within the recess of the mounting base.
  • ⁇ Modification of the third embodiment> 17 is a diagram showing a modified example of the space-floating image display device 1000 of the third embodiment.
  • the space-floating image display device 1000 shown in FIG. 17 is an example in which a part of the optical system 1800 is provided in the water tank 2000. More specifically, the transparent member 100 to which the polarization separation member 101 constituting the optical system 1800 is adhered is fixed to the side wall 2002a of the water tank 2000. In other words, the transparent member 100 to which the polarization separation member 101 is adhered is integrated with the side wall 2002a of the water tank 2000.
  • the side wall 2002a constituting the rear side of the aquarium 2000 is inclined toward the retroreflector 2.
  • the side wall 2002a is inclined at an angle of about 45° with respect to the vertical direction.
  • a transparent member 100 with a polarization separation member 101 adhered thereto is joined to this side wall 2002a.
  • the transparent member 100 is joined to the side wall 2002a of the water tank 2000, but the side wall 2002a may function as the transparent member 100.
  • the transparent member 100 to which the polarization separation member 101 is adhered may be provided integrally with the side wall 2002a of the water tank 2000.
  • the side wall 2002a only needs to have a portion that corresponds to the space floating image display device 1000 that is inclined, and the entire side wall 2002a may be inclined, or only a portion of it may be inclined.
  • the distance that the image light travels through the liquid 2100 is longer than in a configuration in which the optical system 1800 is disposed outside the aquarium 2000 as a separate entity (see FIG. 15), and shorter than in a configuration in which the optical system 1800 is disposed within the liquid 2100 (see 16). Therefore, the position where the floating image 3C is formed is a fourth position Y4, which is on the +Y side of the second position Y2 and on the -Y side of the third position Y3.
  • the display device 1 and optical system 1800 are placed near the aquarium 2000 so that the fourth position Y4 is inside the aquarium 2000.
  • the floating image 3C can be displayed satisfactorily within the aquarium 2000. Therefore, by displaying an image of an aquatic organism such as a fish as the floating image 3C, the user can enjoy viewing the aquatic organism in a simulated manner.
  • optical system 1800 corresponds to the optical system shown in FIG. 2A
  • the configuration of the optical system 1800 is not particularly limited.
  • the optical system 1800 may correspond to, for example, the optical systems shown in FIGS. 2B to 2D.
  • Fig. 18A is a diagram showing the configuration of a modified example of the space-floating image display device according to the third embodiment
  • Fig. 18B is a diagram showing an example of a state in which a space-floating image is displayed inside a water tank.
  • the space-floating image display device 1000 shown in Fig. 18A includes an imaging unit 1180A and an aerial operation detection sensor 1351A in addition to the configuration shown in Fig. 15. Note that, except for the imaging unit 1180A and the aerial operation detection sensor 1351A, the internal configuration of the space-floating image display device 1000 shown in Fig. 18A is the same as the internal configuration shown in Fig. 3.
  • the imaging unit 1180A and the aerial operation detection sensor 1351A are provided separately from the housing of the floating-in-space image display device 1000.
  • the imaging unit 1180A is a camera with an image sensor, and captures images of the inside of the aquarium 2000 and the space around the aquarium 2000.
  • the imaging unit 1180A is installed on the top of the aquarium 2000 facing the inside of the aquarium 2000.
  • the imaging unit 1180A is configured to transmit an imaging signal to the floating-in-space image display device 1000, for example, via a wired or wireless communication connection path.
  • the image control unit 1160 Based on the imaging results of this imaging unit 1180A, for example, the image control unit 1160 performs control to form the floating-in-space image 3C.
  • multiple imaging units 1180A may be provided as necessary, and the installation positions of each imaging unit 1180A are not particularly limited.
  • the aerial operation detection sensor 1351A is provided as a liquid level detection sensor that detects the position of the liquid level 2101 of the liquid 2100 in the water tank 2000.
  • the aerial operation detection sensor 1351A is composed of, for example, a distance sensor using ultrasonic waves, and is installed at the bottom of the water tank 2000 facing the inside (upper side) of the water tank 2000.
  • a sensing signal that is the detection result by the aerial operation detection sensor 1351A is sent to the aerial operation detection unit 1350 (see Figure 3).
  • the aerial operation detection unit 1350 calculates the position of the liquid level 2101 of the liquid 2100 in the Z direction based on this sensing signal.
  • the aerial operation detection sensor may be a distance sensor using electromagnetic waves or a liquid level gauge using a pressure sensor.
  • liquid 2100 is stored up to about half the height of the aquarium 2000 in the Z direction (height direction).
  • the liquid surface 2101 of the liquid 2100 is located in the Z direction within the image formation area S1 where the spatial floating image 3C is formed.
  • the image displayed on the display device 1 can be displayed in the liquid 2100 in the aquarium 2000 and in the air within the aquarium 2000 above the liquid 2100.
  • the image formation area S1 includes a submerged formation area S2 set in the liquid 2100 in the aquarium 2000 and an aerial formation area S3 set in the air within the aquarium 2000.
  • the floating image 3C may include a floating image 3Ca displayed in a submerged formation area (submerged display area) S2 in the aquarium 2000, and a floating image 3Cb displayed in an aerial formation area (aerial display area) S3 in the aquarium 2000.
  • the floating image 3Ca and the floating image 3Cb have different display positions (formation positions) in the Y direction.
  • the floating image 3Ca is formed at a second position Y2 in the Y direction
  • the floating image 3Cb is formed at a first position Y1 in the Y direction.
  • the floating image 3Ca may be formed in the entire submerged formation area S2 or in a part of the submerged formation area S2.
  • the floating image 3Cb may be formed in the entire aerial formation area S3 or in a part of the aerial formation area S3.
  • the floating image 3C includes a floating-in-liquid image 3Ca and a floating-in-air image 3Cb
  • a non-formation area S4 where no image is formed between the submerged formation area S2 where the floating-in-liquid image 3Ca is formed and the floating formation area S3 where the floating image 3Cb is formed.
  • image distortion due to shaking of the liquid surface 2101 is likely to occur near the liquid surface 2101 in the Z direction.
  • the non-formation area S4 is an area where the floating image 3C is transparent, and the part of the display device 1 corresponding to the non-formation area S4 is displayed black.
  • the range of the non-formation region S4 is not particularly limited, but is preferably set to be wider than the range of the swaying of the liquid surface 2101 caused by the flow of the liquid 2100 in the aquarium 2000.
  • the non-formation region S4 does not have to be provided, and the submerged formation region S2 where the submerged floating image 3Ca is formed and the aerial formation region S3 where the aerial floating image 3Cb is formed may be set to be continuous in the Z direction.
  • the position (height) of the liquid surface 2101 of the liquid 2100 is not always constant, and may change depending on the situation.
  • the position and range of the image formation region S1 and more specifically, the positions and ranges of the submerged formation region S2 and the aerial formation region S3 are appropriately adjusted based on the position of the liquid surface 2101 of the liquid 2100.
  • the position of the liquid surface 2101 of the liquid 2100 in the Z direction is detected by the aerial operation detection sensor 1351A and the aerial operation detection unit 1350.
  • the image control unit 1160 performs various controls on the image signal input to the display device 1 (image display unit 1102) according to the position of the liquid surface 2101. That is, the positions and ranges of the submerged formation area S2 and the aerial formation area S3 are appropriately adjusted according to the position of the liquid surface 2101 so that the vicinity of the liquid surface 2101 becomes a non-formation area S4.
  • the display positions of the submerged floating image 3Ca and the aerial floating image 3Cb are adjusted according to the water level of the liquid stored in the liquid storage tank, i.e., the water tank 2000, i.e., the position of the liquid surface 2101.
  • floating image 3C in space includes floating-in-liquid image 3Ca and floating-in-air image 3Cb in this way, the content (image contents) of these floating-in-liquid image 3Ca and floating-in-air image 3Cb can be different.
  • floating-in-liquid image 3Ca and floating-in-air image 3Cb can be images independent of each other.
  • an image of a fictional character "mermaid,” which is an object, is displayed in the liquid formation area S2 as a floating-in-liquid image 3Ca, and an image of information for the user (information to be communicated to the user) is displayed in the air formation area S3 as a floating-in-air image 3Cb.
  • this display is merely an example, and the image of the character may be displayed as a floating-in-air image 3Cb, and information for the user may be displayed as a floating-in-liquid image 3Ca.
  • the information displayed as the floating image 3Cb is not particularly limited, but may include, for example, the date and time, weather and air temperature, the temperature (water temperature) and water quality of the liquid 2100, and the communication status.
  • the communication status here refers to, for example, the Wi-Fi connection status when the communication unit 1132 (see FIG. 3) has a Wi-Fi communication interface and image data, etc., is sent and received by communication via the communication unit 1132.
  • the display position of the submerged floating image 3Ca in the liquid formation area S2 may be changed as appropriate according to the position and movement of the aquatic creature 4000.
  • the submerged floating image 3Ca may be moved in accordance with the movement of the aquatic creature 4000 so that the submerged floating image 3Ca is always displayed close to the aquatic creature 4000.
  • the display position of the submerged floating image 3Ca can be changed according to the movement of the aquatic creature 4000.
  • the content of the floating image 3Ca in liquid may be changed according to the position and movement of the aquatic organism being kept in the aquarium 2000.
  • the content of the floating image 3Ca in liquid and the floating image 3Cb in air are not particularly limited.
  • As the floating image 3Ca in liquid in addition to the image of the character as described above, for example, an image of an aquatic organism such as a fish or aquatic plants may be displayed.
  • the trajectory of the movement of the aquatic organism may be displayed as the floating image 3Ca in liquid.
  • information such as the name or nickname of the aquatic organism being kept may be displayed near the aquatic organism as the floating image 3Ca in liquid.
  • an explanatory image of the aquatic organism being kept in the aquarium 2000 may be displayed at a predetermined position, and an arrow pointing to the aquatic organism being explained in the image may also be displayed.
  • the imaging unit 1180A may capture an image of an aquatic organism in the liquid 2100, and an enlarged image of a portion of the aquatic organism may be displayed as the floating-in-liquid image 3Ca.
  • red light is easily absorbed in the liquid 2100 (underwater), and the red color of the floating-in-liquid image 3Ca tends to be faint.
  • the color of the floating-in-liquid image 3Ca it is preferable to adjust the color of the floating-in-liquid image 3Ca, taking into consideration that red light is absorbed by the liquid 2100. More specifically, when displaying the floating-in-liquid image 3Ca in the liquid 2100, it is preferable to adjust the green and blue colors to be faint and set the RGB values appropriately.
  • the image control unit 1160 gradually (stepwise) changes the light conditions when changing the submerged floating image 3Ca. Furthermore, the image control unit 1160 may not display the submerged floating image 3Ca in an area where aquatic organisms are present. In other words, even within the submerged formation area S2, an area where aquatic organisms such as fish are present may be a non-formation area where the submerged floating image 3Ca is not formed. Specifically, the position of the aquatic organisms may be identified based on the imaging results of imaging the inside of the aquarium 2000 by the imaging unit 1180A, and a non-formation area may be set according to the position (movement) of the aquatic organisms.
  • the spatially floating image 3C can be displayed more appropriately within the aquarium 2000.
  • the spatially floating image 3C can be displayed appropriately so as not to interfere with the observation of the aquatic life.
  • the stress caused to the aquatic life can be reduced. This makes it easier for the user to enjoy viewing the aquatic life.
  • the position of the liquid surface 2101 of the liquid 2100 is detected based on the sensing signal of the aerial operation detection sensor 1351A, but the method of detecting the position of the liquid surface 2101 is not particularly limited.
  • the position of the liquid surface 2101 can also be detected based on the imaging results of the imaging unit 1180A without using the aerial operation detection sensor 1351A.
  • FIG. 19 is a diagram showing the configuration of a space-floating image display system according to Example 3.
  • the space-floating image display system 3000 shown in Fig. 19 includes an aquarium device 3100 including a space-floating image display device installed in a user's home or the like, a live camera 3200 installed in a location other than the aquarium device 3100, for example, an aquarium, and a server device 3400 connected to the space-floating image display device and the live camera 3200 via the Internet 3300.
  • Aquarium device 3100 including the space floating image display device has a communication unit 1900, and is capable of communicating with communication device 3310 connected to the Internet 3300 via this communication unit 1900.
  • communication unit 1900 is an example of communication unit 1132 in FIG. 3.
  • Aquarium device 3100 including the space floating image display device is capable of communicating with server device 3400 via communication device 3310 and the Internet 3300.
  • the live camera 3200 also includes a communication unit 3210, and is capable of communicating with a communication device 3320 connected to the Internet 3300 via this communication unit 3210.
  • the live camera 3200 is also capable of communicating with a server device 3400 via the communication device 3320 and the Internet 3300.
  • the communication between the communication unit 1900 and the communication device 3310, and the communication between the communication unit 3210 and the communication device 3320 are wireless, but the communication may be wired.
  • the communication path from each of the communication units 1900, 3210 to the Internet 3300 may include a mixture of wired and wireless portions.
  • Aquarium device 3100 including a spatially floating image display device has a configuration similar to the example shown in FIG. 18A, and includes a display device 1 and an optical system 1800A, forming a spatially floating image 3C inside an aquarium tank (second liquid storage tank) 2000.
  • optical system 1800A corresponds to the optical system shown in FIG. 2D.
  • the image displayed on display device 1 is displayed as a spatially floating image 3C at a position that is geometrically symmetrical with respect to retroreflector 5.
  • optical system 1800A is not limited to this configuration, and may also correspond to the optical system shown in FIG. 2A to FIG. 2C. Note that aquatic organisms may or may not actually be kept in aquarium tank 2000.
  • the live camera 3200 which is an imaging device, captures images of aquatic organisms 4100 being kept in liquid 3600 (underwater) in an aquarium tank (first liquid storage tank) 3500 at an aquarium.
  • the live cameras 3200 are installed, for example, corresponding to a plurality of aquariums 3500, and the plurality of live cameras 3200 capture images of different kinds of aquatic organisms 4100.
  • the images captured by each live camera 3200 are transmitted to the server device 3400 via the communication device 3320 and the Internet 3300.
  • the server device 3400 stores the images captured by the live cameras 3200 for a certain period of time, for example.
  • the captured images stored in the server device 3400 for example images of aquatic life 4100, are transmitted to the aquarium device 3100 including a spatially floating image display device.
  • the captured images captured by the live camera 3200 may be transmitted in real time to the aquarium device 3100 including a spatially floating image display device via the server device 3400.
  • the captured images transmitted to the aquarium device 3100 including a spatially floating image display device are displayed on the display device 1, and are displayed as a spatially floating image 3C in the liquid 2100 in the aquarium tank 2000 via the optical system 1800A including a retroreflector 5. This allows the user to view the aquatic life kept in the aquarium from anywhere, such as their home.
  • the aquarium device 3100 including the spatial floating image display device has a live camera aquarium change function.
  • the aquarium device 3100 including the spatial floating image display device is configured to be able to appropriately select the type of aquatic life to be displayed as the spatial floating image 3C.
  • the aquarium device 3100 including the spatial floating image display device is configured to be able to switch the image of the aquatic life displayed as the spatial floating image 3C in response to, for example, an input operation by the user to the operation input unit 1107.
  • Fig. 20 is a flowchart showing an example of the operation of the space floating image display device.
  • Fig. 21 is a diagram illustrating a judgment item A judged in step S01 of Fig. 20, and judgment conditions 1 and 2 for the judgment item A.
  • Fig. 22 is a diagram illustrating the contents of the second mode set in step S03 of Fig. 20.
  • the floating-in-space image display device 1000 performs a judgment process for making a judgment on a preset judgment item A, and a mode selection process for selecting a display mode for the floating-in-space image 3C based on the judgment result of this judgment process.
  • the judgment process and the mode selection process are performed by, for example, the control unit 1110. That is, in this example, the control unit 1110 functions as a process execution unit that executes the judgment process and the mode selection process.
  • the mode selection process for selecting a display mode can also be considered a mode switching process for switching the display mode.
  • step S01 when the power supply of the space floating image display device 1000 is turned on and the control of the space floating image display device is started, a judgment process is executed at a predetermined timing, for example at regular intervals (step S01). In this judgment process, it is judged whether the judgment item A satisfies the previously set judgment condition 1 or judgment condition 2. If it is judged that the judgment item A satisfies the judgment condition 1 (step S01: judgment result [1]), the process proceeds to step S02, where the first mode, which is the normal mode, is selected as the display mode of the space floating image 3C.
  • the first mode which is the normal mode
  • step S01 judgment result [2]
  • the process proceeds to step S03, where the second mode, which is different from the normal mode, is selected as the display mode of the space floating image 3C.
  • the display mode is switched from the first mode to the second mode in step S03.
  • judgment process it is determined whether judgment condition 1 or judgment condition 2 is satisfied for a given judgment item A.
  • the contents of these judgment items A, judgment conditions 1, and judgment conditions 2 are not particularly limited and may be set arbitrarily, but examples shown in Fig. 21 (judgment examples 1 to 7) are given.
  • the judgment item A of the judgment example 1 is "current time”.
  • the “current time” is acquired from outside the space floating image display device 1000 via, for example, wireless communication.
  • the method of acquiring the current time is not particularly limited.
  • the judgment condition 1 is "the current time has passed the first time t1”
  • the judgment condition 2 is "the current time has passed the second time t2”. Note that the first time t1 and the second time t2 are times preset by the user.
  • This judgment example 1 is a so-called timer setting function, and when the current time reaches the first time t1, it is judged that judgment condition 1 is satisfied (step S01: judgment result [1]), and the first mode is selected as the display mode (step S02).
  • the first mode is selected as the display mode
  • the floating image 3C in space including the floating image 3Ca in liquid and the floating image 3Cb in air
  • the second mode is selected as the display mode (step S03).
  • the second mode setting is not particularly limited and may be set arbitrarily, for example, as shown in FIG. 22 (setting example 1 to setting example 8). As the second mode in judgment example 1, setting examples 1, 2, 3, 7, etc., are likely to be set.
  • the second mode when the current time becomes the second time t2, the floating-in-liquid image 3Ca is hidden and only the floating-in-air image 3Cb is displayed. That is, only the floating-in-air image 3Cb is displayed in the aquarium 2000 until the current time passes the second time t2 and becomes the first time t1 again.
  • the second mode when the current time becomes the second time t2, the floating-in-air image 3Cb is hidden and only the floating-in-liquid image 3Ca is displayed. That is, only the floating-in-liquid image 3Ca is displayed in the aquarium 2000 until the current time passes the second time t2 and becomes the first time t1 again.
  • the display modes include a first mode in which the floating-in-space image 3C is displayed both in the liquid 2100 of the aquarium 2000 and in the air, and a second mode in which the floating-in-space image 3C is displayed either in the liquid 2100 of the aquarium 2000 or in the air.
  • the floating image 3C is displayed with red, green, and blue video light when the current time is between the first time t1 and the second time t2, but when the current time passes the second time t2, the floating image 3C is displayed with blue video light only, or with blue and green video light.
  • the display modes include a first mode in which the floating image 3C displayed in the liquid 2100 of the aquarium 2000 is formed with red, green, and blue video light, and a second mode in which the floating image 3C displayed in the liquid 2100 of the aquarium 2000 is formed with blue light, or with blue and green light.
  • both the sub-liquid floating image 3Ca and the air floating image 3Cb will be hidden.
  • the space floating image 3C can be displayed during the daytime and not displayed during the nighttime. This allows the biorhythms of the aquatic creatures kept in the aquarium 2000 to be regulated.
  • the power consumption of the space floating image display device 1000 can be further reduced. However, even when the space floating image 3C is not displayed, the main power supply of the space floating image display device 1000 is on, and various sensors etc. are functioning.
  • the time to feed the aquatic creatures kept in the liquid 2100 of the aquarium 2000 may be set as the second time t2, and setting example 6 may be set as the second mode.
  • the display modes include a mode in which information indicating that it is time to feed the aquatic creatures is displayed as the floating image 3C. This makes it possible to clearly notify the user that it is time to feed the aquatic creatures.
  • floating image 3C When displaying information for the user, such as feeding times or device error information, as floating image 3C, it is preferable to display floating image 3C in the air above aquarium 2000. In other words, it is preferable to display information for the user as floating image 3Cb within aquarium 2000. This makes it possible to notify the user of various types of information in a more easily understandable manner.
  • judgment item A is "detection of a person near the aquarium”
  • judgment condition 1 is “detected”
  • judgment condition 2 is “not detected”.
  • the presence or absence of a person near the aquarium 2000 is judged based on the image captured by the imaging unit 1180A.
  • the first judgment condition is satisfied (step S01: judgment result [1])
  • the first mode is selected as the display mode (step S02).
  • the floating-in-space image 3C including the floating-in-liquid image 3Ca and the floating-in-air image 3Cb is displayed inside the aquarium 2000.
  • step S01 judgment result [2]
  • step S03 the second mode is selected as the display mode.
  • the presence or absence of a person near the aquarium 2000 is determined from the detection result (imaging result) by the imaging unit 1180A as a human presence sensor, and the first mode or the second mode is selected depending on the judgment result.
  • the second mode in judgment example 2 for example, setting examples 1, 7, etc. are likely to be set.
  • the second mode is setting example 1
  • only the floating image 3Cb is displayed in the aquarium 2000 while the presence of a person is not detected near the aquarium 2000.
  • the second mode is setting example 7, the floating image 3C is not displayed while the presence of a person is not detected near the aquarium 2000. This makes it possible to more effectively reduce the power consumption of the floating-in-space image display device 1000.
  • the imaging unit 1180A is given as an example of a human presence sensor, and the presence or absence of a person near the aquarium 2000 can be detected by various types of human presence sensors.
  • human presence sensors include those that use infrared rays, visible light, and ultrasound.
  • determination example 2 when determining the presence or absence of a person, it may be possible to determine, for example, by facial recognition or the like, that the person is a specific person, such as a registered user.
  • the judgment item A of the judgment example 3 is "detection time of a person near the aquarium", the judgment condition 1 is “detection time passes the first period t11", and the judgment condition 2 is “detection time passes the second period t12".
  • this judgment example 3 for example, the length of time (detection time) during which the presence of a person is continuously detected near the aquarium 2000 is judged from the detection result (imaging result) of the imaging unit 1180A.
  • this detection time passes the first period t11 set in advance, it is judged that a person (observer) is present observing the inside of the aquarium 2000. In other words, it is judged that the judgment condition 1 is satisfied.
  • Step S01 Judgment result [1]
  • the first mode is selected as the display mode (Step S02), and as an example, the floating-in-liquid image 3Ca and the floating-in-air image 3Cb are displayed in the aquarium 2000.
  • judgment condition 2 is satisfied (step S01: judgment result [2]), and the second mode is selected as the display mode (step S03: judgment result [2]).
  • judgment example 3 the presence or absence of a person near the aquarium 2000 is determined from the detection result of the imaging unit 1180A as a human presence sensor, and the first mode or the second mode is selected depending on the judgment result.
  • the second mode in judgment example 3 for example, setting examples 1 and 7 are likely to be set.
  • the second mode is setting example 1
  • the detection period has elapsed beyond the second period t12
  • only the floating image 3Cb is displayed in the aquarium 2000.
  • the sub-liquid floating image 3Ca is hidden and only the floating image 3Cb is displayed.
  • the second mode is setting example 7, once the detection period has elapsed beyond the second period t12, the sub-liquid floating image 3Ca and the floating image 3Cb are hidden.
  • the determination item A is "selection by the user"
  • the determination condition 1 is “selection of the first mode”
  • the determination condition 2 is “selection of the second mode”.
  • the method for selecting the display mode by the user is not particularly limited, and examples include an input operation by the user to the operation input unit 1107, or a voice input to the voice input unit 1139 such as a microphone.
  • the display mode may be selected by operating an external device such as a remote controller or a wireless device.
  • the first mode or the second mode is appropriately selected as the display mode in response to the user's selection.
  • the first mode is selected as the display mode
  • the submerged floating image 3Ca and the airborne floating image 3Cb are displayed in the aquarium 2000.
  • the second mode in judgment example 4 for example, the above-mentioned setting examples 1, 2, 3, 7, etc. are likely to be set. Note that since setting examples 1, 2, 3, and 7 were explained in judgment example 1, explanation here will be omitted.
  • the determination item A is "detection of shaking by the attitude sensor”
  • the determination condition 1 is “no shaking is detected”
  • the determination condition 2 is "shake is detected”.
  • the space-floating image display device 1000 is equipped with an attitude sensor 1113.
  • the attitude sensor 1113 is a sensor consisting of a gravity sensor or an acceleration sensor, or a combination of these, and detects the attitude in which the space-floating image display device 1000 is installed.
  • judgment example 5 when the attitude sensor 1113 detects shaking that is strong enough to cause the liquid 2100 in the water tank 2000 to overflow, it is judged that judgment condition 2 is met, and the second mode is selected as the display mode.
  • judgment condition 1 is met, and the first mode is selected as the display mode.
  • step S01 judgment result [1]
  • step S02 the first mode is selected as the display mode
  • step S01 judgment result [2]
  • step S03 the second mode in judgment example 5
  • setting example 8 is likely to be set.
  • the floating image 3C is displayed in the aquarium 2000.
  • the attitude sensor 1113 detects a predetermined shaking, the floating image 3C is hidden, and the main power supply of the floating image display device 1000 is cut off. This makes it possible to prevent leakage of electricity in the floating image display device 1000 even if the liquid 2100 in the aquarium 2000 spills outside.
  • judgment item A is "operational state of the device”
  • judgment condition 1 is “operating normally”
  • judgment condition 2 is "not operating normally.”
  • the control unit 1110 or the like constantly or periodically monitors whether any abnormality has occurred in the hardware or software of the space-floating image display device 1000. Then, in judgment example 6, if the operating state of the space-floating image display device 1000 is normal, it is judged that judgment condition 1 is satisfied (step S01: judgment result [1]), and the first mode is selected as the display mode (step S02). On the other hand, if an abnormality is detected in the operating state of the space-floating image display device 1000, it is judged that judgment condition 2 is satisfied (step S01: judgment result [2]), and the second mode is selected as the display mode (step S03). As the second mode in judgment example 6, for example, setting example 8 is likely to be set. Setting example 8 has been explained in judgment example 5, so a duplicate explanation will be omitted.
  • the control unit 1110 may also determine whether or not maintenance of the aquarium 2000 is necessary based on the imaging results of the imaging unit 1180A, and if maintenance is necessary, determine that the operating condition of the device is not normal. That is, as one of determination example 6, when maintenance of the aquarium 2000 is not necessary, it may determine that determination condition 1 is satisfied, and when maintenance of the aquarium 2000 is necessary, it may determine that determination condition 2 is satisfied.
  • the second mode is likely to be set to, for example, setting example 5.
  • the second mode is setting example 5
  • information to that effect is displayed as floating-in-liquid image 3Ca or floating-in-air image 3Cb.
  • the display modes include a mode in which information indicating to the user that it is time for aquarium 2000 maintenance is displayed as floating-in-air image 3C.
  • maintenance of aquarium 2000 may include, for example, replacing liquid 2100, cleaning aquarium 2000, and replacing consumables such as a filter for filtering liquid 2100.
  • the judgment item A of judgment example 7 is “liquid level position (height) ha"
  • judgment condition 1 is “liquid level position (height) ha is equal to or greater than a set threshold value h1”
  • judgment condition 2 is “liquid level position (height) ha is less than a set threshold value h1”.
  • the method of detecting the height ha of the liquid level 2101 is not particularly limited.
  • the height ha of the liquid level 2101 can be calculated based on, for example, the imaging result of the imaging unit 1180A or the detection result of the aerial operation detection sensor (liquid level detection sensor) 1351A.
  • step S01: judgment result [1] if the position of the liquid level 2101 of the liquid 2100 in the aquarium 2000, in other words the height ha from the bottom wall 2001 of the aquarium 2000 to the liquid level 2101 of the liquid 2100 (see FIG. 18A) is equal to or greater than a preset threshold value h1, it is judged that judgment condition 1 is met (step S01: judgment result [1]). Then, the first mode is selected as the display mode (step S02). On the other hand, if the height ha of the liquid level 2101 is less than the set height h1, it is judged that judgment condition 2 is met (step S01: judgment result [2]), and the second mode is selected as the display mode (step S03).
  • the second mode in judgment example 7 is likely to be set to, for example, setting example 4.
  • the display modes include a mode in which information indicating that the liquid 2100 in the aquarium 2000 is less than a preset amount is displayed as a floating image 3C. Note that while the first mode is selected as the display mode, information that the liquid 2100 is insufficient is not displayed. This makes it possible to clearly notify the user that the liquid 2100 in the aquarium 2000 is insufficient, and to prompt the user to add or replace the liquid 2100 at an appropriate time.
  • the judgment process and mode selection process are not limited to the above examples.
  • the settings of the second mode are not limited to setting examples 1 to 8 shown in FIG. 22, and can be set appropriately as needed.
  • the space floating image display device 1000 constituting the aquarium device has a second display device 1680 as shown in FIG. 4M, and the first mode is set to "second display device ON,” the second mode may be set to "second display device OFF (not displayed)."
  • the first and second display modes are selected based on the results of the determination process, but the number of display modes to be selected is not limited to two. Three or more display modes may be selected based on the results of the determination process.
  • the present invention is not limited to the above-mentioned embodiments.
  • the present invention includes various modified examples.
  • the above-mentioned embodiments are detailed descriptions of the entire system in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those having all of the configurations described. It is also possible to replace part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. It is also possible to add, delete, or replace part of the configuration of each embodiment with other configurations.
  • 1...display device 2, 5...retroreflector (retroreflector), 3...spatial image (floating image in space), 105...window glass, 100...transparent member, 101...polarized light separation member, 101B...polarized light separation member, 12...absorptive polarizer, 13...light source device, 54...light direction conversion panel, 151...retroreflector, 102, 202...LED substrate, 203...light guide, 205...reflective sheet, 206, 270...phase difference plate, 271...reflector, 230...user, 1000...floating image display device, 1110...control control unit, 1160...image control unit, 1180, 1180A...imaging unit, 1102...image display unit, 1350...air operation detection unit, 1351...air operation detection sensor, 1351A...air operation detection sensor (liquid level detection sensor), 2000...liquid storage tank (aquarium, second liquid storage tank), 2100...liquid, 2101...liquid level, 3000...space floating image display system, 3100...aquarium device, 3

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

より好適な空中浮遊映像表示装置を提供すること。本発明によれば、持続可能な開発目標(SDGs)の「3すべての人に健康と福祉を」、「9産業と技術革新の基盤をつくろう」、「11住み続けられるまちづくりを」に貢献する。空間浮遊映像表示装置は、映像処理部と、映像処理部が映像処理を行った映像を表示する表示部と、表示部が表示する映像に基づいて空間浮遊映像を生成する光学システムと、を備え、空間浮遊映像の少なくとも一部が、液体貯留槽に貯留されている液体中に形成される。

Description

空間浮遊映像表示装置および空間浮遊映像表示システム
 本発明は、空間浮遊映像表示装置および空間浮遊映像表示システムに関する。
 空間浮遊情報表示技術については、例えば、特許文献1に開示されている。
特開2019-128722号公報
 しかしながら、特許文献1の開示では、空間浮遊映像の実用的な明るさや品位を得るための構成や、ユーザが空間浮遊映像をより楽しく視認するための構成などについての考慮は十分ではなかった。
 本発明の目的は、より好適な空間浮遊映像表示装置を提供することにある。
 上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、空間浮遊映像表示装置は、映像処理部と、映像処理部が映像処理を行った映像を表示する表示部と、表示部が表示する映像に基づいて空間浮遊映像を生成する光学システムと、を備え、空間浮遊映像の少なくとも一部が、液体貯留槽に貯留されている液体中に形成される。
 本発明によれば、より好適な空間浮遊映像表示装置を実現できる。これ以外の課題、構成および効果は、以下の実施形態の説明において明らかにされる。
本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る、空中浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰反射板の投影図である。 本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰反射板の上面図である。 本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰反射板を構成する、コーナーリフレクタを示す斜視図である。 本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰反射板を構成する、コーナーリフレクタを示す上面図である。 本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰反射板を構成する、コーナーリフレクタを示す側面図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る光源装置の具体的な構成の一例を示す断面図である。 本発明の一実施例に係る光源装置の具体的な構成の一例を示す断面図である。 本発明の一実施例に係る光源装置の具体的な構成の一例を示す断面図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部を示す配置図である。 本発明の一実施例に係る表示装置の構成を示す断面図である。 本発明の一実施例に係る表示装置の構成を示す断面図である。 本発明の一実施例に係る映像表示装置の光源拡散特性を説明するための説明図である。 本発明の一実施例に係る映像表示装置の拡散特性を説明するための説明図である。 本発明の一実施例に係る画像処理が解決する課題の一例の説明図である。 本発明の一実施例に係る画像処理の一例の説明図である。 本発明の一実施例に係る映像表示処理の一例の説明図である。 本発明の一実施例に係る映像表示処理の一例の説明図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 水槽の内部に空間浮遊映像が表示された状態の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示システムの一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の動作の一例を示すフローチャートである。 判定項目および判定条件を例示する図である。 第2モードの設定内容を例示する図である。
 以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、本発明は実施例の説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものには、同一の符号を付与し、その繰り返しの説明は省略する場合がある。
 以下の実施例は、映像発光源からの映像光による映像を、ガラス等の空間を仕切る透明な部材を介して透過して、前記透明な部材の外部に空間浮遊映像として表示することが可能な映像表示装置に関する。なお、以下の実施例の説明において、空間に浮遊する映像を「空間浮遊映像」という用語で表現している。この用語の代わりに、「空中像」、「空間像」、「空中浮遊映像」、「表示映像の空間浮遊光学像」、「表示映像の空中浮遊光学像」などと表現してもかまわない。実施例の説明で主として用いる「空間浮遊映像」との用語は、これらの用語の代表例として用いている。
 以下の実施例によれば、例えば、銀行のATMや駅の券売機やデジタルサイネージ等において好適な映像表示装置を実現できる。例えば、現状、銀行のATMや駅の券売機等では、通常、タッチパネルが用いられているが、透明なガラス面や光透過性の板材を用いて、このガラス面や光透過性の板材上に高解像度な映像情報を空間浮遊した状態で表示可能となる。この時、出射する映像光の発散角を小さく、すなわち鋭角とし、更に特定の偏波に揃えることで、再帰反射板に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、従来の再帰反射方式での課題となっていた主空間浮遊像の他に発生するゴースト像を抑えることができ、鮮明な空間浮遊映像を得ることができる。また、本実施例の光源を含む装置により、消費電力を大幅に低減することが可能な、新規で利用性に優れた空間浮遊映像表示装置(空間浮遊映像表示システム)を提供することができる。また、例えば、車両において車両内部および/または外部において視認可能である、いわゆる、一方向性の空間浮遊映像表示が可能な車両用空間浮遊映像表示装置を提供することができる。
 <実施例1>
 <空間浮遊映像表示装置の使用形態の一例>
 図1は、本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図であり、本実施例に係る空間浮遊映像表示装置の全体構成を示す図である。空間浮遊映像表示装置の具体的な構成については、図2等を用いて詳述するが、表示装置(表示部)1から挟角な指向特性でかつ特定偏波の光が、映像光束として出射し、空間浮遊映像表示装置内の光学系での反射等を経て再帰反射板2に一旦入射し、再帰反射して透明な部材100(ガラス等)を透過して、ガラス面の外側に、実像である空間像(空間浮遊映像3)を形成する。なお、以下の実施例においては、再帰反射部材の例として再帰反射板2(再帰性反射板)を用いて説明する。しかしながら、本発明の再帰反射板2は平面形状のプレートに限られず、平面または非平面の部材に貼り付けるシート状の再帰反射部材や、平面または非平面の部材にシート状の再帰反射部材を貼り付けたアセンブリ全体を含む概念の例として用いている。また、再帰反射板2の反射後の光線は結像する光学特性を有するため、再帰反射板2は結像光学部材または結像光学プレートと表現してもよい。
 また、店舗等においては、ガラス等の透光性の部材であるショーウィンド(「ウィンドガラス」とも言う)105により空間が仕切られている。本実施例の空間浮遊映像表示装置によれば、かかる透明な部材を透過して、浮遊映像を店舗(空間)の外部および/または内部に対して一方向に表示することが可能である。
 図1では、ウィンドガラス105の内側(店舗内)を奥行方向にしてその外側(例えば、歩道)が手前になるように示している。他方、ウィンドガラス105に特定偏波を反射する手段を設けることで反射させ、店内の所望の位置に空間像(空中像)を形成することもできる。
 <空間浮遊映像表示装置の光学システムの構成例>
 図2Aは、本発明の一実施例に係る空間浮遊映像表示装置の光学システムの構成の一例を示す図である。図2Aを用いて、空間浮遊映像表示装置の構成をより具体的に説明する。図2A(1)に示すように、ガラス等の透明な部材100の斜め方向には、特定偏波の映像光を挟角に発散させる表示装置1を備える。表示装置1は、液晶表示パネル11と、挟角な拡散特性を有する特定偏波の光を生成する光源装置13とを備えている。
 表示装置1からの特定偏波の映像光は、透明な部材100に設けた特定偏波の映像光を選択的に反射する膜を有する偏光分離部材101(図中は偏光分離部材101をシート状に形成して透明な部材100に粘着している)で反射され、再帰反射板2に入射する。再帰反射板2の映像光入射面にはλ/4板21を設ける。映像光は、再帰反射板2への入射のときと出射のときの2回、λ/4板21を通過させられることで、特定偏波から他方の偏波へ偏光変換される。ここで、特定偏波の映像光を選択的に反射する偏光分離部材101は偏光変換された他方の偏波の偏光は透過する性質を有するので、偏光変換後の特定偏波の映像光は、偏光分離部材101を透過する。偏光分離部材101を透過した映像光が、透明な部材100の外側に、実像である空間浮遊映像3を形成する。なお、再帰反射板2へ入射する映像光の主光線は、図2Aでは再帰反射板2に対して90°に入射している例を記載している。ただし、再帰反射板2に対する映像光の主光線の入射角度は90°に限られず、例えば90°±15°でも使用可能である。
 ここで、図2Aの光学システムにおける偏光設計の第1の例を説明する。例えば、表示装置1からS偏光の映像光が偏光分離部材101へ射出される構成とし、偏光分離部材101がS偏光を反射しP偏光を透過する特性を有する構成としてもよい。この場合、表示装置1から偏光分離部材101へ到達したS偏光の映像光は、偏光分離部材101により反射され、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はS偏光からP偏光へ変換される。P偏光へ変換された映像光は再び偏光分離部材101へ向かう。ここで、偏光分離部材101は、S偏光を反射しP偏光を透過する特性を有するので、P偏光の映像光は偏光分離部材101を透過し、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101に対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により好適に空間浮遊映像3を形成することができる。
 次に、図2Aの光学システムにおける偏光設計の第2の例を説明する。例えば、表示装置1からP偏光の映像光が偏光分離部材101へ射出される構成とし、偏光分離部材101がP偏光を反射しS偏光を透過する特性を有する構成としてもよい。この場合、表示装置1から偏光分離部材101へ到達したP偏光の映像光は、偏光分離部材101により反射され、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はP偏光からS偏光へ変換される。S偏光へ変換された映像光は再び偏光分離部材101へ向かう。ここで、偏光分離部材101は、P偏光を反射しS偏光を透過する特性を有するので、S偏光の映像光は偏光分離部材101を透過し、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101に対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により好適に空間浮遊映像3を形成することができる。
 なお、空間浮遊映像3を形成する光は再帰反射板2から空間浮遊映像3の光学像へ収束する光線の集合であり、これらの光線は、空間浮遊映像3の光学像を通過後も直進する。よって、空間浮遊映像3は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。よって、図2Aの構成では、矢印Aの方向にユーザが視認する場合は、空間浮遊映像3は明るい映像として視認される。しかし、矢印Bの方向に他の人物が視認する場合は、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
 なお、再帰反射板2の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。また、反射角度も不揃いになることがある。このような不揃いの光は、設計上想定された偏光状態および進行角度を保たないことが有る。例えば、このような設計想定外の偏光状態および進行角度の光が、再帰反射板2の位置から偏光分離部材を介さずに直接液晶表示パネル11の映像表示面側へ再入射してしまうこともある。このような設計想定外の偏光状態および進行角度の光が、空間浮遊映像表示装置内の部品で反射したのち、液晶表示パネル11の映像表示面側へ再入射してしまうこともある。このような液晶表示パネル11の映像表示面側へ再入射した光が、表示装置1を構成する液晶表示パネル11の映像表示面で再反射し、ゴースト像を発生させ空間浮遊像の画質を低下させる可能性がある。そこで、本実施例では表示装置1の映像表示面に吸収型偏光板12を設けてもよい。表示装置1から出射する映像光は吸収型偏光板12を透過させ、偏光分離部材101から戻ってくる反射光は吸収型偏光板12で吸収させることで、上記再反射を抑制できる。これにより、空間浮遊像のゴースト像による画質低下を防止することができる。具体的には、表示装置1からS偏光の映像光が偏光分離部材101へ射出される構成であれば、吸収型偏光板12はP偏光を吸収する偏光板とすればよい。また、表示装置1からP偏光の映像光が偏光分離部材101へ射出される構成であれば、吸収型偏光板12はS偏光を吸収する偏光板とすればよい。
 上述した偏光分離部材101は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。
 次に、図2A(2)に、代表的な再帰反射板2として、再帰反射板の表面形状の一例を示す。規則的に配列された6角柱の内部に入射した光線は、6角柱の壁面と底面で反射され再帰反射光として入射光に対応した方向に出射し、表示装置1に表示した映像に基づき実像である空間浮遊映像を表示する。
 この空間浮遊像の解像度は、液晶表示パネル11の解像度の他に、図2A(2)で示す再帰反射板2の再帰反射部の外形DとピッチPに大きく依存する。例えば、7インチのWUXGA(1920×1200画素)液晶表示パネルを用いる場合には、1画素(1トリプレット)が約80μmであっても、例えば再帰反射部の直径Dが240μmでピッチが300μmであれば、空間浮遊像の1画素は300μm相当となる。このため、空間浮遊映像の実効的な解像度は1/3程度に低下する。
 そこで、空間浮遊映像の解像度を表示装置1の解像度と同等にするためには、再帰反射部の直径とピッチを液晶表示パネルの1画素に近づけることが望まれる。他方、再帰反射板と液晶表示パネルの画素によるモアレの発生を抑えるため、それぞれのピッチ比を1画素の整数倍から外して設計するとよい。また、形状は、再帰反射部のいずれの一辺も液晶表示パネルの1画素のいずれの一辺と重ならないように配置するとよい。
 なお、本実施例に係る再帰反射板の表面形状は上述の例に限られない。再帰性反射を実現する様々な表面形状を有してよい。具体的には、三角錐プリズム、六角錐プリズム、その他多角形プリズムまたはこれらの組み合わせを周期的に配置した再帰反射素子を、本実施例の再帰反射板の表面に備えてもよい。または、これらのプリズムを周期的に配置してキューブコーナーを形成する再帰反射素子を、本実施例の再帰反射板の表面に備えてもよい。これらは、コーナーリフレクタアレイ、多面リフレクタアレイと表現することもできる。または、ガラスビーズを周期的に配置したカプセルレンズ型再帰反射素子を、本実施例の再帰反射板の表面に備えてもよい。これらの再帰反射素子の詳細な構成は、既存の技術を用いればよいので、詳細な説明は省略する。具体的には、特開2001-33609号公報、特開2001-264525号公報、特開2005-181555号公報、特開2008-70898号公報、特開2009-229942号公報などに開示される技術を用いればよい。
 <空間浮遊映像表示装置の光学システムの他の構成例1>
 空間浮遊映像表示装置の光学システムの他の構成例について、図2Bを用いて説明する。なお、図2Bにおいて、図2Aと同一の符号を付している構成は、図2Aと同一の機能、構成を有するものする。このような構成については、説明を単純化するために繰り返しの説明は省略する。
 図2Bの光学システムでは、図2Aと同様に、表示装置1から特定偏波の映像光が出力される。表示装置1から出力された特定偏波の映像光は、偏光分離部材101Bに入力される。偏光分離部材101Bは、特定偏波の映像光を選択的に透過する部材である。偏光分離部材101Bは、図2Aの偏光分離部材101とは異なり、透明な部材100とは一体ではなく、独立して板状の形状をしている。よって、偏光分離部材101Bは、偏光分離板と表現してもよい。偏光分離部材101Bは、例えば、透明部材に偏光分離シートを貼り付けて構成して構成する反射型偏光板として構成してもよい。または、透明部材に特定偏波を選択的に透過させ、他の特定偏波の偏波を反射する金属多層膜などで形成すればよい。図2Bでは、偏光分離部材101Bは、表示装置1から出力された特定偏波の映像光を透過するように構成されている。
 偏光分離部材101Bを透過した映像光は、再帰反射板2に入射する。再帰反射板の映像光入射面にはλ/4板21を設ける。映像光は、再帰反射板への入射のときと出射のときの2回において、λ/4板21を通過させられることで特定偏波から他方の偏波へ偏光変換される。ここで、偏光分離部材101Bは、λ/4板21で偏光変換された他方の偏波の偏光は反射する性質を有するので、偏光変換後の映像光は、偏光分離部材101Bで反射される。偏光分離部材101Bで反射した映像光は、透明な部材100を透過し、透明な部材100の外側に実像である空間浮遊映像3を形成する。
 ここで、図2Bの光学システムにおける偏光設計の第1の例を説明する。例えば、表示装置1からP偏光の映像光が偏光分離部材101Bへ射出される構成とし、偏光分離部材101BがS偏光を反射しP偏光を透過する特性を有する構成としてもよい。この場合、表示装置1から偏光分離部材101Bへ到達したP偏光の映像光は、偏光分離部材101Bを透過し、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はP偏光からS偏光へ変換される。S偏光へ変換された映像光は再び偏光分離部材101Bへ向かう。ここで、偏光分離部材101Bは、S偏光を反射しP偏光を透過する特性を有するので、S偏光の映像光は偏光分離部材101で反射され、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101Bに対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により好適に空間浮遊映像3を形成することができる。
 次に、図2Bの光学システムにおける偏光設計の第2の例を説明する。例えば、表示装置1からS偏光の映像光が偏光分離部材101Bへ射出される構成とし、偏光分離部材101BがP偏光を反射しS偏光を透過する特性を有する構成としてもよい。この場合、表示装置1から偏光分離部材101Bへ到達したS偏光の映像光は、偏光分離部材101Bを透過し、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はS偏光からP偏光へ変換される。P偏光へ変換された映像光は再び偏光分離部材101Bへ向かう。ここで、偏光分離部材101Bは、P偏光を反射しS偏光を透過する特性を有するので、P偏光の映像光は偏光分離部材101で反射され、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101Bに対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により、好適に空間浮遊映像3を形成することができる。
 なお、図2Bにおいては、表示装置1の映像表示面と、再帰反射板2の面は平行に配置されている。偏光分離部材101Bは、表示装置1の映像表示面および再帰反射板2の面に対して、角度α(例えば30°)だけ傾いて配置されている。すると、偏光分離部材101Bの反射においては、再帰反射板2から入射される映像光の進行方向(当該映像光の主光線の方向)に対して、偏光分離部材101Bで反射された映像光の進行方向(当該映像光の主光線の方向)は、角度β(例えば60°)だけ異なる方向となる。このように構成することにより、図2Bの光学システムでは、透明な部材100の外側に向けて図示される所定の角度で映像光が出力され、実像である空間浮遊映像3を形成する。図2Bの構成では、矢印Aの方向にユーザが視認する場合は、空間浮遊映像3は明るい映像として視認される。しかし、矢印Bの方向に他の人物が視認する場合は、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
 以上説明したように、図2Bの光学システムでは、図2Aの光学システムとは異なる構成の光学システムでありながら、図2Aの光学システムと同様に、好適な空間浮遊映像を形成することができる。
 なお、透明な部材100の偏光分離部材101B側の面に吸収型偏光板を設けてもよい。当該吸収型偏光板は、偏光分離部材101Bからの映像光の偏波を透過し、偏光分離部材101Bからの映像光の偏波と位相が90°異なる偏波を吸収する吸収型偏光板とすればよい。このようにすれば、空間浮遊映像3を形成するための映像光は充分透過させながら、透明な部材100の空間浮遊映像3側から入射する外光を約50%低減することができる。これにより、透明な部材100の空間浮遊映像3側から入射する外光にもとづく図2Bの光学システム内の迷光を低減することができる。
 <空間浮遊映像表示装置の光学システムの他の構成例2>
 空間浮遊映像表示装置の光学システムの他の構成例について、図2Cを用いて説明する。なお、図2Cにおいて、図2Bと同一の符号を付している構成は、図2Bと同一の機能、構成を有するものする。このような構成については、説明を単純化するために繰り返しの説明はしない。
 図2Bの光学システムに対する図2Cの光学システムの相違点は、表示装置1の映像表示面および再帰反射板2の面に対する、偏光分離部材101Bの配置角度のみである。その他の構成はいずれも、図2Bの光学システムと同様であるので繰り返しの説明は省略する。図2Cの光学システムの偏光設計も、図2Bの光学システムの偏光設計と同様であるため、繰り返しの説明は省略する。
 図2Cの光学システムでは、偏光分離部材101Bは、表示装置1の映像表示面および再帰反射板2の面に対して、角度αだけ傾いて配置されている。図2Cにおいて、その角度αは45°である。このように構成すると、偏光分離部材101Bの反射においては、再帰反射板2から入射される映像光の進行方向(当該映像光の主光線の方向)に対する、偏光分離部材101Bで反射された映像光の進行方向(当該映像光の主光線の方向)のなす角度βは90°となる。このように構成すると、表示装置1の映像表示面および再帰反射板2の面と、偏光分離部材101Bで反射された映像光の進行方向とが直角の関係になり、光学システムを構成する面の角度関係をシンプルにすることができる。透明な部材100の面を偏光分離部材101Bで反射された映像光の進行方向に対して直交するように配置すれば、更に光学システムを構成する面の角度関係をシンプルにすることができる。図2Cの構成では、矢印Aの方向にユーザが視認する場合は、空間浮遊映像3は明るい映像として視認される。しかし、矢印Bの方向に他の人物が視認する場合は、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
 以上説明したように、図2Cの光学システムでは、図2Aおよび図2Bの光学システムとは異なる構成の光学システムでありながら、図2Aおよび図2Bの光学システムと同様に、好適な空間浮遊映像を形成することができる。また、光学システムを構成する面の角度をよりシンプルにすることができる。
 なお、透明な部材100の偏光分離部材101B側の面に吸収型偏光板を設けてもよい。当該吸収型偏光板は、偏光分離部材101Bからの映像光の偏波を透過し、偏光分離部材101Bからの映像光の偏波と位相が90°異なる偏波を吸収する吸収型偏光板とすればよい。このようにすれば、空間浮遊映像3を形成するための映像光は充分透過させながら、透明な部材100の空間浮遊映像3側から入射する外光を約50%低減することができる。これにより、透明な部材100の空間浮遊映像3側から入射する外光にもとづく図2Cの光学システム内の迷光を低減することができる。
 <空間浮遊映像表示装置の光学システムの他の構成例3>
 空間浮遊映像表示装置の光学システムの他の構成例について、図2Dを用いて説明する。図2Dの光学システムは、図2A~図2Cにおいて用いた再帰反射板2とは異なる、再帰反射板5を用いた光学システムである。以下、図2D~図2Iを用いて、光学システムの他の構成例3についてより具体的に説明する。図2Dにおいて、図2A~Cと同一の符号を付している構成は、図2A~図2Cと同一の機能、構成を有するものする。このような構成については、説明を単純化するために繰り返しの説明はしない。
 図2Dは、本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。ガラス等の透明な部材100の斜め方向には、映像光を出射する表示装置10を備える。表示装置10は、液晶表示パネル11と、光を生成する光源装置13とを備えている。
 表示装置10から出射された光束を代表する主光線9020は、再帰反射板5に向かって進行し、再帰反射板5に対して入射角αで入射する。入射角αは例えば45°などでよい。ただし、入射角αは45°に限られず、例えば45°±15°でも使用可能である。
 再帰反射板5は、少なくとも光線を一部の方向について再帰性反射する光学特性を有する光学部材である。また、反射後の光線は結像する光学特性を有するため、再帰反射板5は結像光学部材または結像光学プレートと表現してもよい。
 再帰反射板5の具体的な構成については、図2E、図2F等を用いて詳述するが、再帰反射板5によって、主光線9020は、z方向に進行しつつ、x、y方向に関して再帰性反射される。これにより、反射光線9021は、再帰反射板5を基準に主光線9020に対して鏡面対称な光路を、再帰反射板5から離れる方向に進行し、透明な部材100を透過して、結像面において実像として空間浮遊映像3を形成する。
 空間浮遊映像3を形成する光束は、再帰反射板5から空間浮遊映像3の光学像へ収束する光線の集合であり、これらの光線は、空間浮遊映像3の光学像を通過後も直進する。よって、空間浮遊映像3は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像とは異なり、高い指向性を有する映像である。よって、図2の構成では、矢印Aの方向にユーザが視認する場合は、空間浮遊映像3は、明るい映像として視認される。しかし、矢印Bの方向に他の人物が視認する場合は、空間浮遊映像3は、映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に好適である。
 図2E、図2Fを用いて再帰反射板5の構成の一例について説明する。再帰反射板5は、透明な部材50の表面に、複数のコーナーリフレクタ9040を、アレイ状に配列した構成となっている。これはコーナーリフレクタアレイまたは多面リフレクタアレイと呼んでもよい。コーナーリフレクタ9040の具体的な構成については、図2G、図2H、図2Iを用いて詳述するが、光源9110から出射された光線9111、9112、9113、9114は、コーナーリフレクタ9040の2つの鏡面9041、9042によって2回反射され、反射光線9121、9122、9123、9124となる。この2回反射は、x、y方向に関しては、入射方向と同一方向に折り返す(180°回転した方向に進む)再帰性反射となっており、z方向に関しては、全反射により入射角と反射角が一致する正反射となる。
 すなわち、光線9111~9114は、コーナーリフレクタ9040に対してz方向に対称な直線上に、反射光線9121~9124を生じ、空中実像9120を結像する。なお、光源9110から出射される光線9111~9114は、光源9110からの拡散光を代表した4光線であり、光源9110の拡散特性によっては、再帰反射板5に入射する光線はこれらに限定されないが、いずれの入射光線も同様の反射を引き起こし、空中実像9120を結像する。なお、図面を見やすくするために、光源9110の位置と空中実像9120のx方向の位置をずらして表記しているが、実際は光源9110の位置と空中実像9120のx方向の位置は同じ位置であり、z方向に見ると重なった位置になる。
 次に、図2G、図2H、図2Iにて再帰反射板5を構成するコーナーリフレクタ9040の構成および効果について説明する。コーナーリフレクタ9040は、特定の2つの面のみが鏡面9041、9042となっており、それ以外の4面は透明な部材で形成された、直方体である。再帰反射板5は、このコーナーリフレクタ9040が、その対応する鏡面が同一方向を向くようにアレイ配列された構成を有している。
 上面(+z方向)から見ると、光源9110から出射される光線9111は、特定の入射角で鏡面9041(または鏡面9042)に入射し、反射点9130にて全反射された後、鏡面9042(または鏡面9041)上の反射点9132で再度全反射される。
 光線9111の、鏡面9041(または鏡面9042)に対する入射角をθとすると、鏡面9041(または鏡面9042)で反射された、第一の反射光線9131の、鏡面9042(または鏡面9041)に対する入射角は、90°-θと表すことができる。したがって、光線9111に対して、第二の反射光線9121は、1回目の反射によって2θ、2回目の反射によって2×(90°-θ)の回転を得るため、合計で180°の反転光路となる。一方、側面(-xと-yの中間方向)から見ると、z方向に対する全反射は、1回のみしか生じない。したがって、鏡面9041または鏡面9042に対する入射角をφとすると、光線9111に対して、反射光線9121は、1回の反射によって2×φの回転を得る。
 以上より、コーナーリフレクタ9040に入射する光線は、x、y方向には反転光路となる再帰性反射を生じ、z方向には全反射による正反射となる。再帰反射板5を考えると、各光路においても同様の反射を引き起こすので、x、y方向に対しては収束性を持った反転光路によって、z軸方向に対して対称な点に結像する。
 ここで、図2A~図2Cの光学システムでは、再帰反射板2が3軸方向の再帰性反射特性を有している。これにより、再帰反射板2に対して拡散性を持った入射光束が入射した場合、収束性を持った反射光束が、再帰反射板2に対して入射光線の光源が存在する側に向かって進行する。当該収束性を持った反射光束は、空中で結像して空間浮遊映像3を形成する。再帰反射板2から反射した収束性を持った反射光束の主光線の進行方向は、再帰反射板2に対して入射する拡散性を持った入射光束の主光線の進行方向の逆方向になる。
 これに対し、図2Dの光学システムでは、再帰反射板5が2軸方向の再帰性反射特性を有し、他の1軸方向については正反射する。これにより、再帰反射板5に対して拡散性を持った入射光束が入射した場合、コーナーリフレクタアレイにより反射された収束性を持った反射光束が、再帰反射板5に対して入射光線の光源が存在する側と反対側に向かって進行する。当該収束性を持った反射光束は、空中で結像し空間浮遊映像3を形成することとなる。
 再帰反射板5のコーナーリフレクタアレイにより反射した収束性を持った反射光束の主光線の進行方向は、再帰反射板5に対して入射する拡散性を持った入射光束の主光線の進行方向の逆方向にはならない。再帰反射板5に入射する拡散性を持った入射光束の主光線の進行方向についての再帰反射板5の板形状の面の法線方向成分と、再帰反射板5で反射して収束性を持った反射光束となった後の主光線の進行方向についての再帰反射板5の板形状の面の法線方向成分は、コーナーリフレクタアレイによる反射前後で変わらず直進する。
 すなわち、再帰反射板5における反射により、拡散性を持った入射光束は、収束性を持った反射光束に変換されるが、再帰反射板5の板形状の面の法線方向においては、当該光束は、再帰反射板5を通り抜けるように進行することになる。ここで、再帰反射板5に入射する拡散性を持った入射光束と、再帰反射板5から出射する収束性を持った反射光束とは、再帰反射板5の板形状の面を基準として幾何学的に面対称の関係になる。
 映像出力部10からの光線により結像した空間浮遊像の解像度は、液晶表示パネル11の解像度の他に、図2E、図2Fで示す再帰反射板5の再帰反射部の直径DとピッチP(図示なし)に大きく依存する。例えば、7インチのWUXGA(1920×1200画素)液晶表示パネルを用いる場合には、1画素(1トリプレット)が約80μmであっても、例えば再帰反射部の直径Dが240μmでピッチPが300μmであれば、空間浮遊像の1画素は300μm相当となる。このため、空間浮遊映像の実効的な解像度は1/3程度に低下する。
 そこで、空間浮遊映像の解像度を表示装置10の解像度と同等にするためには、再帰反射部の直径DとピッチPを液晶表示パネルの1画素に近づけることが望まれる。他方、再帰反射板と液晶表示パネルの画素によるモアレの発生を抑えるため、それぞれのピッチ比を1画素の整数倍から外して設計するとよい。また、形状は、再帰反射部のいずれの一辺も液晶表示パネルの1画素のいずれの一辺と重ならないように配置するとよい。
 なお、本実施例に係る再帰反射板(結像光学プレート)の形状は上述の例に限られない。再帰性反射を実現する様々な形状を有してよい。具体的には、各種キュービックコーナ体、コーナーリフレクタアレイでもよく、スリットミラーアレイ、二面コーナーリフレクタアレイ、多面リフレクタアレイ、その反射面の組み合わせを周期的に配置した形状でもよい。または、ガラスビーズを周期的に配置したカプセルレンズ型再帰性反射素子を、本実施例の再帰反射板の表面に備えてもよい。これらの再帰性反射素子の詳細な構成は、既存の技術を用いればよいので、詳細な説明は省略する。具体的には、特開2017-33005号公報、特開2019-133110号公報、特開2017-67933号公報、WO2009/131128号公報などに開示される技術を用いればよい。
 なお、図2Dの光学システムでは、表示装置10から出射する映像光はいずれの偏光状態でも構わない。S偏光でもP偏光でも問題ない。
 以上説明したように、図2Dの光学システムでは、図2A~図2Cの光学システムとは異なる再帰反射板を用いた光学システムでありながら、図2A~図2Cの光学システムと同様に、より好適な空間浮遊映像を形成することができる。
 以上説明した、図2A、図2B、図2C、図2Dの光学システムによれば、より明るく、より高品位な空間浮遊映像を提供することができる。
 <<空間浮遊映像表示装置の内部構成のブロック図>>
 次に、空間浮遊映像表示装置1000の内部構成のブロック図について説明する。図3は、空間浮遊映像表示装置1000の内部構成の一例を示すブロック図である。
 空間浮遊映像表示装置1000は、再帰反射部1101、映像表示部1102、導光体1104、光源1105、電源1106、外部電源入力インタフェース1111、操作入力部1107、不揮発性メモリ1108、メモリ1109、制御部1110、映像信号入力部1131、音声信号入力部1133、通信部1132、空中操作検出センサ1351、空中操作検出部1350、音声出力部1140、マイク1139、映像制御部1160、ストレージ部1170、撮像部1180等を備えている。なお、リムーバブルメディアインタフェース1134、姿勢センサ1113、透過型自発光映像表示装置1650、第2の表示装置1680、または二次電池1112などを備えてもよい。
 空間浮遊映像表示装置1000の各構成要素は、筐体1190に配置されている。なお、図3に示す撮像部1180および空中操作検出センサ1351は、筐体1190の外側に設けられてもよい。
 図3の再帰反射部1101は、図2A、図2B、図2Cの再帰反射板2に対応している。再帰反射部1101は、映像表示部1102により変調された光を再帰性反射する。再帰反射部1101からの反射光のうち、空間浮遊映像表示装置1000の外部に出力された光により空間浮遊映像3が形成される。
 図3の映像表示部1102は、図2A、図2B、図2Cの液晶表示パネル11に対応している。図3の光源1105は、図2A、図2B、図2Cの光源装置13と対応している。そして、図3の映像表示部1102、導光体1104、および光源1105は、図2A、図2B、図2Cの表示装置1に対応している。
 映像表示部1102は、後述する映像制御部1160による制御により入力される映像信号に基づいて、透過する光を変調して映像を生成する表示部である。映像表示部1102は、図2A、図2B、図2Cの液晶表示パネル11に対応している。映像表示部1102として、例えば透過型液晶パネルが用いられる。また、映像表示部1102として、例えば反射する光を変調する方式の反射型液晶パネルやDMD(Digital Micromirror Device:登録商標)パネル等が用いられてもよい。
 光源1105は、映像表示部1102用の光を発生するもので、LED光源、レーザ光源等の固体光源である。電源1106は、外部から外部電源入力インタフェース1111介して入力されるAC電流をDC電流に変換し、光源1105に電力を供給する。また、電源1106は、空間浮遊映像表示装置1000内の各部に、それぞれ必要なDC電流を供給する。二次電池1112は、電源1106から供給される電力を蓄電する。また、二次電池1112は、外部電源入力インタフェース1111を介して、外部から電力が供給されない場合に、光源1105およびその他電力を必要とする構成に対して電力を供給する。すなわち、空間浮遊映像表示装置1000が二次電池1112を備える場合は、外部から電力が供給されない場合でもユーザは空間浮遊映像表示装置1000を使用することが可能となる。
 導光体1104は、光源1105で発生した光を導光し、映像表示部1102に照射させる。導光体1104と光源1105とを組み合わせたものを、映像表示部1102のバックライトと称することもできる。導光体1104は、主にガラスを用いた構成にしてもよい。導光体1104は、主にプラスチックを用いた構成にしてもよい。導光体1104は、ミラーを用いた構成にしてもよい。導光体1104と光源1105との組み合わせには、様々な方式が考えられる。導光体1104と光源1105との組み合わせについての具体的な構成例については、後で詳しく説明する。
 空中操作検出センサ1351は、ユーザ230の指による空間浮遊映像3の操作を検出するセンサである。空中操作検出センサ1351は、例えば空間浮遊映像3の表示範囲の全部と重畳する範囲をセンシングする。なお、空中操作検出センサ1351は、空間浮遊映像3の表示範囲の少なくとも一部と重畳する範囲のみをセンシングしてもよい。
 空中操作検出センサ1351の具体例としては、赤外線などの非可視光、非可視光レーザ、超音波等を用いた距離センサが挙げられる。また、空中操作検出センサ1351は、複数のセンサを組み合わせ、2次元平面の座標を検出できるように構成されたものでもよい。また、空中操作検出センサ1351は、ToF(Time of Flight)方式のLiDAR(Light Detection and Ranging)や、画像センサで構成されてもよい。
 空中操作検出センサ1351は、ユーザが指で空間浮遊映像3として表示されるオブジェクトに対するタッチ操作等を検出するためのセンシングができればよい。このようなセンシングは、既存の技術を用いて行うことができる。
 空中操作検出部1350は、空中操作検出センサ1351からセンシング信号を取得し、センシング信号に基づいてユーザ230の指による空間浮遊映像3のオブジェクトに対する接触の有無や、ユーザ230の指とオブジェクトとが接触した位置(接触位置)の算出等を行う。空中操作検出部1350は、例えば、FPGA(Field Programmable Gate Array)等の回路で構成される。また、空中操作検出部1350の一部の機能は、例えば制御部1110で実行される空間操作検出用プログラムによりソフトウェアで実現されてもよい。
 空中操作検出センサ1351および空中操作検出部1350は、空間浮遊映像表示装置1000に内蔵された構成としてもよいが、空間浮遊映像表示装置1000とは別体で外部に設けられてもよい。空間浮遊映像表示装置1000と別体で設ける場合、空中操作検出センサ1351および空中操作検出部1350は、有線または無線の通信接続路や映像信号伝送路を介して空間浮遊映像表示装置1000に情報や信号を伝達できるように構成される。
 また、空中操作検出センサ1351および空中操作検出部1350が別体で設けられてもよい。これにより、空中操作検出機能の無い空間浮遊映像表示装置1000を本体として、空中操作検出機能のみをオプションで追加できるようなシステムを構築することが可能である。また、空中操作検出センサ1351のみを別体とし、空中操作検出部1350が空間浮遊映像表示装置1000に内蔵された構成でもよい。空間浮遊映像表示装置1000の設置位置に対して空中操作検出センサ1351をより自由に配置したい場合等には、空中操作検出センサ1351のみを別体とする構成に利点がある。
 撮像部1180は、イメージセンサを有するカメラであり、空間浮遊映像3付近の空間、および/またはユーザ230の顔、腕、指などを撮像する。撮像部1180は、複数設けられてもよい。複数の撮像部1180を用いることで、あるいは深度センサ付きの撮像部を用いることで、ユーザ230による空間浮遊映像3のタッチ操作の検出処理の際、空中操作検出部1350を補助することができる。撮像部1180は、空間浮遊映像表示装置1000と別体で設けられてもよい。撮像部1180を空間浮遊映像表示装置1000と別体で設ける場合、有線または無線の通信接続路などを介して空間浮遊映像表示装置1000に撮像信号を伝達できるように構成すればよい。
 例えば、空中操作検出センサ1351が、空間浮遊映像3の表示面を含む平面(侵入検出平面)を対象として、この侵入検出平面内への物体の侵入の有無を検出する物体侵入センサとして構成された場合、侵入検出平面内に侵入していない物体(例えば、ユーザの指)が侵入検出平面からどれだけ離れているのか、あるいは物体が侵入検出平面にどれだけ近いのかといった情報を、空中操作検出センサ1351では検出できない場合がある。
 このような場合、複数の撮像部1180の撮像画像に基づく物体の深度算出情報や深度センサによる物体の深度情報等の情報を用いることにより、物体と侵入検出平面との距離を算出することができる。そして、これらの情報や、物体と侵入検出平面との距離等の各種情報は、空間浮遊映像3に対する各種表示制御に用いられる。
 また、空中操作検出センサ1351を用いずに、撮像部1180の撮像画像に基づき、空中操作検出部1350がユーザ230による空間浮遊映像3のタッチ操作を検出するようにしてもよい。
 また、撮像部1180が空間浮遊映像3を操作するユーザ230の顔を撮像し、制御部1110がユーザ230の識別処理を行うようにしてもよい。また、空間浮遊映像3を操作するユーザ230の周辺や背後に他人が立っており、他人が空間浮遊映像3に対するユーザ230の操作を覗き見ていないか等を判別するため、撮像部1180は、空間浮遊映像3を操作するユーザ230と、ユーザ230の周辺領域とを含めた範囲を撮像するようにしてもよい。
 操作入力部1107は、例えば操作ボタンや、リモートコントローラ等の信号受信部または赤外光受光部であり、ユーザ230による空中操作(タッチ操作)とは異なる操作についての信号を入力する。空間浮遊映像3をタッチ操作する前述のユーザ230とは別に、操作入力部1107は、例えば管理者が空間浮遊映像表示装置1000を操作するために用いられてもよい。
 映像信号入力部1131は、外部の映像出力装置を接続して映像データを入力する。映像信号入力部1131は、様々なデジタル映像入力インタフェースが考えられる。例えば、HDMI(登録商標)(High―Definition Multimedia Interface)規格の映像入力インタフェース、DVI(Digital Visual Interface)規格の映像入力インタフェース、またはDisplayPort規格の映像入力インタフェースなどで構成すればよい。
 または、アナログRGBや、コンポジットビデオなどのアナログ映像入力インタフェースを設けてもよい。音声信号入力部1133は、外部の音声出力装置を接続して音声データを入力する。音声信号入力部1133は、HDMI規格の音声入力インタフェース、光デジタル端子インタフェース、または、同軸デジタル端子インタフェース、などで構成すればよい。HDMI規格のインタフェースの場合は、映像信号入力部1131と音声信号入力部1133とは、端子およびケーブルが一体化したインタフェースとして構成されてもよい。音声出力部1140は、音声信号入力部1133に入力された音声データに基づいた音声を出力することが可能である。音声出力部1140は、スピーカーで構成してもよい。
 また、音声出力部1140は、内蔵の操作音やエラー警告音を出力してもよい。または、HDMI規格に規定されるAudio Return Channel機能のように、外部機器にデジタル信号として出力する構成を音声出力部1140としてもよい。マイク1139は、空間浮遊映像表示装置1000の周辺の音を収音し、信号に変換して音声信号を生成するマイクである。ユーザの声など人物の声をマイクが収録して、生成した音声信号を後述する制御部1110が音声認識処理を行って、当該音声信号から文字情報を取得するように構成してもよい。
 不揮発性メモリ1108は、空間浮遊映像表示装置1000で用いる各種データを格納する。不揮発性メモリ1108に格納されるデータには、例えば、空間浮遊映像3に表示する各種操作用のデータ、表示アイコン、ユーザの操作が操作するためのオブジェクトのデータやレイアウト情報等が含まれる。メモリ1109は、空間浮遊映像3として表示する映像データや装置の制御用データ等を記憶する。
 制御部1110は、接続される各部の動作を制御する。また、制御部1110は、メモリ1109に記憶されるプログラムと協働して、空間浮遊映像表示装置1000内の各部から取得した情報に基づく演算処理を行ってもよい。
 通信部1132は、有線または無線の通信インタフェースを介して、外部機器や外部のサーバ等と通信を行う。通信部1132が有線の通信インタフェースを有する場合は、当該有線の通信インタフェースは、例えば、イーサネット規格のLANインタフェースなどで構成すればよい。通信部1132が無線の通信インタフェースを有する場合は、例えば、Wi―Fi方式の通信インタフェース、Bluetooth方式の通信インタフェース、4G、5Gなどの移動体通信インタフェースなどで構成すればよい。通信部1132を介した通信により、映像データ、画像データ、音声データ等の各種データが送受信される。
 また、リムーバブルメディアインタフェース1134は、着脱可能な記録媒体(リムーバブルメディア)を接続するインタフェースである。着脱可能な記録媒体(リムーバブルメディア)は、ソリッドステートドライブ(SSD)などの半導体素子メモリ、ハードディスクドライブ(HDD)などの磁気記録媒体記録装置、または光ディスクなどの光学記録メディアなどで構成してもよい。リムーバブルメディアインタフェース1134は着脱可能な記録媒体記録されている、映像データ、画像データ、音声データ等の各種データなどの各種情報を読み出すことが可能である。着脱可能な記録媒体に記録された映像データ、画像データ等は、映像表示部1102と再帰反射部1101とを介して空間浮遊映像3として出力される。
 ストレージ部1170は、映像データ、画像データ、音声データ等の各種データなどの各種情報を記録する記憶装置である。ストレージ部1170は、ハードディスクドライブ(HDD)などの磁気記録媒体記録装置や、ソリッドステートドライブ(SSD)などの半導体素子メモリで構成してもよい。ストレージ部1170には、例えば、製品出荷時に予め映像データ、画像データ、音声データ等の各種データ等の各種情報が記録されていてもよい。また、ストレージ部1170は、通信部1132を介して外部機器や外部のサーバ等から取得した映像データ、画像データ、音声データ等の各種データ等の各種情報を記録してもよい。
 ストレージ部1170に記録された映像データ、画像データ等は、映像表示部1102と再帰反射部1101とを介して空間浮遊映像3として出力される。空間浮遊映像3として表示される、表示アイコンやユーザが操作するためのオブジェクト等の映像データ、画像データ等も、ストレージ部1170に記録される。
 空間浮遊映像3として表示される表示アイコンやオブジェクト等のレイアウト情報や、オブジェクトに関する各種メタデータの情報等もストレージ部1170に記録される。ストレージ部1170に記録された音声データは、例えば音声出力部1140から音声として出力される。
 映像制御部1160は、映像表示部1102に入力する映像信号に関する各種制御を行う。映像制御部1160は、映像処理回路と称してもよく、例えば、ASIC、FPGA、映像用プロセッサなどのハードウェアで構成されてもよい。なお、映像制御部1160は、映像処理部、画像処理部と称してもよい。映像制御部1160は、例えば、メモリ1109に記憶させる映像信号と、映像信号入力部1131に入力された映像信号(映像データ)等のうち、どの映像信号を映像表示部1102に入力するかといった映像切り替えの制御等を行う。
 また、映像制御部1160は、メモリ1109に記憶させる映像信号と、映像信号入力部1131から入力された映像信号とを重畳した重畳映像信号を生成し、重畳映像信号を映像表示部1102に入力することで、合成映像を空間浮遊映像3として形成する制御を行ってもよい。
 また、映像制御部1160は、映像信号入力部1131から入力された映像信号やメモリ1109に記憶させる映像信号等に対して画像処理を行う制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分ごとの重みづけを変更するレティネックス処理等がある。
 また、映像制御部1160は、映像表示部1102に入力する映像信号に対して、ユーザ230の空中操作(タッチ操作)を補助するための特殊効果映像処理等を行ってもよい。特殊効果映像処理は、例えば、空中操作検出部1350によるユーザ230のタッチ操作の検出結果や、撮像部1180によるユーザ230の撮像画像に基づいて行われる。
 姿勢センサ1113は、重力センサまたは加速度センサ、またはこれらの組み合わせにより構成されるセンサであり、空間浮遊映像表示装置1000が設置されている姿勢を検出することができる。姿勢センサ1113の姿勢検出結果に基づいて、制御部1110が、接続される各部の動作を制御してもよい。例えば、ユーザの使用状態としての好ましくない姿勢を検出した場合に、映像表示部1102の表示していた映像の表示を中止し、ユーザにエラーメッセージを表示するような制御を行ってもよい。または、姿勢センサ1113により空間浮遊映像表示装置1000の設置姿勢が変化したことを検出した場合に、映像表示部1102の表示していた映像の表示の向きを回転させる制御を行ってもよい。
 ここまで説明したように、空間浮遊映像表示装置1000には、様々な機能が搭載されている。ただし、空間浮遊映像表示装置1000は、これらのすべての機能を備える必要はなく、空間浮遊映像3を形成する機能があればどのような構成でもよい。
 <空間浮遊映像表示装置の構成例>
 次に、空間浮遊映像表示装置の構成例について説明する。本実施例に係る空間浮遊映像表示装置の構成要素のレイアウトは、使用形態に応じて様々なレイアウトがあり得る。以下、図4A~図4Mのそれぞれのレイアウトについて説明する。なお、図4A~図4Mのいずれの例においても、空間浮遊映像表示装置1000を囲む太い線は空間浮遊映像表示装置1000の筐体構造の一例を示している。
 図4Aは、空間浮遊映像表示装置の構成の一例を示す図である。図4Aに示す空間浮遊映像表示装置1000は、図2Aの光学システムに対応する光学システムを搭載するものである。図4Aに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。すなわち、図4Aでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。なお、x方向がユーザから見て左右方向、y方向がユーザから見て前後方向(奥行方向)、z方向が上下方向(鉛直方向)である。以下、図4の各図においてx方向、y方向、z方向の定義は同じであるので、繰り返しの説明は省略する。
 図4Bは、空間浮遊映像表示装置の構成の一例を示す図である。図4Bに示す空間浮遊映像表示装置1000は、図2Aの光学システムに対応する光学システムを搭載するものである。図4Bに示す空間浮遊映像表示装置1000は、空間浮遊映像3が形成される側の面が、空間浮遊映像表示装置1000の正面(ユーザ230の方向)を向くように、縦置きにして設置される。すなわち、図4Bでは、空間浮遊映像表示装置は、透明な部材100が装置の正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ230側に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。ここで、図4Bに示すように、空中操作検出センサ1351は、ユーザ230の指を上側からセンシングすることで、ユーザの爪によるセンシング光の反射を、タッチ検出に利用することができる。一般的に、爪は指の腹よりも反射率が高いため、このように構成することによりタッチ検出の精度を上げることができる。
 図4Cは、空間浮遊映像表示装置の構成の一例を示す図である。図4Cに示す空間浮遊映像表示装置1000は、図2Bの光学システムに対応する光学システムを搭載するものである。図4Cに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。すなわち、図4Cでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
 図4Dは、空間浮遊映像表示装置の構成の一例を示す図である。図4Dに示す空間浮遊映像表示装置1000は、図2Bの光学システムに対応する光学システムを搭載するものである。図4Dに示す空間浮遊映像表示装置1000は、空間浮遊映像3が形成される側の面が、空間浮遊映像表示装置1000の正面(ユーザ230の方向)を向くように、縦置きにして設置される。すなわち、図4Dでは、空間浮遊映像表示装置1000は、透明な部材100が装置の正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ230側に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。ここで、図4Dに示すように、空中操作検出センサ1351は、ユーザ230の指を上側からセンシングすることで、ユーザの爪によるセンシング光の反射を、タッチ検出に利用することができる。一般的に、爪は指の腹よりも反射率が高いため、このように構成することによりタッチ検出の精度を上げることができる。
 図4Eは、空間浮遊映像表示装置の構成の一例を示す図である。図4Eに示す空間浮遊映像表示装置1000は、図2Cの光学システムに対応する光学システムを搭載するものである。図4Eに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。すなわち、図4Eでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、真上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
 図4Fは、空間浮遊映像表示装置の構成の一例を示す図である。図4Fに示す空間浮遊映像表示装置1000は、図2Cの光学システムに対応する光学システムを搭載するものである。図4Fに示す空間浮遊映像表示装置1000は、空間浮遊映像3が形成される側の面が、空間浮遊映像表示装置1000の正面(ユーザ230の方向)を向くように、縦置きにして設置される。すなわち、図4Fでは、空間浮遊映像表示装置1000は、透明な部材100が装置の正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ230側に形成される。空間浮遊映像3の光は、ユーザ手前方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
 図4Gは、空間浮遊映像表示装置の構成の一例を示す図である。図4Gに示す空間浮遊映像表示装置1000は、図2Cの光学システムに対応する光学システムを搭載するものである。図4Aから図4Fまでの空間浮遊映像表示装置の光学システムにおいては、表示装置1から発せられる映像光の中心の光路はyz平面上にあった。すなわち、図4Aから図4Fまでの空間浮遊映像表示装置の光学システム内においては、映像光はユーザから見て前後方向、上下方向に進行した。これに対し、図4Gに示す空間浮遊映像表示装置の光学システムにおいては、表示装置1から発せられる映像光の中心の光路はxy平面上にある。すなわち、図4Gに示す空間浮遊映像表示装置の光学システム内においては、映像光はユーザから見て左右方向および前後方向に進行する。図4Gに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が、装置の正面(ユーザ230の方向)を向くように設置される。すなわち、図4Gでは、空間浮遊映像表示装置1000は、透明な部材100が装置正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ側に形成される。空間浮遊映像3の光は、ユーザ手前方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
 図4Hは、空間浮遊映像表示装置の構成の一例を示す図である。図4Hの空間浮遊映像表示装置1000は、装置背面(ユーザ230が空間浮遊映像3を視認する位置の反対側、すなわち、ユーザ230に向かう空間浮遊映像3の映像光の進行方向の反対側)にガラスやプラスチックなどの透明板100Bを有する窓を有する点で、図4Gの空間浮遊映像表示装置と相違する。その他の構成については、図4Gの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。図4Hの空間浮遊映像表示装置1000は、空間浮遊映像3に対して、空間浮遊映像3の映像光の進行方向の反対側の位置に、透明板100Bを有する窓を備えている。よって、ユーザ230が空間浮遊映像3を視認する場合に、空間浮遊映像3の背景として、空間浮遊映像表示装置1000の後ろ側の景色を認識することができる。よって、ユーザ230は、空間浮遊映像3が空間浮遊映像表示装置1000の後ろ側の景色の前面の空中に浮遊しているように認識することができる。これにより、空間浮遊映像3の空中浮遊感をより強調することができる。
 なお、表示装置1から出力される映像光の偏光分布および偏光分離部材101Bの性能によっては、表示装置1から出力される映像光の一部が偏光分離部材101Bで反射され、透明板100Bへ向かう可能性がある。透明板100Bの表面のコート性能によっては、この光が透明板100Bの表面で再び反射され迷光としてユーザに視認される可能性がある。よって、当該迷光を防止するために、空間浮遊映像表示装置1000の背面の前記窓に、透明板100Bを設けない構成としてもよい。
 図4Iは、空間浮遊映像表示装置の構成の一例を示す図である。図4Iの空間浮遊映像表示装置1000は、装置背面(ユーザ230が空間浮遊映像3を視認する位置の反対側)に配置される透明板100Bの窓に、遮光のための開閉ドア1410を設けている点で、図4Hの空間浮遊映像表示装置と相違する。その他の構成については、図4Hの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
 図4Iの空間浮遊映像表示装置1000の開閉ドア1410は、例えば、遮光板を有し、遮光板を移動(スライド)する機構、回転する機構または着脱する機構を備えることで、空間浮遊映像表示装置1000の奥側に位置する透明板100Bの窓(背面側窓)について、開口状態と遮光状態を切り替えることができる。開閉ドア1410による遮光板の移動(スライド)や回転は、図示しないモータの駆動による電動式としてもよい。当該モータは図3の制御部1110が制御してもよい。なお、図4Iの例では、開閉ドア1410の遮光板の枚数は2枚の例を開示している。これに対し、開閉ドア1410の遮光板の枚数は1枚でもよい。
 例えば、空間浮遊映像表示装置1000の透明板100Bの窓の奥に見える景色が屋外の場合は、天気によって太陽光の明るさが可変する。屋外の太陽光が強い場合、空間浮遊映像3の背景が明るくなり過ぎて、ユーザ230が空間浮遊映像3の視認性が下がる場合もある。このような場合に、開閉ドア1410の遮光板の移動(スライド)、回転または装着により、背面側窓を遮光状態にすれば、空間浮遊映像3の背景は暗くなるので、相対的に空間浮遊映像3の視認性を上げることができる。このような開閉ドア1410の遮光板による遮蔽動作は、ユーザ230の手の力により直接的に行われてもよい。図3の操作入力部1107を介した操作入力に応じて、制御部1110が図示しないモータを制御して開閉ドア1410の遮光板による遮蔽動作を行ってもよい。
 なお、背面側窓近傍など、空間浮遊映像表示装置1000の背面側(ユーザ230の反対側)に照度センサを設けて、背面側窓の先の空間の明るさを測定してもよい。この場合、当該照度センサの検出結果に応じて、図3の制御部1110が図示しないモータを制御して開閉ドア1410の遮光板による開閉動作を行ってもよい。このように開閉ドア1410の遮光板による開閉動作を制御することにより、ユーザ230が手動で開閉ドア1410の遮光板の開閉動作をしなくとも、空間浮遊映像3の視認性をより好適に維持することが可能となる。
 また、開閉ドア1410による遮光板を、手動による着脱式としてもよい。空間浮遊映像表示装置1000の使用用途、設置環境に応じて、背面側窓を開口状態とするか、遮光状態とするかをユーザが選択することができる。長期間にわたって背面側窓を遮光状態のまま使用する予定であれば、着脱式の遮光板を遮光状態のまま固定すればよい。また、長期間にわたって背面側窓を開口状態のまま使用する予定であれば、着脱式の遮光板を外した状態のまま使用すればよい。遮光板の着脱はネジを用いてもよく、引掛け構造を用いてもよく、嵌め込み構造を用いてもよい。
 なお、図4Iの空間浮遊映像表示装置1000の例でも、表示装置1から出力される映像光の偏光分布および偏光分離部材101Bの性能によっては、表示装置1から出力される映像光の一部が偏光分離部材101Bで反射され、透明板100Bへ向かう可能性がある。透明板100Bの表面のコート性能によっては、この光が透明板100Bの表面で再び反射され迷光としてユーザに視認される可能性がある。よって、当該迷光を防止するために、空間浮遊映像表示装置1000装置の背面の前記窓に、透明板100Bを設けない構成としてもよい。透明板100Bを有しない窓に、上述の開閉ドア1410を備えるようにすればよい。当該迷光を防止するため上述の開閉ドア1410の遮光板の筐体内側の面は光反射率の低いコートまたは素材を有することが望ましい。
 図4Jは、空間浮遊映像表示装置の構成の一例を示す図である。図4Jの空間浮遊映像表示装置1000は、図4Hの空間浮遊映像表示装置の背面側窓に、ガラスやプラスチックである透明板100Bを配置する代わりに、電子制御透過率可変装置1620を配置する点で相違する。その他の構成については、図4Hの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。電子制御透過率可変装置1620の例は、液晶シャッターなどである。
 すなわち、液晶シャッターは2つの偏光板に挟まれた液晶素子を電圧制御することにより、光の透過光を制御することができる。よって、液晶シャッターを制御して透過率を大きくすれば、空間浮遊映像3の背景は、背面側窓越しの景色が透けて見える状態となる。また、液晶シャッターを制御して透過率を大きくすれば、空間浮遊映像3の背景として背面側窓越しの景色は見えない状態とすることができる。
 また、液晶シャッターは中間長の制御が可能であるので、透過率50%などの状態にもすることができる。例えば、図3の操作入力部1107を介した操作入力に応じて、制御部1110が、電子制御透過率可変装置1620の透過率を制御すればよい。このように構成すれば、空間浮遊映像3の背景として背面側窓越しの景色を見たいものの、背景である背面側窓越しの景色が明る過ぎて空間浮遊映像3の視認性が下がってしまう場合などに、電子制御透過率可変装置1620の透過率を調整することにより、空間浮遊映像3の視認性を調整することが可能となる。
 なお、背面側窓近傍など、空間浮遊映像表示装置1000の背面側(ユーザ230の反対側)に照度センサを設けて、背面側窓の先の空間の明るさを測定してもよい。この場合、当該照度センサの検出結果に応じて、図3の制御部1110が、電子制御透過率可変装置1620の透過率を制御すればよい。このようにすれば、ユーザ230が図3の操作入力部1107を介した操作入力を行わなくとも、背面側窓の先の空間の明るさに応じて電子制御透過率可変装置1620の透過率を調整することができるので、空間浮遊映像3の視認性をより好適に維持することが可能となる。
 また、上述の例では、電子制御透過率可変装置1620として液晶シャッターの例を説明した。これに対し、電子制御透過率可変装置1620の別の例として、電子ペーパーを用いてもよい。電子ペーパーを用いても、上述と同様の効果を得ることができる。そのうえ、電子ペーパーは中間調状態を維持するための消費電力が非常に小さい。よって、液晶シャッターを採用した場合に比べて、低消費電力の空間浮遊映像表示装置を実現することができる。
 図4Kは、空間浮遊映像表示装置の構成の一例を示す図である。図4Kの空間浮遊映像表示装置1000は、透明な部材100の代わりに、透過型自発光映像表示装置1650を有する点で、図4Gの空間浮遊映像表示装置と相違する。その他の構成については、図4Gの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
 図4Kの空間浮遊映像表示装置1000では、透過型自発光映像表示装置1650の表示面を、映像光束が透過したのち、空間浮遊映像表示装置1000の外部に空間浮遊映像3を形成する。すなわち、2次元平面ディスプレイである透過型自発光映像表示装置1650で映像を表示しているときに、透過型自発光映像表示装置1650の映像の更にユーザ手前側に、空間浮遊映像3を飛び出す映像として表示することができる。このときユーザ230は奥行位置の異なる2つの映像を同時に視認することができる。透過型自発光映像表示装置1650は、例えば、特開2014-216761号公報などに開示される、透過型有機ELパネルなどの既存の技術を用いて構成すればよい。なお、透過型自発光映像表示装置1650は、図3に図示されていないが、図3の空間浮遊映像表示装置1000の一構成部として、制御部1110などの他の処理部と接続されるように構成すればよい。
 ここで、透過型自発光映像表示装置1650に、背景とキャラクターなどのオブジェクトの両者を表示した後に、キャラクターなどのオブジェクトだけ手前側の空間浮遊映像3に移動してくる、などの演出を行えば、ユーザ230に、より効果的なサプライズ演出での映像体験を提供することができる。
 また、空間浮遊映像表示装置1000の内部を遮光状態にしておけば、透過型自発光映像表示装置1650の背景は十分暗くなる。よって、表示装置1に映像を表示せず、または表示装置1の光源を不点灯とし、透過型自発光映像表示装置1650だけに映像を表示している場合、ユーザ230には、透過型自発光映像表示装置1650は透過型ディスプレイではなく通常の2次元平面ディスプレイであるように見える。なお、本発明の実施例における空間浮遊映像3はスクリーンのない空間に実像の光学像として表示するため、表示装置1の光源を不点灯とすれば、空間浮遊映像3の表示予定位置は何もない空間になる。よって、透過型自発光映像表示装置1650を、あたかも一般的な2次元平面ディスプレイとして使用して映像を表示しているときに、キャラクターやオブジェクトなどを突然、空間浮遊映像3として空中に表示することでユーザ230により効果的なサプライズ演出での映像体験を提供することができる。
 なお、空間浮遊映像表示装置1000の内部をより暗くすればするほど、透過型自発光映像表示装置1650は2次元平面ディスプレイのように見える。よって、透過型自発光映像表示装置1650の空間浮遊映像表示装置1000の内部側の面(偏光分離部材101Bで反射した映像光の透過型自発光映像表示装置1650への入射面、すなわち、透過型自発光映像表示装置1650の空間浮遊映像3と反対側の面)に、偏光分離部材101Bで反射した映像光の偏波を透過し当該偏波と90°位相が異なる偏波を吸収する吸収型偏光板(図示せず)を設けてもよい。このようにすれば、空間浮遊映像3を形成する映像光への影響はさほど大きくないが、外部から透過型自発光映像表示装置1650を介して、空間浮遊映像表示装置1000の内部へ入射する光を大幅に低減することができ、空間浮遊映像表示装置1000の内部をより暗くすることができ、好適である。
 図4Lは、空間浮遊映像表示装置の構成の一例を示す図である。図4Lの空間浮遊映像表示装置1000は、図4Kの空間浮遊映像表示装置の変形例である。空間浮遊映像表示装置1000における構成の配置の向きが図4Kの空間浮遊映像表示装置と異なり、図4Fの空間浮遊映像表示装置に近い配置となっている。各構成の機能、動作などについては、図4Kの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
 図4Lの空間浮遊映像表示装置でも、透過型自発光映像表示装置1650を映像光の光束が透過したのち、透過型自発光映像表示装置1650よりもユーザ230側に空間浮遊映像3を形成する。
 図4Kの空間浮遊映像表示装置の例でも、図4Lの空間浮遊映像表示装置の例でも、ユーザ230からは、透過型自発光映像表示装置1650の映像の手前に、空間浮遊映像3が重なって表示される。ここで、空間浮遊映像3の位置と透過型自発光映像表示装置1650の映像の位置は、奥行方向に差があるように構成している。よって、ユーザが頭(視点の位置)を動かすと視差により2つの映像の奥行を認識することができる。よって、奥行位置の異なる2枚の映像を表示することで、立体視眼鏡などを必要とせず裸眼で、3次元的な映像体験をより好適にユーザに提供することができる。
 図4Mは、空間浮遊映像表示装置の構成の一例を示す図である。図4Mの空間浮遊映像表示装置1000は、図4Gの空間浮遊映像表示装置の偏光分離部材101Bに対してユーザから見て奥側に、第2の表示装置1680を設ける。その他の構成については、図4Gの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
 図4Mに示す構成例では、第2の表示装置1680が空間浮遊映像3の表示位置の奥側に設けられており、映像表示面が空間浮遊映像3に向けられている。かかる構成により、ユーザ230からみると、第2の表示装置1680の映像と、空間浮遊映像3との、2つの奥行の異なる位置に表示される映像を重ねて視認することができる。すなわち、第2の表示装置1680は、空間浮遊映像3を視認するユーザ230側の方向に映像を表示する向きに配置されている、といえる。なお、第2の表示装置1680は、図3に図示されていないが、図3の空間浮遊映像表示装置1000の一構成部として、制御部1110などの他の処理部と接続されるように構成すればよい。
 なお、図4Mの空間浮遊映像表示装置1000の第2の表示装置1680の映像光は、偏光分離部材101Bを透過したのち、ユーザ230に視認される。したがって、第2の表示装置1680の映像光がより好適に偏光分離部材101Bを透過するためには、第2の表示装置1680から出力される映像光は、偏光分離部材101Bがより好適に透過する振動方向の偏波の偏光であることが望ましい。すなわち、表示装置1から出力される映像光の偏波と同じ振動方向の偏波の偏光であることが望ましい。例えば、表示装置1から出力される映像光がS偏光である場合は、第2の表示装置1680から出力される映像光もS偏光とすることが望ましい。また、表示装置1から出力される映像光がP偏光である場合は、第2の表示装置1680から出力される映像光もP偏光とすることが望ましい。
 図4Mの空間浮遊映像表示装置の例も、空間浮遊映像3の奥に第2の映像を表示するという点で、図4Kの空間浮遊映像表示装置の例および図4Lの空間浮遊映像表示装置の例と同様の効果を有する。ただし、図4Kの空間浮遊映像表示装置の例および図4Lの空間浮遊映像表示装置の例と異なり、図4Mの空間浮遊映像表示装置の例では、空間浮遊映像3を形成するための映像光の光束が第2の表示装置1680を通過することはない。よって、第2の表示装置1680は、透過型自発光映像表示装置である必要はなく、2次元平面ディスプレイである液晶ディスプレイでよい。第2の表示装置1680は、有機ELディスプレイでもよい。よって、図4Mの空間浮遊映像表示装置の例では、図4Kの空間浮遊映像表示装置の例および図4Lの空間浮遊映像表示装置の例よりも、空間浮遊映像表示装置1000をより低コストで実現することが可能である。
 ここで、表示装置1から出力される映像光の偏光分布および偏光分離部材101Bの性能によっては、表示装置1から出力される映像光の一部が偏光分離部材101Bで反射され、第2の表示装置1680へ向かう可能性がある。この光(映像光の一部)は、第2の表示装置1680の表面で再び反射され迷光としてユーザに視認される可能性がある。
 よって、当該迷光を防止するために、第2の表示装置1680の表面に吸収型偏光板を設けてもよい。この場合、当該吸収型偏光板は、第2の表示装置1680から出力される映像光の偏波を透過し、第2の表示装置1680から出力される映像光の偏波と位相が90°異なる偏波を吸収する吸収型偏光板とすればよい。なお、第2の表示装置1680が液晶ディスプレイである場合は、当該液晶ディスプレイ内部の映像出射側にも吸収型偏光板が存在する。しかしながら、当該液晶ディスプレイ内部の映像出射側の吸収型偏光板の更に出射面にカバーガラス(映像表示面側のカバーガラス)が有る場合は、液晶ディスプレイ外部からの光により当該カバーガラスの反射で生じる迷光を防ぐことができない。よって、上述の吸収型偏光板を当該カバーガラスの表面に別途設ける必要がある。
 なお、2次元平面ディスプレイである第2の表示装置1680で映像を表示しているときに、第2の表示装置1680の映像の更にユーザ手前側に、空間浮遊映像3を映像として表示することができる。このときユーザ230は、奥行位置の異なる2つの映像を同時に視認することができる。空間浮遊映像3にキャラクターを表示して、第2の表示装置1680に背景を表示することにより、ユーザ230があたかもキャラクターが存在する空間を立体的に視認しているような効果を提供することができる。
 また、第2の表示装置1680に、背景とキャラクターなどのオブジェクトの両者を表示した後に、キャラクターなどのオブジェクトだけ手前側の空間浮遊映像3に移動してくる、などの演出を行えば、ユーザ230に、より効果的なサプライズ演出での映像体験を提供することができる。
 次に、図4Nは、空間浮遊映像表示装置の構成の一例を示す図である。図4Nの空間浮遊映像表示装置1000は、図2Dの光学システムを採用した空間浮遊映像表示装置である。図2A~図2Cの光学システムを採用した空間浮遊映像表示装置の例と同様に、透明な部材100を透過してきた映像光により空間浮遊映像3として空中に結像する。また、ユーザから見て透明な部材100の奥側に配置された空中操作検出センサ1351のセンシング光を用いて、ユーザの指9004による空間浮遊映像3の操作を検出することができる。
 図2A~図2Cの光学システムを採用した空間浮遊映像表示装置の例においても、図2Dの光学システムを採用した空間浮遊映像表示装置の例においても、透明な部材100の手前に空間浮遊映像3が結像し、ユーザから見て透明な部材100の奥側に配置された空中操作検出センサ1351のセンシング光を用いて、ユーザの指による空間浮遊映像3の操作を検出することができる。よって、図2Dの光学システムを採用した空間浮遊映像表示装置は、ユーザから見て透明な部材100の奥側に図2A~図2Cの光学システムを配置した空間浮遊映像表示装置に対して、光学システムが異なっている。
 しかしながら、ユーザから見た図2Dの光学システムを採用した空間浮遊映像表示装置の使い勝手は、図2A~図2Cの光学システムを採用した空間浮遊映像表示装置とほぼ同様の使い勝手を有することとなる。
 次に、図4Oは、空間浮遊映像表示装置の構成の一例を示す図である。図4Oは、図4Nの空間浮遊映像表示装置1000において、内部の光学システムの構成も見えるよう示した図である。図4Oに示す空間浮遊映像表示装置1000は、図2Dの光学システムに対応する光学システムを搭載するものである。図4Oに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。
 すなわち、図4Oでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
 ここで、図4Oの構成を図4Aの構成と比較し、その差異を確認する。図4Aにおいて、表示装置1と空間浮遊映像3とは偏光分離部材101の面を基準に面対称の関係にある。これに対し、図4Oにおいて、表示装置1と空間浮遊映像3とは再帰反射板5の面を基準に面対称の関係にある。また、図4Aの構成には、再帰反射板2とλ/4板21が存在するが、図4Oにはこれらが存在しない。また、図4Aにおいては吸収型偏光板12がある方がより好適であるが、図4Oでは、吸収型偏光板12は特に必要はない。
 すなわち、図4Aの構成における図2Aの光学システムを図2Dの光学システムに置き換え、図4Oの構成に置換するためには、以下のようにすればよい。すなわち、図4Aの構成における偏光分離部材101を再帰反射板5に置き変え、図4Aの構成から再帰反射板2とλ/4板21とを取り除けばよい。吸収型偏光板12はあってもなくてもよい。この考えに基づいた置換を行えば、図4A~図4Gの空間浮遊映像表示装置の構成に搭載される図2A~図2Cの光学システムを図2Dの光学システムに置換し、図2Dの光学システムを搭載する空間浮遊映像表示装置に置換することができる。このとき、図4Aおよび図4Bでは偏光分離部材101を再帰反射板5に置き変えればよく、図4C~図4Gでは偏光分離部材101Bを再帰反射板5に置き変えればよい。
 このようにすれば、図4A~図4Gの空間浮遊映像表示装置の構成において光学システムを図2Dの光学システムに置換した空間浮遊映像表示装置を実現することができる。これらの図2Dの光学システムに置換した空間浮遊映像表示装置においても、図4A~図4Gの空間浮遊映像表示装置とほぼ同様の使い勝手の空間浮遊映像表示装置を実現することができる。
 <表示装置>
 次に、本実施例の表示装置1について、図を用いて説明する。本実施例の表示装置1は、映像表示素子(液晶表示パネル)11と共に、その光源を構成する光源装置13を備えており、図5では、光源装置13を液晶表示パネルと共に展開斜視図として示している。
 この液晶表示パネル(映像表示素子11)は、図5に矢印30で示すように、バックライト装置である光源装置13から、挟角な拡散特性を有する、すなわち、指向性(直進性)が強く、かつ、偏光面を一方向に揃えたレーザ光に似た特性の照明光束を受光する。液晶表示パネル(映像表示素子11)は、入力される映像信号に応じて受光した照明光束を変調する。変調された映像光は、再帰反射板2により反射し、透明な部材100を透過して、実像である空間浮遊像を形成する(図1参照)。
 また、図5では、表示装置1を構成する液晶表示パネル11と、更に、光源装置13からの出射光束の指向特性を制御する光方向変換パネル54、および、必要に応じ挟角拡散板(図示せず)を備えて構成されている。すなわち、液晶表示パネル11の両面には偏光板が設けられ、特定の偏波の映像光が映像信号により光の強度を変調して出射する(図5の矢印30を参照)構成となっている。これにより、所望の映像を指向性(直進性)の高い特定偏波の光として、光方向変換パネル54を介して、再帰反射板2に向けて投写し、再帰反射板2で反射後、店舗(空間)の外部の監視者の眼に向けて透過して空間浮遊映像3を形成する。なお、上述した光方向変換パネル54の表面には保護カバー50(図6、図7を参照)を設けてよい。
 <表示装置の例1>
 図6には、表示装置1の具体的な構成の一例を示す。図6では、図5の光源装置13の上に液晶表示パネル11と光方向変換パネル54を配置している。この光源装置13は、図5に示したケース上に、例えば、プラスチックなどにより形成され、その内部にLED素子201、導光体203を収納して構成されており、導光体203の端面には、図5等にも示したように、それぞれのLED素子201からの発散光を略平行光束に変換するために、受光部に対して対面に向かって徐々に断面積が大きくなる形状を有し、内部を伝搬する際に複数回全反射することで発散角が徐々に小さくなるような作用を有するレンズ形状を設けている。表示装置1における上面には、かかる表示装置1を構成する液晶表示パネル11が取り付けられている。また、光源装置13のケースのひとつの側面(本例では左側の端面)には、半導体光源であるLED素子201や、その制御回路を実装したLED基板202が取り付けられる。LED基板202の外側面には、LED素子および制御回路で発生する熱を冷却するための部材であるヒートシンクが取り付けられてもよい。
 また、光源装置13のケースの上面に取り付けられる液晶表示パネルのフレーム(図示せず)には、当該フレームに取り付けられた液晶表示パネル11と、更に、当該液晶表示パネル11に電気的に接続されたFPC(Flexible Printed Circuits:フレキシブル配線基板)(図示せず)などが取り付けられて構成される。すなわち、映像表示素子である液晶表示パネル11は、固体光源であるLED素子201と共に、電子装置を構成する制御回路(図3の映像制御部1160)からの制御信号に基づいて、透過光の強度を変調することによって表示映像を生成する。この時、生成される映像光は拡散角度が狭く特定の偏波成分のみとなるため、映像信号により駆動された面発光レーザ映像源に近い、従来にない新しい映像表示装置が得られることとなる。なお、現状では、レーザ装置により、上述した表示装置1で得られる画像と同等のサイズのレーザ光束を得ることは、技術的にも安全上からも不可能である。そこで、本実施例では、例えば、LED素子を備えた一般的な光源からの光束から、上述した面発光レーザ映像光に近い光を得る。
 続いて、光源装置13のケース内に収納されている光学系の構成について、図6と共に、図7を参照しながら詳細に説明する。
 図6および図7は断面図であるため、光源を構成する複数のLED素子201が1つだけ示されており、これらは導光体203の受光端面203aの形状により略コリメート光に変換される。このため、導光体端面の受光部とLED素子は、所定の位置関係を保って取り付けられている。
 なお、この導光体203は、各々、例えば、アクリル等の透光性の樹脂により形成されている。そして、この導光体203の端部のLED受光面は、例えば、放物断面を回転して得られる円錐凸形状の外周面を有し、その頂部では、その中央部に凸部(すなわち、凸レンズ面)を形成した凹部を有し、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でもよい)を有するものである(図示せず)。なお、LED素子201を取り付ける導光体の受光部外形形状は、円錐形状の外周面を形成する放物面形状をなし、LED素子から周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
 他方、LED素子201は、その回路基板である、LED基板202の表面上の所定の位置にそれぞれ配置されている。このLED基板202は、LEDコリメータ(受光端面203a)に対して、その表面上のLED素子201が、それぞれ、前述した凹部の中央部に位置するように配置されて固定される。
 かかる構成によれば、導光体203の受光端面203aの形状によって、LED素子201から放射される光は略平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
 以上述べたように、光源装置13は、導光体203の端面に設けた受光部である受光端面203aに光源であるLED素子201を複数並べた光源ユニットを取り付けて構成され、LED素子201からの発散光束を導光体端面の受光端面203aのレンズ形状によって略平行光として、矢印で示すように、導光体203内部を導光し(図面に平行な方向)、光束方向変換手段204によって、導光体203に対して略平行に配置された液晶表示パネル11に向かって(図面から手前に垂直な方向に)出射する。導光体内部または表面の形状によって、この光束方向変換手段204の分布(密度)を最適化することで、液晶表示パネル11に入射する光束の均一性を制御することができる。
 上述した光束方向変換手段204は、導光体表面の形状により、あるいは導光体内部に例えば屈折率の異なる部分を設けることで、導光体内を伝搬した光束を、導光体203に対して略平行に配置された液晶表示パネル11に向かって(図面から手前に垂直な方向に)出射する。この時、液晶表示パネル11を画面中央に正対し画面対角寸法と同じ位置に視点を置いた状態で画面中央と画面周辺部の輝度を比較した場合の相対輝度比が20%以上あれば実用上問題なく、30%を超えていれば更に優れた特性となる。
 なお、図6は上述した導光体203とLED素子201を含む光源装置13において、偏光変換する本実施例の光源の構成とその作用を説明するための断面配置図である。図6において、光源装置13は、例えば、プラスチックなどにより形成される表面または内部に光束方向変換手段204を設けた導光体203、光源としてのLED素子201、反射シート205、位相差板206、レンチキュラーレンズなどから構成されており、その上面には、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル11が取り付けられている。
 また、光源装置13に対応した液晶表示パネル11の光源光入射面(図の下面)にはフィルムまたはシート状の反射型偏光板49を設けており、LED素子201から出射した自然光束210のうち片側の偏波(例えばP波)212を選択的に反射させる。反射光は、導光体203の一方(図の下方)の面に設けた反射シート205で再度、反射して、液晶表示パネル11に向かうようにする。そこで、反射シート205と導光体203の間もしくは導光体203と反射型偏光板49の間に位相差板(λ/4板)を設けて反射シート205で反射させ、2回通過させることで反射光束をP偏光からS偏光に変換し、映像光としての光源光の利用効率を向上する。液晶表示パネル11で映像信号により光強度を変調された映像光束は(図6の矢印213)、再帰反射板2に入射する。再帰反射板2で反射した後に実像である空間浮遊像を得ることができる。
 図7は、図6と同様に、導光体203とLED素子201を含む光源装置13において、偏光変換する本実施例の光源の構成と作用を説明するための断面配置図である。光源装置13も、同様に、例えばプラスチックなどにより形成される表面または内部に光束方向変換手段204を設けた導光体203、光源としてのLED素子201、反射シート205、位相差板206、レンチキュラーレンズなどから構成されている。光源装置13における上面には、映像表示素子として、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル11が取り付けられている。
 また、光源装置13に対応した液晶表示パネル11の光源光入射面(図の下面)にはフィルムまたはシート状の反射型偏光板49を設け、LED素子201から出射した自然光束210うち片側の偏波(例えばS波)211を選択的に反射させる。すなわち、図7の例では、反射型偏光板49の選択反射特性が図7と異なる。反射光は、導光体203の一方(図の下方)の面に設けた反射シート205で反射して、再度液晶表示パネル11に向かう。反射シート205と導光体203の間もしくは導光体203と反射型偏光板49の間に位相差板(λ/4板)を設けて反射シート205で反射させ、2回通過させることで反射光束をS偏光からP偏光に変換し、映像光として光源光の利用効率を向上する。液晶表示パネル11で映像信号により光強度変調された映像光束は(図7の矢印214)、再帰反射板2に入射する。再帰反射板2で反射した後に実像である空間浮遊像を得ることができる。
 図6および図7に示す光源装置においては、対応する液晶表示パネル11の光入射面に設けた偏光板の作用の他に、反射型偏光板で片側の偏光成分を反射するため、理論上得られるコントラスト比は、反射型偏光板のクロス透過率の逆数と液晶表示パネルに付帯した2枚の偏光板により得られるクロス透過率の逆数を乗じたものとなる。これにより、高いコントラスト性能が得られる。実際には、表示画像のコントラスト性能が10倍以上向上することを実験により確認した。この結果、自発光型の有機ELに比較しても遜色ない高品位な映像が得られた。
 <表示装置の例2>
 図8には、表示装置1の具体的な構成の他の一例を示す。この光源装置13は、例えばプラスチックなどのケース内にLED、コリメータ、合成拡散ブロック、導光体等を収納して構成されており、その上面には液晶表示パネル11が取り付けられている。また、光源装置13のケースのひとつの側面には、半導体光源であるLED素子や、その制御回路を実装したLED基板が取り付けられると共に、LED基板の外側面には、LED素子および制御回路で発生する熱を冷却するための部材であるヒートシンク103が取り付けられている。
 また、ケースの上面に取り付けられた液晶表示パネルフレームには、当該フレームに取り付けられた液晶表示パネル11と、更に、液晶表示パネル11に電気的に接続されたFPC403などが取り付けられて構成されている。すなわち、液晶表示素子である液晶表示パネル11は、固体光源であるLED素子と共に、電子装置を構成する制御回路(ここでは図示せず)からの制御信号に基づいて、透過光の強度を変調することによって、表示映像を生成する。
 <表示装置の例3>
 続いて、図9を用いて、表示装置1の具体的な構成の他の例(表示装置の例3)を説明する。この表示装置1の光源装置は、LEDからの光(P偏光とS偏光が混在)の発散光束をコリメータ18により略平行光束に変換し、反射型導光体304の反射面により液晶表示パネル11に向け反射する。反射された光は、液晶表示パネル11と反射型導光体304の間に配置された反射型偏光板49に入射する。反射型偏光板49は、特定の偏波の光(例えばP偏光)を透過させ、透過した偏波光を液晶表示パネル11に入射させる。ここで、特定の偏波以外の他の偏波(例えばS偏光)は、反射型偏光板49で反射されて、再び反射型導光体304へ向かう。
 反射型偏光板49は、反射型導光体304の反射面からの光の主光線に対して垂直とならないように、液晶表示パネル11に対して傾きを以て設置されている。そして、反射型偏光板49で反射された光の主光線は、反射型導光体304の透過面に入射する。反射型導光体304の透過面に入射した光は、反射型導光体304の背面を透過し、位相差板であるλ/4板270を透過し、反射板271で反射される。反射板271で反射された光は、再びλ/4板270を透過し、反射型導光体304の透過面を透過する。反射型導光体304の透過面を透過した光は、再び反射型偏光板49に入射する。
 このとき、反射型偏光板49に再度入射する光は、λ/4板270を2回通過しているため、反射型偏光板49を透過する偏波(例えば、P偏光)へ偏光が変換されている。よって、偏光が変換されている光は反射型偏光板49を透過し、液晶表示パネル11に入射する。なお、偏光変換に係る偏光設計について、上述の説明から偏波を逆に構成(S偏光とP偏光を逆にする)してもかまわない。
 この結果、LEDからの光は特定の偏波(例えばP偏光)に揃えられ、液晶表示パネル11に入射し、映像信号に合わせて輝度変調されパネル面に映像を表示する。上述の例と同様に光源を構成する複数のLEDが示されており(ただし、縦断面のため図9では1個のみ図示している)、これらはコリメータ18に対して所定の位置に取り付けられている。
 なお、コリメータ18は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、このコリメータ18は、放物断面を回転して得られる円錐凸形状の外周面を有してもよい。また、コリメータ18の頂部(LED基板102に対向する側)における中央部に、凸部(すなわち、凸レンズ面)を形成した凹部を有してもよい。また、コリメータ18の平面部(上記の頂部とは逆の側)の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でもよい)を有している。なお、コリメータ18の円錐形状の外周面を形成する放物面は、LEDから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
 なお、LEDは、その回路基板である、LED基板102の表面上の所定の位置にそれぞれ配置されている。このLED基板102は、コリメータ18に対して、その表面上のLEDが、それぞれ、円錐凸形状の頂部の中央部(頂部に凹部が有る場合はその凹部)に位置するように配置されて固定される。
 かかる構成によれば、コリメータ18によって、LEDから放射される光のうち、特に、その中央部分から放射される光は、コリメータ18の外形を形成する凸レンズ面により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、コリメータ18の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したコリメータ18によれば、LEDにより発生された光のほぼすべてを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
 更に、図9に示したコリメータ18により略平行光に変換された光は、反射型導光体304で反射される。当該光のうち、反射型偏光板49の作用により特定の偏波の光は反射型偏光板49透過し、反射型偏光板49の作用により反射された他方の偏波の光は再び反射型導光体304を透過する。当該光は、反射型導光体304に対して、液晶表示パネル11とは逆の位置にある反射板271で反射する。このとき、当該光は位相差板であるλ/4板270を2度通過することで偏光変換される。反射板271で反射した光は、再び反射型導光体304を透過して、反対面に設けた反射型偏光板49に入射する。当該入射光は、偏光変換がなされているので、反射型偏光板49を透過して、偏光方向を揃えて液晶表示パネル11に入射される。この結果、光源の光をすべて利用できるので光の幾何光学的な利用効率が2倍になる。また、反射型偏光板の偏光度(消光比)もシステム全体の消光比に乗せられるので、本実施例の光源装置を用いることで表示装置全体としてのコントラスト比が大幅に向上する。なお、反射型導光体304の反射面の面粗さおよび反射板271の面粗さを調整することで、それぞれの反射面での光の反射拡散角を調整することができる。液晶表示パネル11に入射する光の均一性がより好適になるように、設計毎に、反射型導光体304の反射面の面粗さおよび反射板271の面粗さを調整すればよい。
 なお、図9の位相差板であるλ/4板270は、必ずしもλ/4板270へ垂直に入射した偏光に対する位相差がλ/4である必要はない。図9の構成において、偏光が2回通過することで、位相が90°(λ/2)変わる位相差板であればよい。位相差板の厚さは、偏光の入射角度分布に応じて調整すればよい。
 <表示装置の例4>
 更に、表示装置の光源装置等の光学系の構成についての他の例(表示装置の例4)を、図10を用いて説明する。表示装置の例3の光源装置において、反射型導光体304の代わりに拡散シートを用いる場合の構成例である。具体的には、コリメータ18の光の出射側には図面の垂直方向と水平方向(図の前後方向で図示せず)の拡散特性を変換する光学シートを2枚用い(光学シート207Aおよび光学シート207B)、コリメータ18からの光を2枚の光学シート(拡散シート)の間に入射させる。
 なお、上記の光学シートは、2枚構成ではなく1枚としてもよい。1枚構成とする場合には、1枚の光学シートの表面と裏面の微細形状で垂直と水平の拡散特性を調整する。また、拡散シートを複数枚使用して作用を分担してもよい。ここで、図10の例では、光学シート207Aと光学シート207Bの表面形状と裏面形状による反射拡散特性について、液晶表示パネル11から出射する光束の面密度が均一になるように、LEDの数量とLED基板(光学素子)102からの発散角およびコリメータ18の光学仕様を設計パラメータとして最適設計するとよい。つまり、導光体の代わりに複数の拡散シートの表面形状により拡散特性を調整する。
 図10の例では、偏光変換は、上述した表示装置の例3と同様の方法で行われる。すなわち、図10の例において、反射型偏光板49は、S偏光を反射(P偏光は透過)させる特性を有するように構成すればよい。その場合、光源であるLEDから発した光のうちP偏光を透過して、透過した光は液晶表示パネル11に入射する。光源であるLEDから発した光のうちS偏光を反射し、反射した光は、図10に示した位相差板270を通過する。位相差板270を通過した光は、反射板271で反射される。反射板271で反射した光は、再び位相差板270を通過することでP偏光に変換される。偏光変換された光は、反射型偏光板49を透過し、液晶表示パネル11に入射する。
 なお、図10の位相差板であるλ/4板270は、必ずしもλ/4板270へ垂直に入射した偏光に対する位相差がλ/4である必要はない。図10の構成において、偏光が2回通過することで、位相が90°(λ/2)変わる位相差板であればよい。位相差板の厚さは、偏光の入射角度分布に応じて調整すればよい。なお、図10においても、偏光変換に係る偏光設計について、上述の説明から偏波を逆に構成(S偏光とP偏光を逆にする)してもかまわない。
 液晶表示パネル11からの出射光は、一般的なTV用途の装置では画面水平方向(図12(a)X軸で表示)と画面垂直方向(図12(b)Y軸で表示)ともに同様な拡散特性を持っている。これに対して、本実施例の液晶表示パネルからの出射光束の拡散特性は、例えば図12の例1に示すように輝度が正面視(角度0度)の50%になる視野角が13度とすることで、一般的なTV用途の装置の62度に対して1/5となる。同様に、垂直方向の視野角は、上下不均等として上側の視野角を下側の視野角に対して1/3程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶TVに比べ、監視方向に向かう映像光量が大幅に向上し、輝度は50倍以上となる。
 更に、図12の例2に示す視野角特性とすれば、輝度が正面視(角度0度)の50%になる視野角が5度とすることで、一般的なTV用途の装置の62度に対して1/12となる。同様に、垂直方向の視野角は、上下均等として視野角を一般的なTV用途の装置に対して1/12程度に抑えるように、反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶TVに比べ、監視方向に向かう映像光量が大幅に向上し、輝度は100倍以上となる。
 以上述べたように、視野角を挟角とすることで、監視方向に向かう光束量を集中できるので、光の利用効率が大幅に向上する。この結果、一般的なTV用途の液晶表示パネルを使用しても、光源装置の光拡散特性を制御することで、同様な消費電力で大幅な輝度向上が実現可能で、明るい屋外に向けての情報表示システムに対応した映像表示装置とすることができる。
 大型の液晶表示パネルを使用する場合には、画面周辺の光は画面中央を監視者が正対した場合に監視者の方向に向かうように内側に向けることで、画面明るさの全面性が向上する。図11は、監視者のパネルからの距離Lと、パネルサイズ(画面比16:10)とをパラメータとしたときのパネル長辺と短辺の収斂角度を求めたものである。画面を縦長として監視する場合には、短辺に合わせて収斂角度を設定すればよく、例えば22インチパネルの縦使いで監視距離が0.8mの場合には、収斂角度を10度とすれば、画面4コーナーからの映像光を有効に監視者に向けることができる。
 同様に、15インチパネルの縦使いで監視する場合には、監視距離が0.8mの場合には、収斂角度を7度とすれば、画面4コーナーからの映像光を有効に監視者に向けることができる。以上述べたように、液晶表示パネルのサイズおよび縦使いか横使いかによって、画面周辺の映像光を、画面中央を監視するのに最適な位置にいる監視者に向けることで、画面明るさの全面性を向上できる。
 基本構成としては、図9に示すように、光源装置により挟角な指向特性の光束を液晶表示パネル11に入射させ、映像信号に合わせて輝度変調することで、液晶表示パネル11の画面上に表示した映像情報を、再帰反射板で反射させ得られた空間浮遊映像を、透明な部材100を介して室外または室内に表示する。
 以上説明した、本発明の一実施例に係る表示装置や光源装置を用いれば、光の利用効率がより高い空間浮遊映像表示装置を実現することが可能となる。
 <空間浮遊映像表示装置における映像表示処理の例>
 次に、本実施例の画像処理が解決する課題の一例について、図13Aを用いて説明する。空間浮遊映像表示装置1000において、ユーザから見て空間浮遊映像3の奥側が空間浮遊映像表示装置1000の筐体内であり、十分暗い場合には、ユーザは、空間浮遊映像3の背景は黒であると視認する。
 ここで、図13Aを用いて、空間浮遊映像3において、キャラクター“パンダ”1525を表示する例を説明する。まず、図3の映像制御部1160は、図13A(1)に示すような、キャラクター“パンダ”1525の画像を描画する画素領域と、背景画像である透明情報領域1520を含む画像について、キャラクター“パンダ”1525の画像を描画する画素領域と、背景画像である透明情報領域1520とを区別して認識する。
 キャラクター画像と背景画像を区別して認識する方法は、例えば、映像制御部1160の画像処理において、背景画像レイヤーと、背景画像レイヤーの前面にあるキャラクター画像のレイヤーを別のレイヤーとして処理できるように構成しておき、これらのレイヤーを合成するときの重畳関係により、キャラクター画像と背景画像を区別して認識してもよい。
 ここで、映像制御部1160は、キャラクター画像などのオブジェクトを描画する画素の黒と透明情報画素とは異なる情報として認識する。ただし、オブジェクトを描画する画素の黒と透明情報画素のいずれの画素も輝度が0であるとする。この場合、空間浮遊映像3を表示するとき、キャラクター“パンダ”1525の画像のうち黒を描画する画素と、背景画像である透明情報領域1520の画素とには、輝度の差がない。よって、空間浮遊映像3では、図13A(2)に示すように、キャラクター“パンダ”1525の画像のうち黒を描画する画素と透明情報領域1520の画素とのいずれにも輝度はなく、光学的に同じ黒色の空間としてユーザ視認される。すなわち、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分は、背景に溶け込んでしまい、キャラクター“パンダ”1525の黒ではない部分だけが空間浮遊映像3の表示領域に浮遊している映像として認識されてしまう。
 本実施例の画像処理の一例について図13Bを用いて説明する。図13Bは、図13Aで説明した、オブジェクトの黒い画像領域が、背景に溶け込んでしまうという課題をより好適に解消する画像処理の一例を説明する図である。図13B(1)、(2)では、それぞれ、上側に空間浮遊映像3の表示状態、下側に、オブジェクトの画像の画像処理の入出力特性を示している。なお、オブジェクト(キャラクター“パンダ”1525)の画像やこれに対応するデータは、図3のストレージ部1170やメモリ1109から読み出してもよい。または、映像信号入力部1131から入力されてもよい。または、通信部1132を介して取得してもよい。
 ここで、図13B(1)の状態では、オブジェクトの画像の画像処理の入出力特性は、特に調整していないリニアな状態である。この場合、図13A(2)と同様の表示状態であり、オブジェクトの黒い画像領域が、背景に溶け込んでしまっている。これに対し、図13B(2)では、本実施例の映像制御部1160は、オブジェクト(キャラクター“パンダ”1525)の画像への画像処理の入出力特性を、下段に示すリニアな入出力特性にように調整する。
 すなわち、映像制御部1160は、オブジェクト(キャラクター“パンダ”1525)の画像について、入力画像の画素について低輝度領域の画素の輝度値を増加させた出力画素に変換する特性を有する、入出力特性の画像処理を施す。オブジェクト(キャラクター“パンダ”1525)の画像は、当該入出力特性の画像処理を施されたのちに、オブジェクト(キャラクター“パンダ”1525)の画像を含む映像が表示装置1に入力され、表示されることとなる。すると、空間浮遊映像3の表示状態は、図13B(2)上段に示すように、キャラクター“パンダ”1525の画像における黒を描画する画素領域の輝度が増加する。これにより、キャラクター“パンダ”1525の画像を描画する領域のうち、黒を描画する領域についても、背景の黒に溶け込ませず区別してユーザに認識させることができ、オブジェクトをより好適に表示することが可能となる。
 すなわち、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像を表示する領域が、窓を介した空間浮遊映像表示装置1000の筐体内部である背景の黒と区別して認識できるようになり、当該オブジェクトの視認性が改善する。よって、例えば、前記画像処理前(すなわち、前記オブジェクトの画像やこれに対応するデータを図3のストレージ部1170やメモリ1109から読み出した時点、または、前記オブジェクトの画像を映像信号入力部1131から入力した時点、または、通信部1132を介して前記オブジェクトのデータを取得した時点、など。)において、オブジェクトを構成する画素に輝度の値が0の画素が含まれているオブジェクトであっても、映像制御部1160による当該入出力特性の画像処理により、低輝度領域の画素の輝度値を大きくしたオブジェクトに変換されたのち、表示装置1に表示され、空間浮遊映像表示装置1000の光学システムによって、空間浮遊映像3に変換されることとなる。
 すなわち、当該入出力特性の画像処理後のオブジェクトを構成する画素には、輝度の値が0の画素は含まれない状態に変換されたのち、表示装置1に表示され、空間浮遊映像表示装置1000の光学システムによって、空間浮遊映像3に変換されることとなる。
 なお、図13B(2)の画像処理において、オブジェクト(キャラクター“パンダ”1525)の画像の領域のみ、図13B(2)の入出力特性の画像処理を施す方法としては、例えば、映像制御部1160の画像処理において、背景画像レイヤーと、背景画像レイヤーの前面にあるキャラクター画像のレイヤーを別のレイヤーとして処理できるように構成しておき、キャラクター画像のレイヤーに図13B(2)の入出力特性の画像処理を施し、背景画像レイヤーには当該画像処理を行わないようにする。
 その後、これらのレイヤーを合成すれば、図13B(2)に示すように、キャラクター画像のみ、入力画像の低輝度領域を持ち上げる特性の画像処理が施されることとなる。また、別の方法としては、キャラクター画像のレイヤーと背景画像レイヤーが合成されたのちに、キャラクター画像の領域にのみ、図13B(2)の入出力特性の画像処理を施すように構成してもよい。
 また、入力映像に対する入出力特性の低輝度領域を持ち上げる映像処理で用いる入出力映像特性は、図13B(2)の例に限られない。低輝度を持ち上げる映像処理であれば何でもよく、いわゆるブライト調整でもよい。または、国際公開2014/162533号に開示されるような、レティネックス処理の重みづけを変える利得を制御することで、視認性を向上する映像処理を行ってもよい。
 以上説明した、図13B(2)の画像処理によれば、キャラクターやオブジェクトなどの画像を描画する領域のうち黒を描画する領域について、背景の黒に溶け込ませずユーザに認識させることができ、より好適な表示を実現することが可能となる。
 なお、図13A,図13Bの例では、背景が黒に見える空間浮遊映像表示装置(例えば、図4A~Gの空間浮遊映像表示装置1000や、図4I、図4Jで背面側窓を遮光している状態の空間浮遊映像表示装置1000など)を例に、その課題とより好適な画像処理について説明した。しかしながら、当該画像処理は、これらの空間浮遊映像表示装置以外の装置においても有効である。
 具体的には、図4Hの空間浮遊映像表示装置1000や、図4I、図4Jで背面側窓を遮光していない状態の空間浮遊映像表示装置1000では、空間浮遊映像3の背景は黒ではなく、窓を介した空間浮遊映像表示装置1000の後ろ側の景色となる。この場合も、図13Aおよび図13Bで説明した課題は同様に存在する。
 すなわち、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分は、窓を介した空間浮遊映像表示装置1000の後ろ側の景色に溶け込んでしまうこととなる。この場合も、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分が、窓を介した空間浮遊映像表示装置1000の後ろ側の景色と区別して認識できるようになり、当該オブジェクトの視認性が改善する。
 すなわち、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像を表示する領域が、窓を介した空間浮遊映像表示装置1000の後ろ側の景色と区別して認識でき、当該オブジェクトであるキャラクター“パンダ”1525が前記景色の前面にあることがより好適に認識できるようになり、当該オブジェクトの視認性が改善する。
 また、図4K、図4L、図4Mの空間浮遊映像表示装置1000において、上述のとおり、空間浮遊映像3とは奥行の異なる位置に別の映像(透過型自発光映像表示装置1650の映像、または第2の表示装置1680の映像、など)が表示されている場合は、空間浮遊映像3の背景は黒ではなく、当該別の映像となる。この場合も、図13Aおよび図13Bで説明した課題は同様に存在する。
 すなわち、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分は、空間浮遊映像3とは奥行の異なる位置に表示されている前記別の映像に溶け込んでしまうこととなる。この場合も、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分が、前記別の映像と区別して認識できるようになり、当該オブジェクトの視認性が改善する。
 すなわち、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像を表示する領域が、前記別の映像と区別して認識でき、当該オブジェクトであるキャラクター“パンダ”1525が前記別の映像の前面にあることがより好適に認識できるようになり、当該オブジェクトの視認性が改善する。
 本実施例の映像表示処理の一例について、図13Cを用いて説明する。図13Cは、本実施例の映像表示の例のうち、空間浮遊映像3と、別の映像である第2の画像2050を同時に表示する映像表示例である。第2の画像2050は、図4Kまたは図4Lの透過型自発光映像表示装置1650の表示映像に対応してもよい。また、第2の画像2050は、図4Mの第2の表示装置1680の表示映像に対応してもよい。
 すなわち、図13Cの映像表示の一例は、図4K、図4L、図4Mの空間浮遊映像表示装置1000の映像表示例の具体例の一例を示したものである。本図の例では、空間浮遊映像3にはクマのキャラクターが表示されている。空間浮遊映像3でのクマのキャラクター以外の領域は黒表示であり、空間浮遊映像としては透明になる。また、第2の画像2050は、平原と山と太陽が描画された背景画像である。
 ここで、図13Cにおいて、空間浮遊映像3と、第2の画像2050は、奥行の異なる位置に表示されている。ユーザ230が矢印2040の視線方向で空間浮遊映像3と第2の画像2050の2つの映像を視認することにより、ユーザ230は、この2つの映像が重なった状態で映像を視認することができる。具体的には、第2の画像2050に描画される平原と山と太陽の背景の手前に、空間浮遊映像3のクマのキャラクターが重畳して見えることとなる。
 ここで、空間浮遊映像3は空中に実像として結像しているため、ユーザ230が少し視点を動かすと、視差により空間浮遊映像3と第2の画像2050の奥行を認識することができる。よって、ユーザ230は、2つの映像を重なった状態で視認しながら、空間浮遊映像3についてより強い空間浮遊感を得ることが可能となる。
 本実施例の映像表示処理の一例について図13Dを用いて説明する。図13D(1)は、図13Cの本実施例の映像表示の例のうち、空間浮遊映像3をユーザ230の視線方向に見た図である。ここで、空間浮遊映像3には、クマのキャラクターが表示されている。空間浮遊映像3でのクマのキャラクター以外の領域は黒表示であり、空間浮遊映像としては透明になる。
 図13D(2)は、図13Cの本実施例の映像表示の例のうち、第2の画像2050をユーザ230の視線方向に見た図である。本図の例では、第2の画像2050は、平原と山と太陽が描画された背景画像である。
 図13D(3)は、図13Cの本実施例の映像表示の例のうち、ユーザ230の視線方向において、第2の画像2050と空間浮遊映像3とが重畳して見える状態を示した図である。具体的には、第2の画像2050に描画される平原と山と太陽の背景の手前に、空間浮遊映像3のクマのキャラクターが重畳して見えることとなる。
 ここで、空間浮遊映像3と第2の画像2050とを同時に表示する場合に、空間浮遊映像3の視認性をより好適に確保するためには、両者の映像の明るさのバランスに留意することが望ましい。空間浮遊映像3の明るさに対して、第2の画像2050が明る過ぎれば、空間浮遊映像3の表示映像が透けてしまい、背景である第2の画像2050が透過して強く視認されるようになる。
 よって、少なくとも、空間浮遊映像3の表示位置における空間浮遊映像3の単位面積当たりの明るさが、第2の画像2050から空間浮遊映像3の表示位置に到達する映像光の単位面積当たりの明るさよりも大きくなるように、空間浮遊映像3の光源の出力および表示装置1の表示映像輝度、第2の画像2050を表示する表示装置の光源の出力および当該表示装置の表示映像輝度を設定すればよい。
 なお、空間浮遊映像3と第2の画像2050とを同時に表示する場合にこの条件を満たせばよいので、空間浮遊映像3を表示せず第2の画像2050のみを表示している第1の表示モードから、空間浮遊映像3と第2の画像2050とを同時に表示する第2の表示モードに切り替える場合に、第2の画像2050を表示する表示装置の光源の出力および/または当該表示装置の表示映像輝度を下げることにより、第2の画像2050の明るさを低減する制御を行ってもよい。これらの制御は、図3の制御部1110が表示装置1および第2の画像2050を表示する表示装置(図4Kまたは図4Lの透過型自発光映像表示装置1650または図4Mの第2の表示装置1680)を制御することにより実現すればよい。
 また、上述の第1の表示モードから上述の第2の表示モードへの切り替えにおいて、第2の画像2050の明るさを低減する制御を行う場合、第2の画像2050の画面全体に対して均一に明るさを低減してもよい。または、第2の画像2050の画面全体に対して均一に明るさを低減せずに、空間浮遊映像3にオブジェクトが表示されている部分を最も明るさ低減効果が高い状態とし、その周辺は段階的に明るさ低減効果を緩めてもよい。すなわち、空間浮遊映像3が第2の画像2050に重畳されて視認される部分のみ、第2の画像2050の明るさ低減を実現すれば、空間浮遊映像3の視認性確保は十分であるからである。
 ここで、空間浮遊映像3と第2の画像2050は奥行の異なる位置に表示されているので、ユーザ230が少し視点を変えると、視差により、第2の画像2050に対する空間浮遊映像3の重畳位置は変化する。よって、上述の第1の表示モードから上述の第2の表示モードへの切り替えにおいて、第2の画像2050の画面全体に対して不均一に明るさを低減する場合は、空間浮遊映像3に表示されているオブジェクトの輪郭に基づいてシャープに明るさを低減することは望ましくなく、上述のように位置によって段階的に明るさ低減効果を変えていく、明るさ低減効果のグラデーション処理を行うことが望ましい。
 なお、空間浮遊映像3に表示されるオブジェクトの位置がほぼ空間浮遊映像3の中央である空間浮遊映像表示装置1000においては、当該明るさ低減効果のグラデーション処理の最も明るさ低減効果が高い位置は、空間浮遊映像3の中央の位置にすればよい。
 以上説明した、本実施例の映像表示処理によれば、ユーザ230は空間浮遊映像3と第2の画像2050をより好適に視認できる。
 なお、空間浮遊映像3を表示する場合は第2の画像2050の表示を行わないように制御してもよい。第2の画像2050の表示を行わない方が空間浮遊映像3の視認性は高まるので、空間浮遊映像3の表示時は空間浮遊映像3をユーザが確実に視認しなければならない用途の空間浮遊映像表示装置1000などに好適である。
 <実施例2>
 本発明の実施例2として、空間浮遊映像表示装置の別の構成例の一例について説明する。なお、本実施例に係る空間浮遊映像表示装置は実施例1で説明した、空間浮遊映像表示装置に格納される光学システムを、図14(1)または図14(2)に示す光学システムに変更したものである。本実施例では、実施例1との相違点を説明し、実施例1と同様の構成については、繰り返しの説明は省略する。なお、本実施例の以降の説明において、所定の偏光と他方の偏光とは、互いに位相が90°異なる偏波の偏光である。
 図14(1)は、本実施例にかかる光学システムおよび光路の一例である。図14(1)に示す光学システムは、図2Cの光学システムにおいて、表示装置1を偏光分離部材101Bにより近づけて、光学システム全体をよりコンパクトに構成したものである。図14(1)において、図2Cと同一の符号を付した構成については、繰り返しの詳細な説明は省略する。
 図14(1)では、図2Cと同様、表示装置1から出射した所定の偏光(図ではP偏光)の映像光が、表示装置1の映像表示面から垂直方向に進行する。ここで、偏光分離部材101Bは、図2C同様に、表示装置1から出射した所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。
 よって、表示装置1の映像表示面から垂直方向に進行した所定の偏光(図ではP偏光)の映像光は、偏光分離部材101Bを透過し、λ/4板21が貼り付けられた再帰反射板2に到達する。再帰反射板2で再帰性反射され、再び偏光分離部材101Bに向かって進行する映像光は、λ/4板21を2回透過したことにより、表示装置1から出射時の所定の偏光(図ではP偏光)から他方の偏光(図ではS偏光)へと変換されている。再び偏光分離部材101Bに向かって進行した映像光は、他方の偏光(図ではS偏光)であるので、偏光分離部材101Bでユーザがいるべき位置に向かって反射される。偏光分離部材101Bで反射された映像の進行方向は、偏光分離部材101Bが配置される角度に基づいて定まる。
 図14(1)の例では、偏光分離部材101Bに向かって進行した映像光は、偏光分離部材101Bで直角に反射して図のように進行する。偏光分離部材101Bで反射された映像光は空間浮遊映像3Aを形成する。空間浮遊映像3Aは、ユーザによって、矢印Aの方向にて好適に視認できる。
 ここで、再帰反射板2による再帰性反射の特性上、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長と、再帰反射板2から出射した映像光が空間浮遊映像3Aの形成位置に到達するまでの光路長とが、等しくなる関係にある。この関係により、偏光分離部材101Bで反射された映像光の進行方向における空間浮遊映像3Aの形成位置が定まる。
 図14(1)の例では、表示装置1、偏光分離部材101B、および再帰反射板2を、図2Cの例よりも近づくように配置している。これにより、光学システム全体をよりコンパクトに構成することを実現している。しかしながら、図14(1)の光学システムから空間浮遊映像3Aが飛び出す量はさほど大きくない。例えば、光学システムから空間浮遊映像3Aが飛び出す量の一つの指標として、映像光の中心部分の光線が、偏光分離部材101Bで反射された位置から映像光が空間浮遊映像3Aを形成する位置までの距離を図に示している(図14(1)の例ではL1)。
 なお、図14(1)の光学システムにおける偏光設計について、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1から出射した映像光の所定の偏光をS偏光とし、偏光分離部材101Bの反射特性について、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
 次に、図14(2)に本実施例にかかる光学システムおよび光路の別の一例を示す。図14(2)の光学システムは、図14(1)の光学システム同様のコンパクトさを実現しつつ、光学システムから空間浮遊映像が飛び出す量をより大きくするために、図14(1)の光学システムにおける構成を変更したものである。図14(2)において、図14(1)と同一の符号を付した構成については、繰り返しの詳細な説明は省略する。
 図14(2)において、図14(1)同様、表示装置1から出射した所定の偏光(図ではP偏光)の映像光が、表示装置1の映像表示面から垂直方向に進行する。ここで、偏光分離部材101Bの偏光特性は、図14(1)と配置が90度異なっている。表示装置1の映像表示面から垂直方向に進行した所定の偏光(図ではP偏光)の映像光は、偏光分離部材101Bを透過する。
 ここで、図14(1)と異なり、映像光が偏光分離部材101Bを透過した先には、λ/4板21が貼り付けられた再帰反射板2ではなく、λ/4板21Bが貼り付けられた鏡面反射板4が配置されている。ここで、鏡面反射板4における反射は鏡面反射(正反射ともよばれる)であり、再帰性反射ではない。
 よって、偏光分離部材101Bを透過した映像光は、λ/4板21Bが貼り付けられた鏡面反射板4で鏡面反射する。鏡面反射板4で鏡面反射されて再び偏光分離部材101Bに向かって進行する映像光は、λ/4板21を2回透過したことにより、表示装置1から出射時の所定の偏光(図ではP偏光)から他方の偏光(図ではS偏光)へと変換されている。再び偏光分離部材101Bに向かって進行した映像光は、他方の偏光(図ではS偏光)であるので、偏光分離部材101Bで反射される。
 ここで、図14(2)における偏光分離部材101Bの配置の向きは、図14(1)と異なるため、偏光分離部材101Bで反射された映像光は、ユーザがいるべき位置とは逆方向に進行する。偏光分離部材101Bで反射された映像光が進行する先には、λ/4板21Cが貼り付けられた再帰反射板2が配置されている。映像光は、再帰反射板2により再帰性反射される。再帰反射板2で再帰性反射され、再び偏光分離部材101Bに向かって進行する映像光は、λ/4板21Cを2回透過したことにより、他方の偏光(図ではS偏光)から再びの所定の偏光(図ではP偏光)へと変換されている。
 再び偏光分離部材101Bに向かって進行した映像光は、所定の偏光(図ではP偏光)であるので、偏光分離部材101Bを透過し、そのままユーザがいるべき位置に向かって進行する。偏光分離部材101Bを透過した映像光は空間浮遊映像3Bを形成する。空間浮遊映像3Bは、ユーザによって、矢印Aの方向で好適に視認できる。
 ここで、図14(2)においても、図14(1)と同様、再帰反射板2による再帰性反射の特性上、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長と、再帰反射板2から出射した映像光が空間浮遊映像3Bの形成位置に到達するまでの光路長とが、等しくなる関係にある。この関係により、偏光分離部材101Bを透過した映像光の進行方向における空間浮遊映像3Bの形成位置が定まる。
 図14(2)における、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長は、図14(1)における、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長に比べ、長い。図14(2)の光学システムにおいては、図14(1)の光学システムには存在しない、偏光分離部材101Bと鏡面反射板4との間を往復する光路が、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長に追加されているからである。
 これにより、図14(2)の光学システムにおける、映像光の中心部分の光線が、偏光分離部材101Bを透過した位置から映像光が空間浮遊映像3Bを形成する位置までの距離(図14(2)の例ではL2)は、図14(1)の光学システムにおける、映像光の中心部分の光線が、偏光分離部材101Bで反射された位置から映像光が空間浮遊映像3Aを形成する位置までの距離(図14(1)の例ではL1)に比べ、格段に長くなる。
 なお、図14(2)の光学システムにおける偏光設計についても、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1から出射した映像光の所定の偏光をS偏光とし、偏光分離部材101Bの反射特性について、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
 以上説明した、本発明の実施例2における、図14(1)および図14(2)の光学システムによれば、よりコンパクトな光学システムを実現できる。特に、図14(2)の光学システムによれば、よりコンパクトな光学システムでありながら、光学システムから空間浮遊映像が飛び出す量をより大きくすることが可能となる。
 なお、図14(1)または図14(2)の光学システムを、空間浮遊映像表示装置に組み込む場合には、実施例1で説明した空間浮遊映像表示装置における光学システムを、図14(1)または図14(2)の光学システムへ置き換えれば実現できる。具体的には、図14(1)の光学システムを、図4E、図4F、図4G、図4H、図4I、図4J、図4K、図4L、または図4Mの空間浮遊映像表示装置の光学システムと置き換えてもよい。この場合、光学システムがコンパクトになるので、各図の空間浮遊映像表示装置の筐体をより小さくすることが可能である。
 また、具体的には、図14(2)の光学システムを、図4E、図4F、図4G、図4K、または図4Lの空間浮遊映像表示装置の光学システムと置き換えてもよい。この場合、光学システムから空間浮遊映像が飛び出す量をより大きくすることが可能となる。また、光学システムがコンパクトになるので、各図の空間浮遊映像表示装置の筐体をより小さくすることが可能である。
 <実施例3>
 本発明の実施例3として、空間浮遊映像表示装置の別の構成例について説明する。なお、実施例3の説明においては、空気中や液中(例えば、水中)などの空間に浮遊する映像を「空間浮遊映像」という用語で表現している。この用語の代わりに、「空間像」「表示映像の空間浮遊光学像」などと表現してもかまわない。また、空気中に浮遊する映像を「空中像」、「空中浮遊映像」、「表示映像の空中浮遊光学像」などと表現してもかまわない。さらに、液中に浮遊する映像を「液中像」「液中浮遊映像」「表示映像の液中浮遊光学像」などと表現しても構わない。実施例3の説明で主として用いる「空間浮遊映像」との用語は、これらの用語の代表例として用いている。
 実施例3の空間浮遊映像表示装置は、実施例1,2で説明した光学システムを用い、空間浮遊映像の少なくとも一部を液体貯留槽に貯留された液体中に形成するように構成されている。より具体的には、実施例3の液体浮遊映像装置は、空間浮遊映像の少なくとも一部を、水槽に貯留された水中に形成するように構成されている。言い換えれば、実施例3は、空間浮遊映像表示装置をアクアリウム装置として使用する態様の一例である。なお、ここでいうアクアリウム装置とは、例えば、魚などの水生生物を水槽内で飼育・鑑賞するための装置をいう。
 実施例3の説明では、水槽の左右方向をX方向、前後方向(奥行方向)をY方向、高さ方向(鉛直方向)をZ方向とする。また以下では、実施例1,2との相違点を説明し、実施例1,2と同様の構成については説明を省略する。
 図15は、実施例3の空間浮遊映像表示装置の構成の一例を示す図である。図15に示すように、本実施例に係る空間浮遊映像表示装置1000は、例えば、水である液体2100が貯留される水槽(液体貯留槽)2000の外側に配置されている。別の言い方をすれば、空間浮遊映像表示装置1000は、表示装置1および光学システム1800を水槽2000とは別体として備えている。
 なお、空間浮遊映像表示装置1000を構成する表示装置1および光学システム1800は、図示は省略するが筐体内に配置されている。また図15に示す空間浮遊映像表示装置1000の内部構成は、撮像部1180、空中操作検出センサ1351および空中操作検出部1350を備えていない以外、図3に示す内部構成と同様である。
 水槽2000は、底壁2001と、底壁2001の周囲に立設する側壁2002とを有する。水槽2000の側壁2002は、例えば、ガラスやアクリル樹脂等の透明材料で形成されている。表示装置1および光学システム1800は、水槽2000の側壁2002の外側に配置されている。この例では、表示装置1および光学システム1800は、水槽2000の背面側を構成する側壁2002aの外側に配置されている。
 表示装置1および光学システム1800は、水槽2000の内部に空間浮遊映像3Cが生成されるように、水槽2000に近接して配置されている。表示装置1は、鉛直方向上向きに設置されている。この光学システム1800は、図2Aの光学システムに相当し、再帰反射板2は鉛直方向に沿って配置され、透明な部材100に設けられた偏光分離部材101は、鉛直方向に対して略45°の角度の向きで配置されている。これにより、光学システム1800は、表示装置1に表示された映像に基づいて、水槽2000の内部に空間浮遊映像3Cを生成する。例えば、水槽2000内に水である液体2100が満たされている場合、空間浮遊映像表示装置1000は、液体2100中(水中)に空間浮遊映像3Cを生成する。
 ここで、上述のように表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長と、再帰反射板2から出射した映像光が空間浮遊映像3の形成位置に到達するまでの光路長とは、等しくなる関係にある。
 このため、例えば、水槽2000内に水である液体2100が貯留されていない場合、空間浮遊映像3Cは、上記の関係を満たす位置、例えば、図15中に二点鎖線で示すようにY方向における第1位置Y1に形成される。一方で、水槽2000内に液体2100が貯留されている場合、映像光は水槽2000内の液体2100により屈折する。このため、空間浮遊映像3Cの形成位置は、図15中に点線で示すように、第1位置Y1よりも+Y側の第2位置Y2となる。そして、空間浮遊映像表示装置1000を構成する表示装置1および光学システム1800は、第1位置Y1および第2位置Y2のそれぞれが水槽2000内となるように、水槽2000の外側に配置される。
 これにより、水槽2000内に液体2100が貯留されているか否かに拘わらず、空間浮遊映像3Cは水槽2000の内部に形成される。ユーザは、水槽2000の正面側である側壁2002bの外側から水槽2000内を観察する際、つまり矢印A方向に水槽2000内を観察する際、水槽2000の内部に表示される空間浮遊映像3Cを明るい映像として視認することができる。そして、例えば、水生生物等の映像を空間浮遊映像3Cとして表示することで、ユーザは、疑似的に水生生物の鑑賞を楽しむことができる。
 なお、表示装置1および光学システム1800の配置は、上記第1位置Y1および第2位置Y2が水槽2000内となる範囲であれば適宜変更が可能である。例えば、魚などの水生生物の映像を空間浮遊映像3Cとして水槽2000の内部に表示させる場合、Y方向において、第2位置Y2が水槽2000の中央部、あるいは水槽2000の正面側となる側壁2002bに近い位置となるようにする。これにより、ユーザは水生生物の空間浮遊映像3Cを視認し易くなる。また、例えば、水槽2000内で魚等の水生生物を実際に飼育し、その背景として水生植物等の映像を空間浮遊映像3Cとして表示させる場合、Y方向において、第2の位置Y2が水槽2000の背面側となる側壁2002aに近い位置となるようにする。これにより、ユーザは、空間浮遊映像3Cを背景として飼育する水生生物の鑑賞を楽しむことができる。
 また、この例では、空間浮遊映像3Cの向き(図中に矢印で示す映像光の主光線の向き)が略水平方向となるようにしている。ただし、空間浮遊映像3Cの向きは、必ずしも水平方向でなくてもよく、例えば、想定されるユーザの視線等を考慮して適宜決定されればよい。例えば、空間浮遊映像3Cの向きは、水平方向とは交差する方向であってもよい。より具体的には、空間浮遊映像3Cの向きは、水平方向よりも斜め上方であってもよいし、水平方向よりも斜め下方であってもよい。
 なお、図15に示す例では、水槽2000の底壁2001と側壁2002aとの角部には、面取り部2003が設けられている。この面取り部2003は、透明な部材100に設けられた偏光分離部材101と水槽2000との干渉を避けるために設けられている。偏光分離部材101と水槽2000との干渉が生じない場合、この面取り部2003は設けられていなくてもよい。
 <実施例3の変形例>
 図16は、実施例3の空間浮遊映像表示装置1000の変形例を示す図である。図16に示す空間浮遊映像表示装置1000は、光学システム1800が水槽2000内に配置されている例である。より具体的には、この例では、光学システム1800を構成する再帰反射板2および偏光分離部材101が、水槽2000内に配置されている。なお、再帰反射板2の入射面にはλ/4板21が設けられている。また偏光分離部材101は、透明な部材100に粘着されている。
 図16に示す例では、水槽2000内には液体2100が十分に満たされており、再帰反射板2は液体2100中に配置されている。ただし、水槽2000内に貯留されている液体2100の量によっては、再帰反射板2の一部が液体2100の外側に露出する場合もある。また、偏光分離部材101の大半は液体2100中に配置されているが、偏光分離部材101の上端部(+Z方向の端部)は、液体2100の外側(水面よりも上方)に露出している。勿論、偏光分離部材101の全体が液体2100中に配置されていてもよい。
 また、表示装置1は、水槽2000の底壁2001の外側に配置されている。水槽2000の表示装置1に対向する領域には、ガラスやアクリル樹脂等の透明材料からなる透明窓2004が設けられており、表示装置1から出射される映像光は、この透明窓2004を介して水槽2000内に入射される。水槽2000内に入射された映像光は、上述のように、偏光分離部材101で反射され、再帰反射板2に入射する。また再帰反射板2で反射された映像光は、偏光分離部材101を透過して、液体2100中に空間浮遊映像3Cを形成する。
 なお、光学システム1800が液体2100中に配置されている構成では、光学システム1800が水槽2000の外側に配置されている構成(図15参照)に比べて、映像光が液体2100中を進む距離が長くなる。このため、空間浮遊映像3Cが形成される位置は、Y方向において、第2位置Y2よりも+Y側の第3位置Y3となる。表示装置1および光学システム1800は、第3位置Y3が水槽2000内となるように配置されている。
 このように光学システム1800が液体2100中に配置されている構成としても、空間浮遊映像3Cを水槽2000内に良好に表示させることができる。したがって、空間浮遊映像3Cとして、例えば、魚などの水生生物の映像を表示させることで、ユーザは、疑似的に水生生物の鑑賞を楽しむことができる。
 なお、透明窓2004は、一例として、水槽2000の底壁2001の表示装置1に対向する領域に設けられているが、この構成に限定されない。透明窓2004は、例えば、水槽2000の底壁2001の全面に亘って形成されていてもよい。言い換えれば、水槽2000の底壁2001の全体が透明材料で形成されていてもよい。
 また、図16に示す構成では、水槽2000の底壁2001に、その一部を水槽2000の内側に窪ませた凹部2005が設けられている。透明窓2004は、この凹部2005に対応する部分に設けられ、表示装置1は、凹部2005内に収容されている。なお表示装置1を底壁2001の外側に配置することができれば、凹部2005は、必ずしも底壁2001に設けられていなくてもよいし、凹部2005がない構成としてもよい。例えば、水槽2000が載置される載置台の表面に凹部を設け、この載置台の凹部内に表示装置1を配置してもよい。
 <実施例3の変形例>
 図17は、実施例3の空間浮遊映像表示装置1000の変形例を示す図である。図17に示す空間浮遊映像表示装置1000は、光学システム1800の一部が水槽2000に設けられた例である。より具体的には、光学システム1800を構成する偏光分離部材101が粘着された透明な部材100は、水槽2000の側壁2002aに固定されている。言い換えれば、偏光分離部材101が粘着される透明な部材100は、水槽2000の側壁2002aと一体化されている。
 図17に示す構成では、水槽2000の背面側を構成する側壁2002aは、再帰反射板2側に向かって傾斜して設けられている。一例として、側壁2002aは、鉛直方向に対して約45°の角度で傾斜している。そして、この側壁2002aに、偏光分離部材101が粘着された透明な部材100が接合されている。
 なお、本例では、透明な部材100が水槽2000の側壁2002aに接合されているが、側壁2002aが透明な部材100として機能するようにしてもよい。すなわち、偏光分離部材101が粘着される透明な部材100は、水槽2000の側壁2002aと一体的に設けられていてもよい。また、側壁2002aは、空間浮遊映像表示装置1000に対応する部分が傾斜していればよく、その全体が傾斜していてもよいが、一部が傾斜していてもよい。
 また、図17に示す構成では、映像光が液体2100中を進む距離は、光学システム1800が水槽2000の外側に、水槽2000とは別体として配置されている構成(図15参照)に比べて長く、また光学システム1800が液体2100中に配置されている構成(16参照)に比べて短くなる。このため、空間浮遊映像3Cが形成される位置は、第2位置Y2よりも+Y側で、且つ第3位置Y3よりも-Y側の第4位置Y4となる。そして、表示装置1および光学システム1800は、この第4位置Y4が水槽2000内となるように水槽2000の近傍に設置される。
 このように偏光分離部材101が粘着される透明な部材100が水槽2000の側壁2002aと一体化された構成としても、空間浮遊映像3Cを水槽2000内に良好に表示させることができる。したがって、空間浮遊映像3Cとして、例えば、魚などの水生生物の映像を表示させることで、ユーザは、疑似的に水生生物の鑑賞を楽しむことができる。
 なお、実施例3の空間浮遊映像表示装置1000として、光学システム1800が図2Aに示す光学システムに相当する例を説明したが、光学システム1800の構成は、特に限定されるものではない。光学システム1800は、例えば、図2B~図2Dに示す光学システムに相当するものであってもよい。
 <実施例3の変形例>
 図18Aは、実施例3に係る空間浮遊映像表示装置の変形例の構成を示す図であり、図18Bは、水槽の内部に空間浮遊映像が表示された状態の一例を示す図である。図18Aに示す空間浮遊映像表示装置1000は、図15に示した構成に加えて、撮像部1180Aおよび空中操作検出センサ1351Aを備えている。なお、これら撮像部1180Aおよび空中操作検出センサ1351Aを除いて、図18Aに示す空間浮遊映像表示装置1000の内部構成は、図3に示す内部構成と同様である。
 撮像部1180Aおよび空中操作検出センサ1351Aは、空間浮遊映像表示装置1000の筐体とは別体として設けられている。撮像部1180Aは、イメージセンサを有するカメラであり、水槽2000内および水槽2000の周囲の空間を撮像する。一例として、撮像部1180Aは、水槽2000の上部に水槽2000内に向けて設置される。撮像部1180Aは、例えば、有線または無線の通信接続路などを介して空間浮遊映像表示装置1000に撮像信号を伝達できるように構成される。この撮像部1180Aの撮像結果に基づいて、例えば、映像制御部1160が、空間浮遊映像3Cを形成するための制御を行う。なお、撮像部1180Aは、必要に応じて複数設けられてもよく、各撮像部1180Aの設置位置は特に限定されるものではない。
 空中操作検出センサ1351Aは、この例では、水槽2000内の液体2100の液面2101の位置を検出する液面検出センサとして設けられている。空中操作検出センサ1351Aは、例えば、超音波を用いた距離センサ等で構成され、水槽2000の底部に水槽2000の内側(上部側)に向けて設置されている。空中操作検出センサ1351Aによる検出結果であるセンシング信号は、空中操作検出部1350(図3参照)に送られる。空中操作検出部1350では、このセンシング信号に基づいて、Z方向における液体2100の液面2101の位置の算出等を行う。なお、空中操作検出センサには、電磁波を用いた距離センサや圧力センサを用いた液面計を用いてもよい。
 図18Aおよび図18Bに示す例では、Z方向(高さ方向)において、水槽2000の半分程度まで液体2100が貯留されている。液体2100の液面2101は、Z方向において、空間浮遊映像3Cが形成される映像形成領域S1内に位置している。この場合、表示装置1に表示された映像は、水槽2000内の液体2100中と、液体2100よりも上方の水槽2000内の空中と、に表示できる。言い換えれば、映像形成領域S1には、水槽2000内の液体2100中に設定される液中形成領域S2と、水槽2000内の空中に設定される空中形成領域S3とが含まれる。
 別の言い方をすれば、空間浮遊映像3Cは、水槽2000内の液中形成領域(液中表示領域)S2に表示される液中浮遊映像3Caと、水槽2000内の空中形成領域(空中表示領域)S3に表示される空中浮遊映像3Cbと、を含む場合がある。これら液中浮遊映像3Caと空中浮遊映像3Cbとは、Y方向の表示位置(形成位置)が異なる。上述のように、液中浮遊映像3CaはY方向における第2位置Y2に形成され、空中浮遊映像3CbはY方向における第1位置Y1に形成される。なお、液中浮遊映像3Caは、液中形成領域S2の全体に形成されても、液中形成領域S2内の一部に形成されてもよい。同様に、空中浮遊映像3Cbは、空中形成領域S3の全体に形成されても、空中形成領域S3内の一部に形成されてもよい。
 ここで、空間浮遊映像3Cが、液中浮遊映像3Caと空中浮遊映像3Cbとを含む場合、液中浮遊映像3Caが形成される液中形成領域S2と、空中浮遊映像3Cbが形成される空中形成領域S3との間には、映像が形成されない非形成領域S4が設けられていることが好ましい。Z方向における液面2101付近には、例えば、液面2101の揺れに起因する映像の乱れが生じ易い。このため、液中形成領域S2と空中形成領域S3との間、つまりZ方向における液面2101付近には、空間浮遊映像3Cが形成されない非形成領域S4が設けられていることが好ましい。非形成領域S4は、言い換えれば、空間浮遊映像3Cが透明な状態となる領域であり、表示装置1の非形成領域S4に対応する部分は黒表示となる。
 非形成領域S4の範囲は、特に限定されないが、水槽2000内の液体2100の流れ等により生じる液面2101の揺れの範囲よりも広く設定されていることが好ましい。ただし、非形成領域S4は設けられていなくてもよく、液中浮遊映像3Caが形成される液中形成領域S2と空中浮遊映像3Cbが形成される空中形成領域S3とは、Z方向で連続して設定されていてもよい。
 また、液体2100の液面2101の位置(高さ)は、常に一定であるとは限らず、状況に応じて変化する場合がある。このため、本例では、液体2100の液面2101の位置に基づいて、映像形成領域S1の位置や範囲、より詳しくは、液中形成領域S2および空中形成領域S3の位置や範囲を適宜調整している。
 本例では、空中操作検出センサ1351Aおよび空中操作検出部1350により、Z方向における液体2100の液面2101の位置を検出する。そして映像制御部1160が、液面2101の位置に応じて、表示装置1(映像表示部1102)に入力する映像信号に関する各種制御を行う。すなわち、液面2101付近が非形成領域S4となるように、液面2101の位置に応じて、液中形成領域S2および空中形成領域S3の位置や範囲を適宜調整する。言い換えると、液体貯留槽、つまり水槽2000に貯留されている液体の水位、つまり液面2101の位置によって液中浮遊映像3Caおよび空中浮遊映像3Cbの表示位置を調整する。
 また、このように空間浮遊映像3Cが、液中浮遊映像3Caと空中浮遊映像3Cbとを含む場合、これら液中浮遊映像3Caおよび空中浮遊映像3Cbのコンテンツ(映像の内容)は異なるものとすることができる。言い換えれば、液中浮遊映像3Caと空中浮遊映像3Cbとは、互いに独立する映像とすることができる。
 図18Bに示す例では、オブジェクトである架空のキャラクター“人魚”の画像を液中形成領域S2内に液中浮遊映像3Caとして表示し、ユーザに対する情報(ユーザに伝える情報)の画像を空中形成領域S3内に空中浮遊映像3Cbとして表示している。ただし、この表示は、あくまで一例であり、キャラクターの画像を空中浮遊映像3Cbとして表示してもよく、またユーザに対する情報を液中浮遊映像3Caとして表示してもよい。
 空中浮遊映像3Cbとして表示する情報の内容は、特に限定されないが、例えば、日時、天気および気温、液体2100の温度(水温)および水質、通信状態等が挙げられる。なお、ここでいう通信状態とは、例えば、通信部1132(図3参照)が、Wi―Fi方式の通信インタフェースを有し、通信部1132を介した通信により映像データ等が送受信される場合、Wi-Fiの接続状況である。
 また、例えば、魚などの水生生物4000を水槽2000内で実際に飼育している場合、水生生物4000の位置や動きに応じて、液中形成領域S2内における液中浮遊映像3Caの表示位置を適宜変更するようにしてもよい。例えば、キャラクター“人魚”の画像を液中浮遊映像3Caとして表示させる場合、液中浮遊映像3Caが常に水生生物4000の近くに表示されるように、水生生物4000の動きに合わせて液中浮遊映像3Caを移動させるようにしてもよい。例えば、撮像部1180Aの撮像結果に基づいて水生生物4000の位置を特定することで、水生生物4000の動きに応じて液中浮遊映像3Caの表示位置を変更することができる。
 さらに、水槽2000内で飼育している水生生物の位置や動きに応じて、液中浮遊映像3Caのコンテンツを変更するようにしてもよい。液中浮遊映像3Caおよび空中浮遊映像3Cbのコンテンツは、特に限定されるものではない。液中浮遊映像3Caとしては、上述したようなキャラクターの映像の他、例えば、魚や水草といった水生生物の映像を表示するようにしてもよい。また、水槽2000内で水生生物を飼育している場合、その水生生物が移動した軌跡を液中浮遊映像3Caとして表示してもよい。さらには、例えば、飼育する水生生物の名称や愛称等の情報を液中浮遊映像3Caとして水生生物の近くに表示するようにしてもよい。あるいは、液中浮遊映像3Caとして、水槽2000内で飼育する水生生物の説明映像を所定位置に表示し、映像にて説明している水生生物を指し示す矢印を併せて表示するようにしてもよい。また、撮像部1180Aで液体2100中の水生生物を撮像し、水生生物の一部を拡大した拡大映像を液中浮遊映像3Caとして表示してもよい。
 ところで、液体2100中(水中)では赤色の光が吸収されやすく、液中浮遊映像3Caは赤色が薄くなり易い。このため、空間浮遊映像3Cを表示させる際、赤色の光が液体2100によって吸収されることを考慮して、液中浮遊映像3Caの色を調整することが好ましい。より具体的には、液中浮遊映像3Caを液体2100中に表示させる際、緑色および青色を薄く調整してRGB値を適切に設定することが好ましい。
 また、光のオン・オフや、急激な光の変化(例えば、明るさ、色の変化)は、水生生物のストレスになり易い。このため、映像制御部1160は、液中浮遊映像3Caを変化させる際、光の状態を徐々に(段階的に)変化させることが好ましい。さらに、映像制御部1160は、水生生物が存在する領域には、液中浮遊映像3Caを表示させないようにしてもよい。言い換えれば、液中形成領域S2内であっても、魚等の水生生物が存在する領域については、液中浮遊映像3Caが形成されない非形成領域としてもよい。具体的には、撮像部1180Aにより水槽2000内を撮像した撮像結果に基づいて水生生物の位置を特定し、この水生生物の位置(動き)に合わせて非形成領域を設定するようにしてもよい。
 このような構成では、空間浮遊映像3Cを水槽2000内により適切に表示させることができる。例えば、水槽2000内で水生生物を飼育している場合でも、水生生物の観察を阻害しないように、空間浮遊映像3Cを適切に表示できる。また、水生生物に与えるストレスも抑制することができる。これにより、ユーザは水生生物の鑑賞をさらに楽しみ易くなる。
 なお、本例では、空中操作検出センサ1351Aのセンシング信号に基づいて液体2100の液面2101の位置を検出するようにしたが、液面2101の位置を検出する方法は、特に限定されない。例えば、空中操作検出センサ1351Aを用いることなく、撮像部1180Aによる撮像結果に基づいて液面2101の位置を検出することもできる。
 <実施例3の変形例>
 図19は、実施例3の空間浮遊映像表示システムの構成を示す図である。図19に示す空間浮遊映像表示システム3000は、例えば、ユーザの自宅等に設置される空間浮遊映像表示装置を含むアクアリウム装置3100と、アクアリウム装置3100とは別の場所、例えば、水族館等に設置されるライブカメラ3200と、空間浮遊映像表示装置およびライブカメラ3200とインターネット3300を介して接続されるサーバ装置3400と、備えて構成される。
 空間浮遊映像表示装置を含むアクアリウム装置3100は、通信部1900を備え、この通信部1900を介してインターネット3300に接続された通信装置3310と通信可能となっている。なお、通信部1900は図3の通信部1132の一例である。そして、空間浮遊映像表示装置を含むアクアリウム装置3100は、通信装置3310およびインターネット3300を介して、サーバ装置3400と通信可能となっている。
 一方、ライブカメラ3200も通信部3210を備え、この通信部3210を介してインターネット3300に接続された通信装置3320と通信可能となっている。そしてライブカメラ3200は、通信装置3320およびインターネット3300を介して、サーバ装置3400と通信可能となっている。
 図19に示す例では、通信部1900と通信装置3310との通信、および通信部3210と通信装置3320との通信が無線である例を示しているが、通信は有線であってよい。また、各通信部1900,3210からインターネット3300までの通信経路において、有線の部分と無線の部分とが混在していてもよい。
 空間浮遊映像表示装置を含むアクアリウム装置3100は、図18Aに示す例と同様の構成であり、表示装置1と光学システム1800Aとを備え、水槽(第2液体貯留槽)2000の内部に空間浮遊映像3Cを形成するものである。ただし、光学システム1800Aは、図2Dに示す光学システムに相当する。図19に示す空間浮遊映像表示装置を含むアクアリウム装置3100では、表示装置1に表示された映像は、再帰反射板5に対して幾何学的に対象となる位置に空間浮遊映像3Cとして表示される。勿論、光学システム1800Aは、この構成に限定されず、図2A~図2Cに示す光学システムに相当するものであってもよい。なお、水槽2000では、実際に水生生物が飼育されていても、飼育されていなくてもよい。
 撮影装置であるライブカメラ3200は、例えば、水族館の水槽(第1液体貯留槽)3500の液体3600中(水中)で飼育されている水生生物4100を撮影する。ライブカメラ3200は、例えば、複数の水槽3500に対応してそれぞれ設置されており、複数のライブカメラ3200が、異なる種類の水生生物4100を撮影する。各ライブカメラ3200により撮影された撮影映像は、通信装置3320およびインターネット3300を介してサーバ装置3400に送信される。サーバ装置3400では、例えば、一定期間、ライブカメラ3200による撮影映像を蓄積する。
 この空間浮遊映像表示システム3000では、例えば、ユーザにより空間浮遊映像表示装置を含むアクアリウム装置3100が起動されると、サーバ装置3400に蓄積されている撮影映像、例えば水生生物4100の映像が空間浮遊映像表示装置を含むアクアリウム装置3100に送信される。なお、ライブカメラ3200により撮影された撮影映像が、サーバ装置3400を介してリアルタイムで空間浮遊映像表示装置を含むアクアリウム装置3100に送信されるようにしてもよい。空間浮遊映像表示装置を含むアクアリウム装置3100に送信された撮影映像は、表示装置1に表示され、再帰反射板5を含む光学システム1800Aを介して水槽2000内の液体2100中に空間浮遊映像3Cとして表示される。これにより、ユーザは、自宅等の任意の場所において、水族館で飼育されている水生生物の鑑賞が可能となる。
 また、空間浮遊映像表示装置を含むアクアリウム装置3100は、ライブカメラ水槽チェンジ機能を備えている。言い換えれば、空間浮遊映像表示装置を含むアクアリウム装置3100は、空間浮遊映像3Cとして表示される水生生物の種類を適宜選択可能に構成されている。空間浮遊映像表示装置を含むアクアリウム装置3100は、例えば、ユーザによる操作入力部1107への入力操作等に応じて、空間浮遊映像3Cとして表示される水生生物の映像を切り換えることができるようになっている。
 <実施例3の空間浮遊映像表示装置の動作>
 次に、図18Aに示す実施例3に係る空間浮遊映像表示装置の動作例について説明する。図20は、空間浮遊映像表示装置の動作の一例を示すフローチャートである。図21は、図20のステップS01において判定される判定項目Aと、判定項目Aについての判定条件1および判定条件2を例示する図である。図22は、図20のステップS03において設定される第2モードの内容を例示する図である。
 空間浮遊映像表示装置1000は、予め設定された判定項目Aについての判定を行う判定処理と、この判定処理における判定結果に基づいて、空間浮遊映像3Cの表示モードの選択を行うモード選択処理と、を実施する。一例として、これら判定処理およびモード選択処理は、例えば、制御部1110によって実施される。すなわち、この例では、制御部1110が、判定処理およびモード選択処理を実行する処理実行部として機能する。なお、表示モードの選択を行うモード選択処理は、表示モードを切り替えるモード切替処理とも言える。
 例えば、空間浮遊映像表示装置1000の電源が投入され、空間浮遊映像表示装置の制御が開始されると、所定のタイミング、例えば一定の間隔で判定処理が実行される(ステップS01)。この判定処理では、判定項目Aについて、予め設定された判定条件1または判定条件2のどちらの条件を満たしているかが判定される。そして、判定項目Aについて判定条件1を満たしていると判定された場合には(ステップS01:判定結果[1])、ステップS02に進み、空間浮遊映像3Cの表示モードとして、通常モードである第1モードが選択される。一方、判定項目Aについて判定条件2を満たしていると判定された場合には(ステップS01:判定結果[2])、ステップS03に進み、空間浮遊映像3Cの表示モードとして、通常モードとは異なる第2モードが選択される。例えば、現状の表示モードが第1モードである場合、ステップS03では、表示モードが第1モードから第2モードに切り替えられる。
 以下、図21および図22を参照して、判定処理およびモード選択処理の具体例について説明する。上述のように判定処理では、所定の判定項目Aについて、判定条件1および判定条件2のいずれの条件を満たしているかが判定される。これら判定項目A、判定条件1および判定条件2の内容は、特に限定されず、任意に設定されればよいが、例えば、図21に示す例(判定例1~判定例7)が挙げられる。
 <判定例1>
 判定例1の判定項目Aは「現在時刻」である。「現在時刻」は、例えば、無線通信等を介して空間浮遊映像表示装置1000の外部から取得される。ただし、現在時刻の取得方法は、特に限定されるものではない。また判定条件1は「現在時刻が第1時刻t1を経過」であり、判定条件2は「現在時刻が第2時刻t2を経過」である。なお、第1時刻t1および第2時刻t2は、ユーザにより予め設定された時刻である。
 この判定例1は、いわゆるタイマー設定機能であり、現在時刻が第1時刻t1になると、判定条件1が満たされていると判定され(ステップS01:判定結果[1])、表示モードとして第1モードが選択される(ステップS02)。一例として、表示モードとして第1モードが選択されていると、液中浮遊映像3Caおよび空中浮遊映像3Cbを含む空間浮遊映像3Cが水槽2000内に表示される。また、現在時刻が第2時刻t2になると、判定条件2が満たされていると判定され(ステップS01:判定結果[2])、表示モードとして第2モードが選択される(ステップS03)。
 ここで、第2モードの設定内容は、特に限定されるものではなく、任意に設定されればよいが、例えば、図22に示す例(設定例1~設定例8)が挙げられる。判定例1における第2モードとしては、例えば、設定例1,2,3,7等が設定されやすい。
 第2モードが設定例1である場合、現在時刻が第2時刻t2になると、液中浮遊映像3Caは非表示となり、空中浮遊映像3Cbのみが表示される。すなわち、現在時刻が第2時刻t2を経過して再び第1時刻t1になるまでは、空中浮遊映像3Cbのみが水槽2000内に表示される。また、第2モードが設定例2である場合、現在時刻が第2時刻t2になると、空中浮遊映像3Cbは非表示となり、液中浮遊映像3Caのみが表示される。すなわち、現在時刻が第2時刻t2を経過して再び第1時刻t1になるまでは、液中浮遊映像3Caのみが水槽2000内に表示される。
 つまり、設定例1,2では、表示モードには、水槽2000の液体2100中および空中のそれぞれに空間浮遊映像3Cを表示する第1モードと、水槽2000の液体2100中または空中の一方に空間浮遊映像3Cを表示する第2モードと、が含まれる。
 このように現在時刻に応じて空間浮遊映像3Cの表示状態が変更されることで、空間浮遊映像3Cを水槽2000内に適切に表示しつつ、空間浮遊映像表示装置1000の電力消費量を抑制することができる。
 また、第2モードが設定例3である場合には、現在時刻が第1時刻t1から第2時刻t2の間は、赤色光、緑色光および青色光の映像光で空間浮遊映像3Cが表示されるが、現在時刻が第2時刻t2を過ぎると、青色光のみの映像光、あるいは青色光および緑色光の映像光で空間浮遊映像3Cが表示される。すなわち、設定例3では、表示モードには、水槽2000の液体2100中に表示される空間浮遊映像3Cを、赤色光、緑色光および青色光の映像光で形成する第1モードと、水槽2000の液体2100中に表示される空間浮遊映像3Cを、青色光、または、青色光および緑色光で形成する第2モードと、が含まれる。
 青色光のみの映像光、あるいは青色光および緑色光の映像光で空間浮遊映像3Cが表示されることで、例えば、海底の雰囲気を演出しつつ電力消費量を抑えることができる。また、サンゴの育成には青色光が有効であることが知られている。したがって、水槽2000内でサンゴを育成している場合、第2モードが設定例3であれば、電力消費量を抑制しつつサンゴの育成を促進することができるという効果が得られる。
 また、第2モードが設定例7である場合には、現在時刻が第2時刻t2になると、液中浮遊映像3Caおよび空中浮遊映像3Cbの何れも非表示となる。例えば、昼間の時間帯は、空間浮遊映像3Cを表示させ、夜間の時間帯は空間浮遊映像3Cを表示させないようにすることができる。これにより、水槽2000で飼育する水生生物のバイオリズムを整えることができる。また、空間浮遊映像表示装置1000の電力消費量をさらに抑制することができる。ただし、空間浮遊映像3Cが非表示の間も、空間浮遊映像表示装置1000の主電源は投入された状態であり、各種センサ類等は機能している。
 また、第2時刻t2として、水槽2000の液体2100中で飼育されている水生生物に給餌する時刻を設定し、第2モードとして設定例6を設定しておくようにしてもよい。これにより、現在時刻が第2時刻t2になると、水槽2000内の水生生物に給餌する時刻であること示す情報が空間浮遊映像3Cとして表示される。すなわち、この例では、表示モードに、水生生物に給餌する時刻であること示す情報を空間浮遊映像3Cとして表示するモードが含まれている。これにより、水生生物に給餌する時刻となったことをユーザに分かりやすく通知することができる。
 なお、このような給餌の時刻や、装置のエラー情報等、ユーザに対する情報の映像を空間浮遊映像3Cとして表示する場合、空間浮遊映像3Cは、水槽2000の空中に表示させることが好ましい。言い換えれば、ユーザに対する情報の映像は空中浮遊映像3Cbとして水槽2000内に表示することが好ましい。これにより、ユーザに対して、各種情報をより分かり易く通知することができる。
 <判定例2>
 判定例2の判定項目Aは「水槽近傍における人物の検知」であり、判定条件1は「検知あり」、判定条件2は「検知なし」である。この判定例2では、例えば、撮像部1180Aによって撮像された映像に基づいて、水槽2000の近傍における人物の有無が判定される。そして、水槽2000の近傍に人物の存在が検知された場合には、判定条件1が満たされていると判定され(ステップS01:判定結果[1])、表示モードとして第1モードが選択される(ステップS02)。一例として、液中浮遊映像3Caおよび空中浮遊映像3Cbを含む空間浮遊映像3Cが水槽2000の内部に表示される。
 一方、水槽2000の近傍に人物の存在が検知されない場合には、判定条件2が満たされていると判定され(ステップS01:判定結果[2])、表示モードとして第2モードが選択される(ステップS03)。このように判定例2では、人感センサとしての撮像部1180Aによる検知結果(撮像結果)から、水槽2000の近傍における人物の有無を判定し、その判定結果に応じて第1モードまたは第2モードが選択される。
 判定例2における第2モードとしては、例えば、設定例1,7等が設定されやすい。第2モードが設定例1である場合、水槽2000の近傍に人物の存在が検知されていない間、水槽2000内には空中浮遊映像3Cbのみが表示される。また第2モードが設定例7である場合、水槽2000の近傍に人物の存在が検知されていない間、空間浮遊映像3Cは非表示となる。これにより、空間浮遊映像表示装置1000の消費電力をより効果的に抑制することができる。
 なお、撮像部1180Aは人感センサの一例として挙げたものであり、水槽2000の近傍における人物の有無は、各種の人感センサにより検知することができる。人感センサとしては、例えば、赤外線、可視光、超音波等を用いたものがある。また判定例2では、人物の有無を判定する際、例えば、顔認証等によりその人物が特定の人物、例えば、登録されたユーザ等であることまで判定するようにしてもよい。
 <判定例3>
 判定例3の判定項目Aは「水槽近傍における人物の検知時間」であり、判定条件1は「検知時間が第1期間t11を経過」であり、判定条件2は「検知時間が第2期間t12を経過」である。この判定例3では、例えば、撮像部1180Aの検知結果(撮像結果)から、水槽2000の近傍に人物の存在を連続して検知している時間(検知時間)の長さを判定する。この検知時間が予め設定された第1期間t11を経過すると、水槽2000内を観察する人物(観察者)が存在すると判定される。つまり、判定条件1が満たされていると判定される。(ステップS01:判定結果[1])。そして、表示モードとして第1モードが選択され(ステップS02)、一例として、水槽2000内に液中浮遊映像3Caおよび空中浮遊映像3Cbが表示される。
 また、検知時間が予め設定された第2期間t12(>第1期間t11)を経過すると、判定条件2が満たされていると判定され(ステップS01:判定結果[2])、表示モードとして第2モードが選択される(ステップS03:判定結果[2])。このように判定例3では、人感センサとしての撮像部1180Aの検知結果から、水槽2000の近傍における人物の有無を判定し、その判定結果に応じて第1モードまたは第2モードが選択される。
 判定例3における第2モードとしては、例えば、設定例1,7等が設定されやすい。第2モードが設定例1である場合、検知期間が第2期間t12を経過すると、水槽2000内には空中浮遊映像3Cbのみが表示される。一例として、観察者が水槽2000内で飼育している水生生物等をより観察し易くなるように、液中浮遊映像3Caが一定期間表示された後は、液中浮遊映像3Caが非表示となり空中浮遊映像3Cbのみが表示されるようにしている。また、第2モードが設定例7である場合には、検知期間が第2期間t12を経過すると、液中浮遊映像3Caおよび空中浮遊映像3Cbが非表示となる。
 <判定例4>
 判定例4の判定項目Aは「ユーザによる選択」であり、判定条件1は「第1モードの選択あり」であり、判定条件2は「第2モードの選択あり」である。ユーザによる表示モードの選択方法は、特に限定されないが、例えば、ユーザによる操作入力部1107への入力操作、あるいはマイクなどの音声入力部1139への音声入力等が挙げられる。また、例えば、リモートコントローラや無線機器等の外部機器の操作により、表示モードが選択されるようにしてよい。
 つまり判定例4では、ユーザによる選択に応じて、表示モードとして第1モードまたは第2モードが適宜選択される。表示モードとして第1モードが選択された場合、例えば、水槽2000内には液中浮遊映像3Caおよび空中浮遊映像3Cbが表示される。判定例4における第2モードとしては、例えば、上述した設定例1,2,3,7等が設定されやすい。なお、設定例1,2,3,7については、判定例1で説明しているため、ここでの説明は省略する。
 <判定例5>
 判定例5の判定項目Aは「姿勢センサによる揺れの検知」であり、判定条件1は「揺れ検知なし」であり、判定条件2は「揺れ検知あり」である。
 上述のように空間浮遊映像表示装置1000は姿勢センサ1113を備える。姿勢センサ1113は、重力センサまたは加速度センサ、またはこれらの組み合わせにより構成されるセンサであり、空間浮遊映像表示装置1000が設置されている姿勢を検出する。判定例5では、姿勢センサ1113により、例えば、水槽2000内の液体2100が溢れるほどの揺れを検知した場合に、判定条件2が満たされていると判定され、表示モードとして第2モードが選択される。一方、姿勢センサ1113により所定の揺れが検知されない間は、判定条件1が満たされていると判定され、表示モードとして第1モードが選択される。
 一例として、姿勢センサ1113を構成する重力センサまたは加速度センサの検出値が予め設定された第1閾値よりも小さい状態では、判定条件1が満たされていると判定される(ステップS01:判定結果[1])。そして、表示モードとして第1モードが選択される(ステップS02)。
 一方、姿勢センサ1113の検出値が第1閾値を越えると、判定条件2が満たされていると判定され(ステップS01:判定結果[2])、表示モードとして第2運転モードが選択される(ステップS03)。判定例5における第2モードとしては、例えば、設定例8が設定されやすい。
 第2モードが設定例8である場合、姿勢センサ1113により所定の揺れが検知されていない間(第1モードが選択されている間)は、水槽2000内に空間浮遊映像3Cが表示される。一方、姿勢センサ1113により所定の揺れが検知されると、空間浮遊映像3Cが非表示となり、さらに、空間浮遊映像表示装置1000の主電源が遮断される。これにより、水槽2000の液体2100が外部に溢れた場合でも、空間浮遊映像表示装置1000における漏電の発生を未然に防止することができる。
 <判定例6>
 判定例6の判定項目Aは「装置の作動状態」であり、判定条件1は「正常に作動」、判定条件2は「正常に作動しない」である。
 空間浮遊映像表示装置1000では、例えば、制御部1110等により、空間浮遊映像表示装置1000のハードウェア、ソフトウェアに異常が発生していないか、常時あるいは定期的に監視されている。そして、判定例6では、空間浮遊映像表示装置1000の作動状態が正常である場合、判定条件1が満たされていると判定され(ステップS01:判定結果[1])、表示モードとして第1モードが選択される(ステップS02)。一方、空間浮遊映像表示装置1000の作動状態に異常が検出されると、判定条件2が満たされていると判定され(ステップS01:判定結果[2])、表示モードとして第2モードが選択される(ステップS03)。判定例6における第2モードとしては、例えば、設定例8が設定されやすい。設定例8については判定例5で説明しているため、重複する説明は省略する。
 また、制御部1110は、例えば、撮像部1180Aの撮像結果に基づいて、水槽2000のメンテナンスの要否を判定し、メンテナンスが必要な場合には、装置の作動状態が正常ではないとの判定をするようにしてもよい。すなわち、判定例6の一つとして、水槽2000のメンテナンスが不要な状態では、判定条件1が満たされていると判定し、水槽2000のメンテナンスが必要な状態になると、判定条件2が満たされていると判定するようにしてもよい。
 この場合の第2モードとしては、例えば、設定例5等が設定されやすい。第2モードが設定例5である場合、撮像部1180Aの撮像結果等に基づいて水槽2000のメンテナンス時期であると判定されると、その旨の情報が液中浮遊映像3Caまたは空中浮遊映像3Cbとして表示されることになる。つまり、この例では、表示モードに、ユーザに対して水槽2000のメンテナンス時期であることを示す情報を空間浮遊映像3Cとして表示するモードが含まれる。なお、水槽2000のメンテナンスとしては、例えば、液体2100の交換、水槽2000の清掃、液体2100をろ過するためのフィルタといった消耗品の交換等が挙げられる。
 <判定例7>
 判定例7の判定項目Aは「液面の位置(高さ)ha」であり、判定条件1は「液面の位置(高さ)haが設定閾値h1以上」であり、判定条件2は「液面の位置(高さ)haが設定閾値h1未満」である。液面2101の高さhaの検出方法は、特に限定されるものではない。液面2101の高さhaは、例えば、撮像部1180Aの撮像結果、あるいは空中操作検出センサ(液面検出センサ)1351Aの検出結果に基づいて算出することができる。
 この判定例7では、水槽2000内の液体2100の液面2101の位置、言い換えれば、水槽2000の底壁2001から液体2100の液面2101までの高さha(図18A参照)が、予め設定された設定閾値h1以上である場合、判定条件1を満たしていると判定される(ステップS01:判定結果[1])。そして、表示モードとして第1モードが選択される(ステップS02)。一方、液面2101の高さhaが設定高さh1未満である場合には、判定条件2を満たしていると判定され(ステップS01:判定結果[2])、表示モードとして第2モードが選択される(ステップS03)。
 判定例7における第2モードとしては、例えば、設定例4等が設定されやすい。第2モードが設定例4である場合、液面2101の高さhaが設定高さh1未満になると、水槽2000内の液体2100が不足している旨の情報が、水槽2000内に液中浮遊映像3Caまたは空中浮遊映像3Cbとして表示される。すなわち、判定例7では、表示モードに、水槽2000内の液体2100が予め設定された量よりも少ないことを示す情報を空間浮遊映像3Cとして表示するモードが含まれる。なお表示モードとして第1モードが選択されている間は、液体2100が不足している旨の情報は表示されない。これにより、水槽2000の液体2100が不足していることをユーザに分かりやすく通知でき、適切なタイミングで、液体2100の追加、あるいは液体2100の交換を促すことができる。
 以上、判定処理およびモード選択処理の具体例について説明したが、判定処理およびモード選択処理は、上述の例には限定されるものではない。例えば、第2モードの設定内容は、図22に示した設定例1~8に限定されるものではなく、必要に応じて適宜設定することができる。例えば、アクアリウム装置を構成する空間浮遊映像表示装置1000が、図4Mに示す構成のように第2の表示装置1680を備え、第1モードとして「第2表示装置のON」が設定されている場合、第2モードとして「第2の表示装置のOFF(非表示)」を設定してもよい。
 また、一例として、判定処理における判定結果に基づいて、表示モードを第1モードと第2モードとを選択するようにしたが、選択する表示モードは2つに限定されない。判定処理の判定結果に基づいて、3つ以上の表示モードを選択するようにしてもよい。
 また、本発明の種々の実施例について詳述したが、本発明は、上述した実施例に限定されるものではない。本発明には、様々な変形例が含まれる。例えば、上記した実施例は、本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、本発明は、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
 1…表示装置、2,5…再帰反射板(再帰性反射板)、3…空間像(空間浮遊映像)、105…ウィンドガラス、100…透明な部材、101…偏光分離部材、101B…偏光分離部材、12…吸収型偏光板、13…光源装置、54…光方向変換パネル、151…再帰反射板、102、202…LED基板、203…導光体、205…反射シート、206、270…位相差板、271…反射板、230…ユーザ、1000…空間浮遊映像表示装置、1110…制御部、1160…映像制御部、1180,1180A…撮像部、1102…映像表示部、1350…空中操作検出部、1351…空中操作検出センサ、1351A…空中操作検出センサ(液面検出センサ)、2000…液体貯留槽(水槽、第2液体貯留槽)、2100…液体、2101…液面、3000…空間浮遊映像表示システム、3100…アクアリウム装置、3200…ライブカメラ(撮影装置)、3400…サーバ装置、3500…水槽(第1液体貯留槽)

Claims (15)

  1.  空間浮遊映像表示装置であって、
     映像処理部と、
     前記映像処理部が映像処理を行った映像を表示する表示部と、
     前記表示部が表示する映像に基づいて空間浮遊映像を生成する光学システムと、
     を備え、
     前記空間浮遊映像の少なくとも一部が、液体貯留槽に貯留されている液体中に形成される、
     空間浮遊映像表示装置。
  2.  請求項1に記載の空間浮遊映像表示装置において、
     前記空間浮遊映像は、前記液体中に形成される液中浮遊映像と、前記液体よりも上方の空中に形成される空中浮遊映像と、を含み、
     前記液中浮遊映像と前記空中浮遊映像とが、互いに独立する映像である、
     空間浮遊映像表示装置。
  3.  請求項1に記載の空間浮遊映像表示装置において、
     前記空間浮遊映像は、前記液体中に形成される液中浮遊映像と、前記液体よりも上方の空中に形成される空中浮遊映像と、を含み、
     前記液中浮遊映像が形成される液中形成領域と、前記空中浮遊映像が形成される空中形成領域との間に、前記空間浮遊映像が形成されない非形成領域が設けられている、
     空間浮遊映像表示装置。
  4.  請求項1に記載の空間浮遊映像表示装置において、
     前記空間浮遊映像は、前記液体中に形成される液中浮遊映像と、前記液体よりも上方の空中に形成される空中浮遊映像と、を含み、
     前記液体貯留槽に貯留されている液体の水位によって前記液中浮遊映像および前記空中浮遊映像の表示位置または表示範囲を調整する、
     空間浮遊映像表示装置。
  5.  請求項1に記載の空間浮遊映像表示装置において、
     前記光学システムは偏光分離部材を有し、
     前記偏光分離部材は、前記液体貯留槽に貯留される前記液体中に配置されている、
     空間浮遊映像表示装置。
  6.  請求項1に記載の空間浮遊映像表示装置において、
     前記光学システムは偏光分離部材を有し、
     前記偏光分離部材は、前記液体貯留槽の外側の空中に配置されている、
     空間浮遊映像表示装置。
  7.  請求項1に記載の空間浮遊映像表示装置において、
     前記光学システムは再帰反射板を有し、
     前記再帰反射板は、前記液体貯留槽に貯留される前記液体中に配置されている、
     空間浮遊映像表示装置。
  8.  請求項1に記載の空間浮遊映像表示装置において、
     前記光学システムは再帰反射板を有し、
     前記再帰反射板は、前記液体貯留槽の外側の空中に配置されている、
     空間浮遊映像表示装置。
  9.  請求項1に記載の空間浮遊映像表示装置において、
     制御部を備え、
     前記制御部が、
     予め設定された判定条件を満たすか否かを判定する判定処理と、
     前記判定処理の判定結果に基づいて、前記空間浮遊映像の表示モードを選択するモード選択処理と、を実行する、
     空間浮遊映像表示装置。
  10.  請求項9に記載の空間浮遊映像表示装置において、
     人物を検知する人感センサを備え、
     前記制御部は、
     前記判定処理として、前記人感センサの検知結果に基づいて前記液体貯留槽の近傍における人物の有無を判定する、
     空間浮遊映像表示装置。
  11.  請求項9に記載の空間浮遊映像表示装置において、
     人物を検知する人感センサを備え、
     前記制御部は、
     前記判定処理として、前記人感センサの検知結果に基づいて前記液体貯留槽の近傍における人物の検知期間を判定する、
     空間浮遊映像表示装置。
  12.  請求項9に記載の空間浮遊映像表示装置において、
     前記制御部は、
     前記判定処理として、現在時刻が予め設定された設定時刻であるか否かを判定する、
     空間浮遊映像表示装置。
  13.  請求項9に記載の空間浮遊映像表示装置において、
     前記空間浮遊映像には、前記液体中に形成される液中浮遊映像と、前記液体よりも上方の空中に形成される空中浮遊映像と、が含まれ、
     前記表示モードには、
     前記液中浮遊映像および前記空中浮遊映像を表示する第1モードと、
     前記液中浮遊映像または前記空中浮遊映像の一方を表示する第2モードと、が含まれる、
     空間浮遊映像表示装置。
  14.  請求項9に記載の空間浮遊映像表示装置において、
     前記表示モードには、
     前記液体貯留槽のメンテナンス時期であることを示す情報を、前記空間浮遊映像として表示するモードが含まれる、
     空間浮遊映像表示装置。
  15.  第1液体貯留槽の液体中で飼育されている水生生物を撮影する撮影装置と、
     映像を表示する表示部と、前記表示部が表示する映像に基づいて空間浮遊映像を生成する光学システムと、を有する空間浮遊映像表示装置と、
     前記撮像装置および前記空間浮遊映像表示装置とネットワークを介して接続され、前記撮影装置によって撮影された撮影映像を受信し、前記撮影映像を前記空間浮遊映像表示装置に送信するサーバ装置と、
     を備え、
     前記空間浮遊映像表示装置は、前記サーバ装置によって送信された前記撮影映像を前記表示部に表示し、前記撮影映像に基づく前記空間浮遊映像を第2液体貯留槽の液体中に形成する、
     空間浮遊映像表示システム。
PCT/JP2024/018108 2023-06-14 2024-05-16 空間浮遊映像表示装置および空間浮遊映像表示システム Ceased WO2024257545A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023097833A JP2024179186A (ja) 2023-06-14 2023-06-14 空間浮遊映像表示装置および空間浮遊映像表示システム
JP2023-097833 2023-06-14

Publications (1)

Publication Number Publication Date
WO2024257545A1 true WO2024257545A1 (ja) 2024-12-19

Family

ID=93852080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/018108 Ceased WO2024257545A1 (ja) 2023-06-14 2024-05-16 空間浮遊映像表示装置および空間浮遊映像表示システム

Country Status (2)

Country Link
JP (1) JP2024179186A (ja)
WO (1) WO2024257545A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255494A (ja) * 2000-03-10 2001-09-21 Pioneer Electronic Corp 立体的2次元画像表示装置及び画像表示方法
JP2005229835A (ja) * 2004-02-17 2005-09-02 Sanyo Electric Co Ltd 水槽監視システム
JP2016212375A (ja) * 2015-05-11 2016-12-15 大日本印刷株式会社 水槽内情報表示装置、投影システム
WO2018151220A1 (ja) * 2017-02-15 2018-08-23 富士フイルム株式会社 光学装置
JP2019012261A (ja) * 2017-06-29 2019-01-24 ピクシーダストテクノロジーズ株式会社 光学イメージング装置
JP2023007106A (ja) * 2021-07-01 2023-01-18 マクセル株式会社 空中浮遊映像表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255494A (ja) * 2000-03-10 2001-09-21 Pioneer Electronic Corp 立体的2次元画像表示装置及び画像表示方法
JP2005229835A (ja) * 2004-02-17 2005-09-02 Sanyo Electric Co Ltd 水槽監視システム
JP2016212375A (ja) * 2015-05-11 2016-12-15 大日本印刷株式会社 水槽内情報表示装置、投影システム
WO2018151220A1 (ja) * 2017-02-15 2018-08-23 富士フイルム株式会社 光学装置
JP2019012261A (ja) * 2017-06-29 2019-01-24 ピクシーダストテクノロジーズ株式会社 光学イメージング装置
JP2023007106A (ja) * 2021-07-01 2023-01-18 マクセル株式会社 空中浮遊映像表示装置

Also Published As

Publication number Publication date
JP2024179186A (ja) 2024-12-26

Similar Documents

Publication Publication Date Title
JP7766421B2 (ja) 空中浮遊映像表示装置
JP7791738B2 (ja) 空中浮遊映像表示装置
WO2024247524A1 (ja) 空中浮遊映像表示装置
JP7827595B2 (ja) 空中浮遊映像表示装置
JP7672323B2 (ja) 空中浮遊映像表示システム
WO2025004520A1 (ja) 空中浮遊映像表示装置
WO2024190106A1 (ja) 空中浮遊映像表示装置およびキャラクター表示装置
JP2024179186A (ja) 空間浮遊映像表示装置および空間浮遊映像表示システム
WO2023085069A1 (ja) 空中浮遊映像表示装置
WO2025028008A1 (ja) 空中浮遊映像表示装置
JP7827884B2 (ja) 空中浮遊映像表示装置
WO2025004588A1 (ja) 空中浮遊映像表示装置
WO2024247523A1 (ja) 空中浮遊映像表示装置
WO2024232212A1 (ja) 空中浮遊映像表示装置
JP2024178765A (ja) 空中浮遊映像表示装置、空中浮遊映像表示システム、および携帯端末
JP2025105029A (ja) 空中浮遊映像表示装置
WO2026034067A1 (ja) 空中浮遊映像表示装置
WO2025187392A1 (ja) 空中浮遊映像表示装置
JP2025135228A (ja) 空中浮遊映像表示装置
WO2025182216A1 (ja) 空中浮遊映像表示装置
JP2026020978A (ja) 空中浮遊映像表示装置
JP2025184467A (ja) 空中浮遊映像表示装置
JP2025093366A (ja) 空中浮遊映像表示装置
WO2025041524A1 (ja) 空中浮遊映像表示装置
WO2025239115A1 (ja) 光源装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24823167

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE