WO2023243181A1 - 空間浮遊映像情報表示システム - Google Patents

空間浮遊映像情報表示システム Download PDF

Info

Publication number
WO2023243181A1
WO2023243181A1 PCT/JP2023/013028 JP2023013028W WO2023243181A1 WO 2023243181 A1 WO2023243181 A1 WO 2023243181A1 JP 2023013028 W JP2023013028 W JP 2023013028W WO 2023243181 A1 WO2023243181 A1 WO 2023243181A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
floating
user
display system
information display
Prior art date
Application number
PCT/JP2023/013028
Other languages
English (en)
French (fr)
Inventor
宏明 ▲高▼橋
浩二 平田
浩司 藤田
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Publication of WO2023243181A1 publication Critical patent/WO2023243181A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00—Advertising or display means not otherwise provided for
    • G09F19/12—Advertising or display means not otherwise provided for using special optical effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F21/00—Mobile visual advertising
    • G09F21/04—Mobile visual advertising by land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Definitions

  • the present invention relates to a spatially floating video information display system.
  • Patent Document 1 Japanese Patent Application Publication No. 2019-128722
  • Patent Document 1 in order to reduce false detection of operations on images formed in the air, when a user approaches an image from a predetermined direction, the user's movement is accepted as an operation to achieve the objective. It is stated that this will be achieved.
  • Patent Document 1 states that "an aerial image may be a still image or a moving image” and further that an aerial image "may have a three-dimensional shape such as a curved surface, a sphere, or a cube.” ing. However, Patent Document 1 does not include any description regarding a specific technique or method for making an aerial image into a three-dimensional shape.
  • a three-dimensional floating image is used, for example, as signage (electronic signboard), it can be expected to have the effect of increasing people's interest in the products and services displayed by the signage.
  • the concierge a person who provides operational guidance and various services to users
  • the user will be able to see it more easily than if it were displayed using a flat floating image. Since users are induced to feel as if they are having a conversation with a real person, it is expected that users will feel closer to the concierge, and that they will be able to follow the concierge's guidance and perform operations more smoothly. can.
  • Patent Document 1 does not disclose a technique for displaying a spatially floating image as a three-dimensional shape. There was a desire for technology to display images as floating images in space.
  • an object of the present invention is to provide a spatially floating video display system that can display three-dimensional objects.
  • a spatially floating image information display system that forms a spatially floating image in the air includes an image display device that displays an image of at least one object, a lenticular lens disposed on the image light output side of the image display device, and an image display device.
  • the image display device is equipped with a retroreflective member for forming a spatially floating image in the air by retroreflecting the image light from the object. Display multi-view images.
  • a multi-view video is displayed as a space floating video, and in particular, a person's image such as a concierge is displayed three-dimensionally, so that it can be used.
  • a person's image such as a concierge is displayed three-dimensionally, so that it can be used.
  • FIG. 1 is a diagram illustrating an example of a usage pattern of a floating video information display system according to an embodiment
  • FIG. 1 is a diagram illustrating an example of an internal configuration of a floating video information display system according to an embodiment
  • FIG. 1 is a diagram illustrating an example of a configuration of main parts and a configuration of a retroreflection part of a space floating video information display system according to an embodiment
  • FIG. 3 is a diagram illustrating another example of the configuration of main parts and the configuration of a retroreflection part of a floating video information display system according to an embodiment.
  • FIG. 3 is a perspective view showing an example of the arrangement of members that block extraordinary rays generated by retroreflection according to an embodiment.
  • FIG. 1 is a diagram illustrating an example of an internal configuration of a floating video information display system according to an embodiment
  • FIG. 1 is a diagram illustrating an example of a configuration of main parts and a configuration of a retroreflection part of a space floating video information display system according to an embodiment
  • FIG. 3 is a cross-sectional view showing an example of the arrangement of members that block extraordinary rays generated by retroreflection according to one embodiment.
  • FIG. 2 is an explanatory diagram of a first sensing technique used in a floating video information display system according to an embodiment.
  • FIG. 2 is an explanatory diagram of a second sensing technique used in a floating image information display system according to an embodiment.
  • FIG. 2 is an explanatory diagram of the operation and device of a sensing system used in a floating video information display system according to an embodiment. It is a figure showing the characteristic of the spectral irradiance of sunlight.
  • FIG. 3 is a diagram showing the reflection characteristics of polarized light incident on a medium with a refractive index of 1.5 with respect to the incident angle of the ray.
  • FIG. 1 is a diagram showing a main part configuration of a floating video information display system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the configuration of main parts of another spatially floating video information display system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the principle of displaying multi-view images.
  • FIG. 2 is a diagram illustrating an example of camera arrangement for generating multi-view video.
  • FIG. 2 is a diagram illustrating an example of a video displayed by a multi-view video display device.
  • FIG. 3 is a diagram illustrating an example of how a multi-view video image appears as a floating image in space.
  • FIG. 7 is a diagram illustrating another example of how a multi-view video image appears as a floating image in space. It is a diagram showing an example of a kiosk terminal. 1 is a diagram showing an example of the appearance of a kiosk terminal according to an example (Embodiment 1); FIG. 1 is a diagram showing an example of a cross-sectional structure of a kiosk terminal according to Embodiment 1. FIG. It is a figure showing an example of the appearance of a kiosk terminal concerning one example (Embodiment 2). 7 is a diagram showing an example of a cross-sectional structure of a kiosk terminal according to Embodiment 2. FIG. FIG. 7 is a diagram showing a kiosk terminal and a user according to an example (Embodiment 3). FIG.
  • FIG. 7 is a diagram illustrating a display example of a kiosk terminal according to an example (Embodiment 3).
  • FIG. 7 is a diagram showing a first operation flow of the kiosk terminal according to Embodiment 3;
  • FIG. 7 is a diagram showing a second operation flow of the kiosk terminal according to Embodiment 3;
  • FIG. 7 is a diagram illustrating a cooperative operation between a kiosk terminal and a mobile terminal according to an example (Embodiment 4).
  • FIG. 7 is a diagram showing an example of how a sign is operated and displayed on a kiosk terminal according to an example (Embodiment 5).
  • FIG. 9 is a diagram showing an example of display on a kiosk terminal according to a modification such as Embodiment 3;
  • FIG. 9 is a diagram showing an example of display on a kiosk terminal according to a modification such as Embodiment 3;
  • FIG. 2 is a cross-sectional view showing a specific example of the configuration of a light source device.
  • FIG. 2 is a structural diagram showing a specific example of the configuration of a light source device.
  • FIG. 7 is a diagram illustrating a specific configuration example of a light source device of another type. It is a figure showing an example of the appearance of a vending machine concerning one example (another embodiment).
  • the main body for these is the processor or the controller made up of the processor etc. , equipment, computers, systems, etc.
  • a computer executes processing according to a program read onto a memory by a processor, using resources such as memory and communication interfaces as appropriate. Thereby, predetermined functions, processing units, etc. are realized.
  • the processor includes, for example, a CPU (Central Processing Unit), a semiconductor device such as a GPU, and the like.
  • a processor is composed of devices and circuits that can perform predetermined operations.
  • the processing is not limited to software program processing, but can also be implemented using a dedicated circuit.
  • FPGA field-programmable gate array
  • ASIC application specific integrated circuit
  • CPLD complex programmable logic device
  • the program may be installed in advance as data on the target computer, or may be distributed as data from the program source to the target computer.
  • the program source may be a program distribution server on a communication network, or may be a non-transitory computer-readable storage medium (for example, a memory card).
  • a program may be composed of multiple modules.
  • a computer system may be configured by multiple devices.
  • the computer system may be configured with a client server system, a cloud computing system, etc.
  • Various types of data and information are configured, for example, in structures such as tables and lists, but are not limited thereto. Expressions such as identification information, identifier, ID (identification), name, number, etc. can be replaced with each other.
  • the spatial floating video information display system (hereinafter sometimes simply referred to as the system) of one embodiment first eliminates ghost images that significantly reduce the visibility of spatial floating images, and improves the brightness of spatial floating images.
  • the device is equipped with a configuration that improves visibility by
  • the system of one embodiment is applied to a kiosk terminal or the like, and provides a user interface such as an operation menu on a screen using floating images.
  • a concierge concierge video, etc.
  • the system uses a floating video concierge to greet, guide, and provide explanations to users.
  • the spatial floating video information display system of one embodiment automatically displays a concierge video using a predetermined operation menu, etc., when a user approaches a spatial floating video or performs an operation on a spatial floating video. Transitions and changes to an operation menu screen that has number buttons, option buttons, etc., and allows you to press the buttons.
  • the system guides and explains the operation menu to the user using a concierge of floating images as appropriate.
  • the concierge guides the user through the operation menu in detail. Further, if the system determines that the user does not understand how to operate the floating image in space, the concierge guides the user through the operation menu in detail.
  • the spatial floating video information display system of one embodiment has a function of identifying and specifying a user by, for example, facial recognition using a camera.
  • the system refers to user attribute information such as age and system usage history for the user specified by the function.
  • the system controls the method and contents of the concierge guidance using floating images to be changed depending on the user's attributes.
  • the spatial floating video information display system of one embodiment also provides a function that allows the user to input arbitrary characters and figures with their hands and fingers onto the surface of the spatial floating video.
  • the system detects the state of finger contact on the surface of the spatial floating image and draws the input line on the surface of the spatial floating image.
  • the system obtains this input line as, for example, the user's signature.
  • an image floating in space or an image displayed in the air may be expressed using the term “space floating image.” Instead of this term, it may be expressed as “aerial image”, “aerial image”, “aerial floating image”, “aerial floating optical image of a display image”, “aerial floating optical image of a display image”, etc.
  • space floating image mainly used in the description of the embodiments is used as a representative example of these terms.
  • the present disclosure transmits an image using image light from a large-area image light source through a transparent member that partitions a space, such as glass in a shop window, and creates a spatially floating image inside or outside a store space.
  • the present invention relates to a displayable information display system.
  • the present disclosure also relates to a large-scale digital signage system configured using a plurality of such information display systems.
  • the following embodiments for example, it is possible to display high-resolution video information floating in space on the glass surface of a show window or a light-transmitting board.
  • the divergence angle of the emitted image light small, that is, an acute angle, and aligning it with a specific polarization, only the normal reflected light is efficiently sent to the retroreflective member (retroreflector) or retroreflector. It can be reflected well. Therefore, according to the embodiment, the light utilization efficiency is high, and it is possible to suppress ghost images that occur in addition to the main space floating image, which was a problem with the conventional retroreflection method, and to create a clear space floating image. You can get the picture.
  • a device including the light source of the present disclosure it is possible to provide a novel and highly usable floating video information display system that can significantly reduce power consumption. Further, according to the technology of the present disclosure, it is possible to display a so-called unidirectional spatial floating image that is visible from outside the vehicle, for example, through the shield glass including the windshield, rear glass, and side glass of the vehicle.
  • a space floating video information display system for vehicles can be provided.
  • conventional floating image information display systems combine an organic EL panel or a liquid crystal display panel (sometimes referred to as a liquid crystal panel) as a high-resolution color display image source with a retroreflective member.
  • the image light is diffused over a wide angle. Therefore, when using the retroreflective member 2 of the first embodiment composed of polyhedrons shown in FIG.
  • a ghost image is generated by image light obliquely incident on the retroreflection member 2 (retroreflection section 2a) shown in FIG. 3C. This degrades the image quality of the spatially floating video.
  • FIG. 1(A) shows an example of how the space floating video information display system of the embodiment is used, and is an explanatory diagram of the overall configuration of the space floating video information display system.
  • a space is partitioned by a show window (also referred to as window glass) 105, which is a light-transmitting member (also referred to as a transparent member) such as glass.
  • a show window also referred to as window glass
  • a transparent member such as glass
  • the video display device 10 light with a narrow directional characteristic and a specific polarization is emitted from the video display device 10 as a video beam.
  • the emitted image light flux once enters the retroreflection member 2, is retroreflected, and passes through the window glass 105 to form a real image, a spatially floating image (aerial image) 3, outside the store space.
  • FIG. 1A the interior of the store inside the transparent member (window glass in this case) 105 is shown as the depth direction, and the outside of the window glass 105 (for example, the sidewalk) is shown as the front.
  • FIG. 1(B) shows the internal configuration of the video display device 10.
  • the video display device 10 includes a video display unit 1102 that displays the original image of an aerial image, a video control unit 1160 that converts the input video to match the resolution of the panel, and a video/audio controller that receives and inputs video and audio signals. and a signal receiving section 1130.
  • the video/audio signal receiving unit 1130 supports wired input signals through an input interface such as HDMI (High-Definition Multimedia Interface) (registered trademark), and Wi-Fi (Wireless Fidelity) ( It plays the role of responding to wireless input signals such as (registered trademark).
  • the video/audio signal receiving section 1130 can also function independently as a video receiving/displaying device.
  • the video/audio signal receiving section 1130 can also display/output video/audio information from a tablet terminal, smartphone, or the like.
  • the video/audio signal receiving section 1130 can be connected to a processor (arithmetic processing unit) such as a stick PC as needed. It can also be provided with capabilities such as analytical processing.
  • FIG. 2 shows a functional block diagram of the spatial floating video information display system 1.
  • the video display unit 1102 generates a video by modulating the light that passes through the video display unit 1102 based on the video signal.
  • the video display unit 1102 may be referred to as a display panel, a liquid crystal panel, or a liquid crystal display panel.
  • the video display unit 1102 may use, for example, a transmissive display panel, or in some cases, a reflective display panel that modulates light reflected on the panel based on a video signal, or a DMD panel (DMD: Digital Micromirror Device). (registered trademark).
  • the spatial floating video information display system 1 has a lenticular lens 1103, as shown in FIG.
  • Lenticular is a type of printed matter that uses sheet-like lenticular lenses to change the pattern depending on the viewing angle and to give a three-dimensional effect.
  • a lenticular lens is a collection of lenses whose surfaces are shaped like a semi-cylindrical "kamaboko.”
  • a video display section 1102 that displays a corresponding different video is arranged.
  • the lenticular lens 1103 is arranged on the image light output side of the image display section 1102. Specifically, the lenticular lens 1103 is arranged at a predetermined distance from the image light output side of the image display section 1102. Further, the image display unit 1102 displays a multi-view image (or multi-view video) by passing the emitted image light through a lenticular lens, and the user can observe the multi-view image (or multi-view video).
  • the user when the user moves in the direction in which the semicylindrical lenses forming the lenticular lens 1103 are lined up (for example, left and right directions), the user can view different images ( or video) can be viewed. Therefore, the above-mentioned different images (or videos) are taken images (or videos) taken in different shooting directions for one subject. This allows the user to visually recognize the image (or video) displayed on the liquid crystal panel constituting the video display unit 1102 as a multi-view stereo image with motion parallax through the lenticular lens.
  • the retroreflection unit 1101 retroreflects the light modulated by the video display unit 1102. Of the light reflected from the retroreflector 1101, the light output to the outside of the floating image information display system 1 forms the floating image 3.
  • a light source 1105 generates light for the image display section 1102.
  • a solid light source such as an LED light source or a laser light source is used, for example.
  • Power supply 1106 converts AC current input from the outside into DC current, and supplies power to light source 1105. Furthermore, the power supply 1106 supplies necessary DC current to each of the other parts.
  • the light guide 1104 guides the light generated by the light source 1105 and irradiates it onto the image display section 1102.
  • the combination of the light guide 1104 and the light source 1105 can also be referred to as a backlight of the image display section 1102.
  • Various combinations of the light guide 1104 and the light source 1105 can be considered. A specific configuration example will be described later. Note that, as shown in FIG. 2, a portion made up of three components, an image display section 1102, a light guide 1104, and a light source 1105, is particularly referred to as an image display device 10.
  • the aerial operation detection sensor 1351 detects an operation (also referred to as an aerial operation) of the spatial floating image 3 by a user's hand or finger, and detects an area that overlaps at least a part of the display range of the spatial floating image 3, or an entire display range. This is a sensor that senses the range superimposed on the
  • the specific sensor configuration of the aerial operation detection sensor 1351 includes a distance sensor that uses invisible light such as infrared light, invisible light laser, ultrasonic waves, etc., and a combination of multiple sensors that can detect coordinates on a two-dimensional plane. It may be configured as a structure. Further, the aerial operation detection sensor 1351 may be configured as a ToF (Time of Flight) type LiDAR (Light Detection and Ranging), which will be described later.
  • ToF Time of Flight
  • LiDAR Light Detection and Ranging
  • the aerial operation detection unit 1350 acquires the sensing signal acquired by the aerial operation detection sensor 1351, and based on this, determines whether or not the user's finger has touched the floating image 3 in space, and the position of the contact in the floating image 3 in space. Calculate.
  • the aerial operation detection unit 1350 may be configured with a circuit such as an FPGA.
  • the aerial operation detection sensor 1351 and the aerial operation detection unit 1350 may be configured to be built into the space floating video information display system 1, but the space floating video information display system 1 It may be provided externally as a separate body. When provided separately, the configuration may be such that information or signals can be transmitted to the floating image information display system 1 via a wired or wireless communication connection path or video signal transmission path. Both the aerial operation detection sensor 1351 and the aerial operation detection section 1350 may be provided separately. In this case, it is possible to construct a system in which only the aerial operation detection function can be added as an option, using the floating image information display system 1 that does not have an air operation detection function as the main body.
  • only the aerial operation detection sensor 1351 may be made separate, and the aerial operation detection section 1350 may be built into the floating image information display system 1.
  • the aerial operation detection sensor 1351 may be made separate, and the aerial operation detection section 1350 may be built into the floating image information display system 1.
  • the imaging unit 1180 is a so-called camera having an image sensor, and images the space around the floating image 3 and/or the user's face, arm, finger, etc.
  • the imaging unit 1180 may include a plurality of cameras or a camera with a depth sensor depending on the purpose.
  • the imaging unit 1180 may be provided separately from the spatial floating video information display system 1.
  • the imaging unit 1180 performs aerial operation detection for detecting a user's touch operation on the space floating image 3, in other words, an operation of touching the surface of the space floating image 3.
  • the section 1350 may also be assisted.
  • the aerial operation detection sensor 1351 is configured as an object intrusion sensor into the plane to which the spatial floating image 3 belongs, an object (for example, a user's finger) that has not entered the plane
  • an object for example, a user's finger
  • by using the depth calculation information based on the imaging results of the plurality of cameras in the imaging unit 1180 and the depth information from the depth sensor objects that have not entered the plane of the spatial floating image 3 (for example, the user's body) can be detected. It becomes possible to calculate the distance between the finger) and the plane.
  • This calculation information can be used for various display controls in the spatial floating image 3.
  • the present system may be configured such that the aerial operation detection unit 1350 detects a touch operation on the floating image 3 by the user based on the imaging result of the imaging unit 1180 without using the aerial operation detection sensor 1351. good.
  • the imaging unit 1180 may be configured to image the face of the user operating the spatial floating image 3, and the control unit 1110 may perform user identification/specification processing or user authentication processing based on the captured image. .
  • the user who operates the spatial floating image 3 may be operated in order to determine whether other people are standing around or behind the user operating the spatial floating image 3 and are watching the user's operations on the spatial floating image 3.
  • the imaging unit 1180 may be configured to capture images including the surroundings of the user.
  • the operation input unit 1107 is an operation button or a remote control light receiving unit, and inputs a signal related to an operation by the user, which is different from an aerial operation on the floating image 3.
  • the operation input unit 1107 may be used by an administrator of the spatial floating image information display system 1 to operate the system, in addition to the above-mentioned user who performs a touch operation on the spatial floating image 3.
  • the video signal input section 1131 has a function of connecting an external video output device and inputting video data.
  • the audio signal input unit 1133 has a function of connecting an external audio output device and inputting audio data.
  • the audio signal output section 1140 has a function of outputting an audio signal based on the audio data input to the audio signal input section 1133. Further, the audio signal output unit 1140 may output an audio signal based on audio data such as numbers and character strings, other operation sounds, and error warning sound data recorded in advance in the storage unit 1170.
  • the video signal input section 1131 and the audio signal input section 1133 are collectively referred to as a video/audio signal input section 1130.
  • the video signal input section 1131 and the audio signal input section 1133 may have separate configurations, or may be one in total.
  • the audio signal output section 1140 is connected to a speaker or super directional speaker 30.
  • the audio signal output unit 1140 may be connected to a speaker that outputs audio in the normal audible band, but as in the embodiments such as kiosk terminals described below, it is necessary to take security into account due to high secrecy. In some cases, it may be connected to super-directional speakers so that it cannot be heard by anyone other than the user.
  • a superdirectional speaker is a speaker that allows only the ears of people in a specific limited spatial area to hear audio in the audible range, and the ears of people outside that specific spatial area to hear audio in the audible band. This is a speaker that has the characteristic of not being able to hear audio.
  • the superdirectional speaker 30 is configured by arranging a plurality of ultrasonic output elements on a plane that can generate ultrasonic signals of about 40 kHz, for example. At this time, the greater the number of ultrasonic output elements used, the greater the volume of the sound obtained by the superdirectional speaker.
  • the principle of super directional speakers will be briefly explained. As is well known, ultrasonic waves travel more in a straight line than audio in the audible range (for example, human speech). Therefore, by using a 40kHz ultrasonic signal as a carrier and modulating the carrier with an audio signal in the audible range (for example, AM modulation), it is possible to make audio audible only in a specific limited spatial area. becomes.
  • the positions of the user's face and ears are specified, and depending on the identification results, the output from the superdirectional speaker 30 is used to detect the position of the user's ear in the vicinity of the user's ear. Only the audio can be heard.
  • the phase in other words, the delay time
  • the ultrasonic signal input to the ultrasonic output element constituting the superdirectional speaker 30 the sound can be heard only in a specific limited spatial area. It can be done.
  • the plurality of ultrasonic output elements on, for example, a concave surface instead of on a flat surface, it is possible to make the sound audible only in a specific limited spatial region.
  • the nonvolatile memory 1108 stores various data used in the spatial floating video information display system 1.
  • the data stored in the non-volatile memory 1108 includes data for various operations displayed as a floating image 3 in space, user interface image information such as icons and buttons, object data and layout information for user operations, etc. May be included.
  • the memory 1109 stores video data to be displayed as the spatial floating video 3 and data for controlling the device.
  • the control unit 1110 corresponds to a controller (in other words, a control device) of the floating video information display system 1, and controls the operation of each connected unit.
  • the control unit 1110 includes a device such as a processor.
  • the control unit 1110 executes processing according to a program read from the nonvolatile memory 1108 or the storage unit 1170 to the memory 1109 or built-in memory. This realizes various functions.
  • the control unit 1110 may cooperate with a program stored in the memory 1109 to perform arithmetic processing based on information acquired from each connected unit.
  • the control unit 1110 may be implemented using a microcomputer or the like within the casing that constitutes the spatial floating video information display system 1, or may be connected and mounted outside the casing.
  • the communication unit 1132 communicates with external devices, external servers, etc. via a wired or wireless communication interface.
  • the communication unit 1132 transmits and receives video, images, audio, and various data through the communication.
  • the storage unit 1170 records videos, images, audio, various data, and the like. For example, videos, images, audio, various data, etc. may be recorded in the storage unit 1170 in advance when the product is shipped. Video, images, audio, various data, etc. acquired from external devices, external servers, etc. via the communication unit 1132 may be recorded in the storage unit 1170. Videos, images, various data, etc. recorded in the storage unit 1170 can be output as a spatial floating video 3 via the video display unit 1102, the video display device 10, and the retroreflection unit 1101.
  • Data such as icons, buttons, and objects for the user to operate, which are displayed on the floating image 3 as a user interface (including operation menus and concierge images to be described later), and data constituting the concierge image are also stored in the storage unit 1170. It may be included in the video or image data to be recorded. In addition, information such as operation menus such as icons, buttons, and objects displayed as a user interface on the spatial floating image 3, layout information of the concierge, and various metadata related to the operation menus and concierge are also included in various data recorded in the storage unit 1170. May be included. Further, audio data for the concierge of the floating image 3 to output audio may also be recorded in the storage unit 1170. The audio data recorded in the storage section 1170 may be output as an audio signal from the speaker or the superdirectional speaker 30 via the audio signal output section 1140.
  • the control unit 1110 or the video control unit 1160 or the audio signal output unit 1140 generates an operation menu based on various data stored in the storage unit 1170, nonvolatile memory 1108, etc. for configuring the operation menu and concierge. You may create video data and audio data as appropriate for displaying and outputting the content and concierge.
  • the video control unit 1160 performs various controls on the video signal input to the video display unit 1102.
  • the video control unit 1160 performs video switching control, such as which video is to be input to the video display unit 1102, for example, between the video stored in the memory 1109 and the video input by the video signal input unit 1131. It's okay.
  • the video control unit 1160 may perform control to superimpose the video stored in the memory 1109 and the video input by the video signal input unit 1131 to generate a composite video to be input to the video display unit 1102.
  • the video control unit 1160 may control image processing on video data input by the video signal input unit 1131, video stored in the memory 1109, and the like.
  • Image processing includes, for example, scaling processing that enlarges, reduces, and transforms images, bright adjustment processing that changes brightness, contrast adjustment processing that changes the contrast curve of images, and decomposition of images into light components.
  • Retinex processing which changes the weighting of each component.
  • the video control unit 1160 may perform special effect video processing on the video input to the video display unit 1102 to assist the user's aerial operations.
  • the special effect video processing may be controlled based on the detection result of the user's operation by the aerial operation detection section 1350 or the result of imaging the user by the imaging section 1180.
  • the floating video information display system 1 can be equipped with various functions.
  • the spatial floating video information display system 1 does not necessarily need to have all of the above-described configurations.
  • the spatial floating video information display system 1 may have any configuration as long as it has at least the function of generating the spatial floating video 3.
  • FIG. 3 shows the configuration of main parts in the spatially floating image information display system of the embodiment, and also shows an example (referred to as a first method) regarding the formation of the spatially floating image 3 and the configuration of the retroreflective member 2.
  • this spatially floating video information display system transmits video light of a specific polarization in an oblique direction to a transparent member 100, which is a transparent plate such as glass.
  • An image display device 10 is provided which causes the image to diverge at an included angle.
  • the video display device 10 includes a liquid crystal display panel 11 and a light source device 13 that generates light of a specific polarization having narrow-angle diffusion characteristics.
  • the image light of the specific polarization emitted from the image display device 10 is reflected by the polarization separation member 101 provided on the transparent member 100 and having a film that selectively reflects the image light of the specific polarization.
  • a sheet-shaped polarization separation member 101 is adhered to a transparent member 100.
  • a retroreflective member 2 is provided on the other diagonal side of the transparent member 100.
  • a ⁇ /4 plate 21 (in other words, a quarter wavelength plate) is provided on the image light incident surface of the retroreflective member 2. The image light is passed through the ⁇ /4 plate 21 twice, once when it enters the retroreflective member 2 and once when it exits, so that it changes from a specific polarization (one polarization) to the other polarization. Polarization is converted.
  • the polarization separation member 101 that selectively reflects the image light of a specific polarization has a property of transmitting the polarization of the other polarization after polarization conversion. Therefore, the image light of the other polarization after polarization conversion is transmitted through the polarization separation member 101.
  • the image light transmitted through the polarization separation member 101 forms a spatially floating image 3, which is a real image, on the outside of the transparent member 100, as shown in the figure.
  • the light forming the floating image 3 is a collection of light rays that converge from the retroreflective member 2 to the optical image of the floating image 3, and these rays continue to travel straight even after passing through the optical image of the floating image 3. do. Therefore, the floating image 3 is a highly directional image, unlike the diffused image light formed on a screen by a general projector or the like.
  • the floating image 3 when the user views the floating image 3 from the direction of arrow A, the floating image 3 is viewed as a bright image, but when viewed by another person from the direction of arrow B, for example, the floating image 3 appears bright in the air. Floating image 3 cannot be viewed as an image at all. Such characteristics of the floating image 3 are very suitable for use in systems that display images that require high security or highly confidential images that should be kept secret from the person directly facing the user.
  • the polarization axes of the reflected image light may become uneven. In this case, some of the image light whose polarization axes are not aligned is reflected by the polarization separation member 101 described above and returns to the image display device 10. This part of the image light is re-reflected on the image display surface of the liquid crystal display panel 11 constituting the image display device 10 and generates a ghost image. This may become a factor causing deterioration in the image quality of the spatial floating image 3.
  • an absorption type polarizing plate 12 is provided on the image display surface of the image display device 10.
  • the absorption type polarizing plate 12 transmits the image light emitted from the image display device 10 through the absorption type polarizing plate 12, and absorbs the reflected light returning from the polarization separation member 101 with the absorption type polarizing plate 12. , re-reflection can be suppressed. Therefore, according to this embodiment using the absorptive polarizing plate 12, deterioration in image quality due to ghost images of the spatially floating image 3 can be prevented or suppressed.
  • the above-mentioned polarized light separation member 101 may be formed of, for example, a reflective polarizing plate or a metal multilayer film that reflects a specific polarized wave.
  • FIG. 3B shows an example of the configuration of the retroreflective member 2 used in the first method.
  • FIG. 3B shows the surface shape of a retroreflective member manufactured by Nippon Carbide Industries Co., Ltd. used in this study as a typical retroreflective member 2.
  • This retroreflective member 2 has regularly arranged hexagonal columnar retroreflective parts (retroreflective elements) 2a on its surface. The light rays incident on the inside of the hexagonal prism are reflected by the walls and bottom of the hexagonal prism, and are emitted as retroreflected light in the direction corresponding to the incident light, creating a real image of space based on the image displayed on the image display device 10. Display floating image 3.
  • the resolution of this spatially floating image 3 depends not only on the resolution of the liquid crystal display panel 11 but also on the outer shape D and pitch P of the retroreflective portion 2a of the retroreflective member 2 shown in FIG. 3(B).
  • the resolution of the spatial floating image 3 is reduced to about 1/3.
  • the diameter D and pitch P of the retroreflective portion 2a close to one pixel of the liquid crystal display panel 11.
  • the pitch ratio of each of them it is preferable to design the pitch ratio of each of them to be outside an integral multiple of one pixel.
  • the shape is preferably arranged so that none of the sides of the retroreflective part 2a overlaps any one side of one pixel of the liquid crystal display panel 11.
  • this method is a method in which the retroreflective parts 2a are aligned and shaped on the film.
  • a reverse shape of the shape to be shaped is formed on the surface of the roll, an ultraviolet curing resin is applied on the base material for fixation, and the resin is passed between the rolls to form the required shape. is irradiated and cured to obtain a retroreflective member 2 having a desired shape.
  • FIG. 4 shows another example (second method) regarding the formation of the space floating image 3 and the configuration of the retroreflective member in the space floating image information display system of this embodiment.
  • FIG. 4A shows an outline of the formation of the spatially floating image 3 using the retroreflective member 330 in the second method.
  • Light from an object P (corresponding point P) in one space (in this example, the space below in the Z direction) with respect to the retroreflective member 330 enters the retroreflective member 330 and is retroreflected.
  • a spatial floating image 331 (corresponding point Q) is formed in the other space (in this example, the upper space in the Z direction).
  • FIG. 4B shows a surface shape for explaining the operating principle of a retroreflective member manufactured by Asukanet Co., Ltd. used in this study as a typical retroreflective member 330.
  • the retroreflective member 330 has a regularly arranged four-sided structure (in other words, a tetrahedron) 330A on its surface (XY plane in the figure).
  • a plurality of structures 330A are arranged between the side walls 330B.
  • the four-sided structure 330A is, for example, a micromirror having a quadrangular prism shape extending in the Z direction.
  • light from an object P also referred to as object light
  • the light beam incident on the inside of the four-sided structure 330A is reflected by two surfaces (for example, the reflective surface RS1 and the reflective surface RS2) among the wall surfaces of the four-sided structural body 330A.
  • the reflected light rays (both the light rays emitted upward from the reflective surface RS1 and the light rays emitted upward from the reflective surface RS2) are shown as reflected light R0.
  • the reflected light R0 is emitted as retroreflected light in a direction corresponding to the incident light, and forms and displays a spatially floating image 331, which is a real image based on the object P, as shown in FIG. 4A.
  • the resolution of this spatially floating image 331 is also determined by the outer shape (diameter) DS and pitch of the retroreflective part (four-sided structure 330A) of the retroreflective member 330, as in the case of the retroreflective member 2 of the first method shown in FIG. Much depends on PT. For example, when using a 7-inch WUXGA (1920 x 1200 pixels) liquid crystal display panel, even if one pixel (one triplet) is approximately 80 ⁇ m, the outer diameter (DS) of the retroreflective part is 120 ⁇ m and the pitch is If PT is 150 ⁇ m, one pixel of the spatial floating image 331 corresponds to 150 ⁇ m. Therefore, the effective resolution of the spatially floating image 331 is reduced to about 1/2.
  • the diameter DS and pitch PT of the retroreflective portion (structure 330A) close to one pixel of the liquid crystal display panel. It will be done.
  • the pitch ratio of each of them it is preferable to design the pitch ratio of each of them to be outside an integral multiple of one pixel as described above.
  • the shape is preferably arranged so that no side of the retroreflective portion (structure 330A) overlaps any side of one pixel of the liquid crystal display panel.
  • the light forming the floating image 331 is a collection of light rays that converge from the retroreflective member 330 to the optical image of the floating image 331, and these rays continue to travel straight even after passing through the optical image of the floating image 331. do. Therefore, the spatially floating image 331 is a highly directional image, unlike the diffused image light formed on a screen by a general projector or the like.
  • the spatial floating image 331 when the user views the spatial floating image 331 from the direction of arrow A, the spatial floating image 331 is viewed as a bright image; however, when another person views from the direction of arrow B, for example, the spatial floating image 331
  • the floating image 331 cannot be visually recognized as an image at all.
  • the characteristics of such a floating image 331 are similar to the above-mentioned floating image using the retroreflective member 2 of the first method, and are suitable for images that require high security or confidentiality that should be kept secret from the person directly facing the user. This is very suitable for use in systems that display high-quality images.
  • the light from the object P enters the retroreflective member 330 from one side (lower side in the Z direction), as shown in FIG. 4(B). , is reflected by two reflecting surfaces (RS1, RS2) provided on the four walls of the retroreflective member 330, and is reflected as reflected light R0 at the position of point Q on the other side (upper side in the Z direction). , a spatial floating image 331 is formed.
  • extraordinary light R1, R2 is generated as light whose reflection direction is different from that of the reflected light R0.
  • ghost images 332 and 333 as shown in FIG. 4A are generated by the extraordinary lights R1 and R2 generated by the two reflecting surfaces (RS1 and RS2). Therefore, the ghost images 332 and 333 can become a factor that causes the image quality of the spatially floating image 331 to deteriorate.
  • the retroreflective member 330 of the second method As described above, in the retroreflective member 2 of the first method, a ghost image is generated depending on the number of reflective surfaces. In contrast, in the retroreflection member 330 of the second method, ghost images are generated only in two specific directions depending on the incident angle of the object light. Therefore, the retroreflective member 330 of the second method is less affected by ghost images and can display high-quality spatial images. Therefore, the following description will focus on the case where the retroreflective member 330 of the second type is applied to the space floating video display device and the space floating video information display system.
  • FIG. 5 shows a specific method and a configuration example of applying the above image light control sheet to a spatially floating image display device.
  • an image light control sheet 334 is provided on the output surface of a liquid crystal display panel 335, which is an image display element.
  • the output surface of the liquid crystal display panel 335 is shown as a plane (XY plane) formed by the illustrated X axis and Y axis.
  • the image light control sheet 334 has a transmitting portion and a light absorbing portion on the main surface (XY plane).
  • moiré may occur due to interference due to the pitch between the pixels of the liquid crystal display panel 335 and the transmitting portion and light absorbing portion of the image light control sheet 334.
  • the following two methods are effective.
  • the ratio (B/A) of these is set to a value other than an integral multiple. Select the value.
  • One pixel of the liquid crystal display panel 335 is made up of sub-pixels of three colors RGB arranged in parallel and is generally square, so the occurrence of the above-mentioned moiré cannot be suppressed over the entire screen. Therefore, the inclination ⁇ 0 shown in the first method (1) is set within the range of 5 degrees to 25 degrees so that the moire generation position can be intentionally shifted to a place where the spatial floating image is not displayed. Just optimize it.
  • the liquid crystal display panel and the image light control sheet 334 have been described, but when the image light control sheet 334 is provided on the retroreflective member 330, the difference between the retroreflective member 330 and the image light control sheet 334 Similar methods and configurations can be applied to moiré that occurs between images. Since the retroreflective member 330 and the image light control sheet 334 are both linear structures, the image light control sheet 334 can be tilted optimally by focusing on the X-axis and Y-axis of the retroreflector 330. . This makes it possible to reduce large-sized moiré with long wavelengths and low frequencies that can be visually recognized.
  • FIG. 6A shows a vertical cross-sectional view of the video display device 10 having a configuration in which the video light control sheet 334 is disposed on the video light output surface 3351 of the liquid crystal display panel 335.
  • the image light control sheet 334 has light transmitting portions 336 and light absorbing portions 337 arranged alternately on the main surface, and is adhesively fixed to the image light emitting surface 3351 of the liquid crystal display panel 335 by an adhesive layer 338. There is.
  • the pitch B of the image light control sheet 334 is set to 340 ⁇ m, where the distance d2 of the transmitting portion 336 is 300 ⁇ m and the distance d1 of the light absorbing portion 337 is 40 ⁇ m.
  • ghost images can be reduced by controlling sufficient transmission characteristics and diffusion characteristics of the image light from the image display device 10, which causes abnormal light, using the image light control sheet 334.
  • the thickness of the image control sheet 334 is set to 2/3 or more of the pitch B, the ghost reduction effect is greatly improved.
  • FIG. 6B shows a vertical cross-sectional view of a configuration in which an image light control sheet 334 is disposed on the image light exit surface of the retroreflective member 330 (FIG. 4).
  • the image light control sheet 334 is composed of light transmitting parts 336 and light absorbing parts 337 arranged alternately, and has a predetermined inclination angle ⁇ 1 with respect to the retroreflective member 330 in accordance with the emission direction of the retroreflected light 3341. It is arranged at an angle.
  • the image light control sheet 334 absorbs the abnormal lights R1 and R2 ((B) in FIG. 4) generated due to the above-mentioned retroreflection, while the normal reflected light is lost as retroreflection light 3341. It can be passed through without any problem.
  • a space 3301 corresponding to the retroreflection section is divided by the surface of the side wall 330B.
  • the interior of the space 3301 includes, for example, a reflective surface R1 and a reflective surface R2.
  • Light a1 incident on the retroreflective member 330 from, for example, the lower side is reflected, for example, by the reflective surface R1 of the space 3301, and the reflected light a2 is further reflected, for example, by the reflective surface R2, and is reflected from the upper side of the retroreflective member 330. emitted to.
  • the emitted light enters the image light control sheet 334 and is emitted as retroreflected light 3341.
  • the pitch B of the image light control sheet 334 is such that the distance d2 of the transmitting portion 336 of the retroreflective member 330 is 400 ⁇ m, and the distance d1 of the light absorbing portion 337 is 20 ⁇ m.
  • the pitch B is 420 ⁇ m.
  • the image light control sheet 334 can control sufficient transmission characteristics and the diffusion characteristics of the image light from the image display device 10, which causes abnormal light to occur in the retroreflection member 330, and reduce ghost images.
  • the above-mentioned image light control sheet 334 also prevents external light from entering the space-floating image display device, leading to improved reliability of the component parts.
  • a viewing angle control film (VCF) manufactured by Shin-Etsu Polymer Co., Ltd. is suitable.
  • the structure of the VCF is a sandwich structure in which transparent silicon and black silicon are arranged alternately, and a synthetic resin is arranged on the light input/output surface. Therefore, when this VCF is applied as the image light control sheet 334 of this embodiment, the above-mentioned effects can be expected.
  • a user (sometimes referred to as a user, an operator, etc.) is bidirectionally connected to the system via a space floating image 3 (see FIG. 2, etc.) provided by the space floating image information display system 1.
  • the user uses the system's applications (for example, the ticket sales function of the kiosk terminal) by viewing and operating the spatial floating image 3.
  • a sensing technique is required that allows the user to simulate the spatial floating image 3 and sense the operation.
  • the "sensing technology” here includes the aerial operation detection sensor 1351 and the aerial operation detection unit 1350 described using FIG. This is the technology of The aerial operation detection sensor 1351 and the aerial operation detection unit 1350 may be referred to as a sensing system.
  • FIG. 7(A) shows a principle diagram for explaining the first sensing technology.
  • the sensing areas a0, a1, a2, and a3 for the spatial floating image FI are each divided into a plurality of areas (in other words, regions).
  • the plane of the spatially floating image FI is shown as an xy plane, and the front and rear directions with respect to the plane are shown as the z direction.
  • the illustrated area A301 is one area at the upper left of the sensing surface a3.
  • a first ranging device 340 that includes a TOF (Time of Flight) system corresponding to each area of the floating image FI.
  • the first distance measuring device 340 is provided in place of the aerial operation detection sensor 1351 in FIG.
  • a light emitting unit of the first ranging device 340 causes a near-infrared light emitting diode (LED), which is a light source, to emit light in synchronization with a system signal.
  • An optical element is installed on the light emitting side of the LED to control the divergence angle, and a pair of highly sensitive avalanche diodes (ABD) with picosecond time resolution are used as light receiving elements to correspond to 12 areas. , are arranged in 4 columns and 3 rows.
  • the LED that is the light source emits light in synchronization with the signal from the system, and the time it takes for the light to reflect on the object to be measured (in this case, the tip of the user's finger UH) and return to the light receiving unit.
  • a phase shift phase shift
  • a time shift between the light emission timing and the light reception timing more specifically, ⁇ t0 to ⁇ t11 in FIG. 9, which will be described later, occurs.
  • the arithmetic unit of the sensing system shown in FIG. By calculating the shift, the distance to the object is calculated. The distance is calculated for each TOF system (TOF1 to TOF12) associated with each area.
  • TOF1 to TOF12 TOF1 to TOF12
  • the distance L1 is the distance to the sensing surface a0
  • the distance L2 is the distance to the sensing surface a1
  • the distance L3 is the distance to the sensing surface a2
  • the distance L4 is the distance to the sensing surface a1.
  • the sensing system recognizes which of the 12 areas it has passed in each measurement layer (sensing surfaces a3 to a1), and performs each measurement. By calculating the travel time between layers using the method described above, it can be recognized as a system.
  • FIG. 9A shows the timing of light emission from the LED light source and the timing of light reception by the light receiving element for each of the 12 measurement areas.
  • SU1 to SU12 indicate the light emission timing and light reception timing for each sensing unit associated with each area and TOF.
  • the sensing unit SU1 the time difference between the light emission timing and the light reception timing is ⁇ t0
  • the sensing unit SU2 the time difference between the light emission timing and the light reception timing is ⁇ t1
  • the sensing system standardizes individual data by delaying the timing of LED light emission for each of the 12 measurement areas.
  • the sensing system sends a first sensing signal S1 sensed, for example, in an area A301 on the sensing surface a3 farthest from the floating image FI, and a second sensing signal S2 sensed, for example, in a specific area of the sensing surface a2, for example.
  • a third sensing signal S3 sensed in a specific area of the third sensing surface a1 is obtained.
  • the sensing system uses these sensing signals (S1 to S3) to calculate and calculate the position of the point of contact with the spatially floating image FI based on the movement direction of the hand UH and the time difference in crossing each sensing surface.
  • a sensing surface a0 is set at a position far away from the spatially floating image FI. Based on the sensing on the sensing surface a0, the sensing system detects the passage of the hand UH through the spatially floating image FI as an end signal, and also uses the sensing position coordinates and the two sensing signals described above to determine the spatial The point of contact with the floating image FI is determined as three-dimensional coordinates.
  • FIG. 7 shows the operation of selecting a part of the floating image FI with the user's finger UH (particularly the tip of the finger) and the operation of moving the user's finger UH away from a part of the floating image FI. show.
  • the sensing system uses the third sensing signal S3 sensed by the third sensing surface a3 and the second sensing signal S2 sensed by the second sensing surface a2 to further detect the first sensing signal S3 sensed by the first sensing surface a1.
  • the sensing signals S1 are sequentially transmitted to a calculation unit of the sensing system for calculation processing. As a result, the system recognizes that the user's finger UH has moved away from the specific coordinates of the floating image FI.
  • FIG. 8(A) shows a principle diagram for explaining the second sensing technology.
  • the first distance measuring device 340 and the second distance measuring device 341 may be installed together.
  • a second distance measuring device 341 (particularly a CMOS sensor) is used as a second sensing system in combination with the first sensing system.
  • the second range finder 341 senses the same range as the first range finder 340 (sensing surfaces a1, a2, a3, a0).
  • the first ranging device 340 has a built-in TOF system corresponding to each of the plurality of areas divided into, for example, 12 areas in the floating image FI (see (B) in FIG. 8). first sensing system).
  • the second distance measuring device 341 applies a two-dimensional image sensor, for example, a 1/4 inch CMOS sensor for sensing camera use.
  • the aspect ratio of this CMOS sensor is generally 3:4. Therefore, in this embodiment, in accordance with the aspect ratio of the CMOS sensor, the TOF system of the first distance measuring device 340 also divides the sensing area into 3 vertically and 4 horizontally as described above, for a total of 12 areas. There is.
  • CMOS sensor can provide sufficient resolution at around 1 million pixels, unlike a normal camera system, there is no need to provide an RGB color separation filter. Therefore, a CMOS sensor not only can be smaller and have higher sensitivity with the same number of pixels, but also has higher sensitivity to near-infrared light. Therefore, in the second sensing technology, the object to be ranged (the tip of the finger UH) is illuminated by the light source light of the TOF system of the first range finder 340 at a timing determined for each area, so the detection Accuracy is greatly improved.
  • FIG. 9B shows the system described above as a functional block diagram.
  • FIG. 8B shows sensing surfaces a1, a2, a3 by the first distance measuring device 340 and sensing surfaces b1, b2, b3 by the second distance measuring device 341, which are provided correspondingly. , is shown.
  • FIG. 8B shows an operation of selecting a part of the spatially floating image FI and an operation of moving away from the part using the hand and finger UH on those sensing surfaces.
  • the floating image information display system using the second sensing technology when the user intentionally extends his/her finger UH toward the floating image FI, the following occurs. Become. In this case, in addition to the three-dimensional information obtained by the first distance measurement device 340 described above, three-dimensional information obtained by the second distance measurement device 341 is obtained.
  • the plane resolution of the sensing surface b3 of the second distance measuring device 341 corresponding to the sensing surface a3 of the first distance measuring device 340 that is farthest from the airborne image FI is high precision according to the resolution of the CMOS sensor used. can be converted into Similarly, sensing surface b2 corresponds to sensing surface a2, and sensing surface b1 corresponds to sensing surface a1. This makes it possible to realize a sensing system with significantly improved resolution in the planar direction.
  • the moving direction of the object (the tip of the user's finger UH) can be determined from the time difference in crossing the sensing surfaces of the first distance measuring device 340 and the second distance measuring device 341.
  • the position of the contact point is obtained through calculation processing.
  • a sensing surface a0 is set far away from the spatial floating image FI.
  • the sensing system detects the passage of the hand UH through the floating image FI as an end signal, and determines the point of contact with the floating image FI from the position coordinates on the sensing surface a0 and the two sensing signals described above. It can be calculated as three-dimensional coordinates with higher precision.
  • the resolution increases because the amount of plane information captured per unit time increases. is significantly improved.
  • the detection information obtained by the second sensing technique is systematized with the position information obtained by the first sensing technique by a synchronization signal supplied from the system.
  • the system when the user returns the finger UH after touching the desired position coordinates of the spatially floating image FI, the The third sensing signal S3 sensed by the three sensing surfaces a3, the second sensing signal S2 sensed by the second sensing surface a2, and the first sensing signal S1 sensed by the first sensing surface a1 are sequentially sensed. It is communicated to the computing unit of the system. Then, through calculation processing in the arithmetic unit, the system recognizes that the user's finger UH has moved away from the specific coordinates of the spatially floating image FI.
  • the LED light source used in the TOF sensor of the first distance measuring device 340 of the sensing system described above prevents the accuracy of the distance measuring device from decreasing due to external light such as sunlight, and can be used in the visible light range (380 nm to 780 nm) that cannot be seen with the naked eye. ) It is preferable to use near-infrared light, which has high energy in the region exceeding .
  • FIG. 10 shows a characteristic diagram of the spectral irradiance of sunlight.
  • the wavelength of the light source light of the LED of the TOF sensor it is preferable to use light with a wavelength ⁇ 1 of 920 nm, which has less energy in the spectral irradiance of sunlight shown in FIG.
  • the space-floating video information display system can draw a line segment connecting these two points as an image on the surface of the space-floating video based on the detection information of the contact point position and separation position.
  • lines such as characters are input and displayed by detecting the movement of the user's fingers, or in other words, the movement of the position of the contact points, on the surface of the spatially floating image. be able to.
  • a spatially floating video information display system detects the point of contact between a spatially floating video and a user's fingertip, and then the fingertip moves to another position within the plane, and at that point, the fingertip moves away from the spatially floating video. Detect separation and departure points. This makes it possible to draw, for example, figures such as line segments and curves, or characters such as alphabets and numbers on the surface of the spatially floating image. As a result, it is possible to input figures and characters on the surface of the floating image in the same way as drawing figures and characters on the surface of a liquid crystal display with a touch panel.
  • the spatial floating video information display system uses sensing technology to sample the movement of the user's fingertip relative to the spatial floating video at predetermined time intervals (for example, 100 milliseconds), and connects each sampling point. Draw a line on a floating image like this.
  • time intervals for example, 100 milliseconds
  • the system first detects and draws a vertical line (first line) due to continuous finger contact with the surface of the spatially floating image.
  • the system detects that the user has once removed his finger from the surface and then touched the finger again at another position, and detects and draws a horizontal line (second line).
  • the system detects that the user removes his finger from the surface and touches it again at another location, and detects and draws a vertical line (third line).
  • the letter H can be drawn on the surface of the spatial floating image.
  • FIG. 12 shows an explanatory diagram of a technique for inputting and drawing images such as characters and figures using the user's fingers on the above-mentioned spatial floating image.
  • FIG. 12 shows a schematic diagram of the spatial floating image FI displayed by the spatial floating image information display system 1 as viewed from the user's viewpoint.
  • the floating image FI is arranged obliquely with respect to the horizontal plane of the system casing 1201, and the floating image FI is viewed slightly diagonally downward from the user's viewpoint.
  • the spatially floating image FI includes a display of a rectangular frame 1202 (note that this is not a frame-shaped device). Initially, frame 1202 is displayed in a predetermined color (for example, green), and only a predetermined background color is displayed within frame 1202.
  • a predetermined color for example, green
  • FIG. 12 shows how the alphabet L is drawn, as an example of a simple character, on the floating image FI surface by the fingertips UF of the user's fingers.
  • the user conveys his or her intention to draw characters to the spatial floating video information display system 1 by some method.
  • a character input button 1203 as a physical push button is provided at an arbitrary location on the floating video information display system 1, in this example, at the lower right position on the housing 1201.
  • the character input button 1203 assumes that the user intends to input characters into the floating image FI, and enters a mode for inputting and drawing into the floating image FI (also referred to as character input mode). Transition.
  • a character input button may be displayed as a user interface in a part of the spatial floating image FI provided by the spatial floating image information display system 1.
  • the system similarly transitions to a mode for inputting and drawing on the floating image FI.
  • the spatial floating video information display system 1 changes the entire screen of the spatial floating video FI to, for example, a white display. Further, in the character input mode, the system changes the frame 1202 of the spatial floating image FI to a predetermined color, for example, red.
  • the system three-dimensionally senses the movement and contact position of the user's finger UF with respect to the surface of the spatial floating image FI as described above. Then, based on the sensing, the system draws the contact position corresponding to the movement of the finger UF on the surface of the floating image FI in a predetermined color different from the white background, such as black or blue. As a result, the trajectory of the movement of the finger UF is drawn as a line on the white background surface of the floating image FI. This allows the user to draw desired characters or figures while looking at the lines drawn by the user in the floating image FI.
  • the system operates in a state in which the finger UF is not in contact with the surface of the spatially floating image FI (in other words, a state in which the fingertip is in front of the surface) and in a state in which the finger UF is in contact with the surface of the spatially floating image FI (in other words, the fingertip is in front of the surface).
  • the display is controlled so that the display state of the spatial floating image FI differs depending on the state in which the fingertip is inserted deep into the surface. Thereby, the user can more easily recognize whether or not his or her finger UF is touching the surface of the floating image FI.
  • step S121 the user inserts the finger UF in the back direction at an arbitrary position on the spatial floating image FI (in other words, maintains contact).
  • step S122 the user moves the finger UF downward on the floating image FI while keeping it in contact with the finger UF.
  • the downward arrow indicates the direction of movement of the finger UF (downward along the plane).
  • the system draws a vertical line (first line) 1211 of the letter L as part of the spatial floating image FI.
  • step S122 shows a state in which the finger UF has reached the lower terminal position of the first vertical line 1211. Up to this point, the first vertical line 1211 has been drawn. In this state, the contact of the fingers UF is maintained.
  • step S123 the user moves the finger UF to the right from the time when the first line 1211 is drawn. Upon detection of this movement, the system draws a horizontal line (second line 1212) of the letter L. The position of the finger UF has reached the right end position of the second horizontal line 1212.
  • step S124 the user moves the finger UF located at the right end position of the second line 1212 away from the surface of the spatially floating image FI.
  • the system detects this separation of the finger UF and concludes drawing of the second line 1212.
  • the user can draw the letter L on the floating image FI with a single stroke.
  • the character input button 1203 When the user presses the character input button 1203 to enter the character input mode, not only the entire screen (background surface) of the spatial floating image FI changes to white, but also the frame 1202 of the spatial floating image FI changes to white. For example, it changes from green to red. This is preferable because the user can easily recognize that the mode is character input mode. Furthermore, when the user wants to end the character input mode, the user only has to press the character input button 1203 again. In that case, the system exits the character input mode and returns to the original mode. In the above example, it is assumed that the entire screen of the spatially floating image FI changes to white, but the color is not limited to this, and a color other than white, for example, black or another color may be used.
  • the frame 1202 of the spatial floating image FI may change to red, for example.
  • the user can recognize that his or her finger is in contact with the surface of the spatially floating image FI and can draw characters.
  • the user can input and draw desired characters, figures, etc. as an image of the floating image FI.
  • the frame 1202 of the spatially floating image FI may also have a color other than red, for example, blue or another color.
  • the area where images such as figures and characters can be input and drawn is the entire screen of the floating image FI.
  • the area where images can be input and drawn may be a predetermined part of the screen of the floating image FI.
  • the user can not only use the floating image FI as a user interface for operation menus, etc., but also in the above character input mode, the user can write his or her fingers (or a pen made of conductive material, etc.) on the floating image FI. ) allows you to input and draw arbitrary characters and figures. This is preferable because the range of application of the spatially floating image and the spatially floating image display device can be further expanded than in the past.
  • FIG. 13(A) shows a main part configuration of a spatially floating video information display system 1 according to an embodiment.
  • 13B is an enlarged view of the lenticular lens 1103 disposed on the image light output side of the image display device 10 shown in FIG. 13A, that is, on the image light output side of the display panel 11.
  • the spatial floating video information display system 1 shown in FIG. 13A is a system suitable for a user who is a supervisor to observe the spatial floating video 3 from diagonally above. In the coordinate system (X, Y, Z) in (A) of FIG.
  • the casing 350 of the space floating video information display system 1 is placed on a horizontal plane (XY plane), and the space floating video 3 is It is formed to be slightly inclined in the front-rear direction (Y direction) with respect to the vertical direction (Z direction).
  • the viewpoint E is aligned with the optical axis J2 and in the Y direction with respect to the surface of the spatially floating image 3, as shown in the figure. It is placed at a slight angle.
  • the user can suitably view the spatial floating image 3 with a slightly downward line of sight in the Y direction from the viewpoint E.
  • FIG. 13B is a view seen from the opposite direction to the direction of light emitted from the liquid crystal panel.
  • the lenticular lens 1103 is arranged substantially parallel to or in parallel with the light emitting surface of the liquid crystal panel, and on the side of the image light emitted from the liquid crystal panel surface. Furthermore, the semicylindrical semicylindrical portions of the lenticular lens are arranged vertically when viewed from the XZ plane. Note that the above coordinate system is common in FIGS. 13(A) and 13(B).
  • the video display device 10 and the like are arranged in a predetermined positional relationship.
  • the upper surface (XY plane) of the housing 350 is an opening, and the retroreflective member 330 is arranged at a predetermined angle ⁇ 1.
  • the optical axis J1 of the video display device 10 faces diagonally upward at a predetermined angle ⁇ 1 with respect to the Y direction.
  • the video display device 10 includes a liquid crystal display panel 11 as a video display element, and a light source device 13 that generates light of a specific polarization having narrow-angle diffusion characteristics.
  • the liquid crystal display panel 11 is applicable to a screen size ranging from a small screen size of about 5 inches to a large screen size exceeding 80 inches, and is configured with a panel selected from these.
  • Image light from the liquid crystal display panel 11 is emitted toward a retroreflective member 330 (also referred to as a retroreflector or retroreflector) on the optical axis J1.
  • a retroreflective member 330 also referred to as a retroreflector or retroreflector
  • an image light beam ⁇ 1 with a narrow divergence angle is generated.
  • the image light beam ⁇ 1 having a narrow divergence angle is made to enter the retroreflective member 330 from below in the Z direction along the optical axis J1.
  • an image light beam ⁇ 2 with a narrow divergence angle is generated upward in the Z direction with respect to the retroreflection member 330 in the direction of the optical axis J2, according to the principle explained in FIG. 4 above.
  • Ru A spatial floating image 3 (a spatial floating image 331 in FIG. 4) is obtained at a predetermined position outside the housing 350 by the image light flux ⁇ 2.
  • the optical axis J2 faces diagonally upward at a predetermined angle ⁇ 2 with respect to the Y direction.
  • the spatial floating image 3 is formed at a symmetrical position of the image display device 10 with the retroreflective member 330 as a plane of symmetry.
  • the surface of the image display device 10 and the surface of the space-floating image 3 are arranged at approximately symmetrical or symmetrical positions with respect to the surface of the retroreflective member 330 that is arranged diagonally.
  • r2 indicates the center position corresponding to the optical axis J2
  • r1 indicates the lower end position corresponding to the lower end ray of the image beam ⁇ 2
  • r3 corresponds to the upper end ray of the image beam ⁇ 2. Indicates the top position.
  • a control sheet 334 (details shown in FIGS. 5 and 6A) is provided. This controls the diffusion characteristics in unnecessary directions.
  • the image light from the liquid crystal display panel 11 can theoretically have a high reflectance at reflective members such as the retroreflective member 330, so the image light is S-polarized (the electric field component is perpendicular to the plane of incidence). It is recommended to use electromagnetic waves (S stands for senkrecht).
  • S stands for senkrecht
  • the illustrated depolarization element 339 is provided as an element that optically converts a part of the image light of a specific polarization into the other polarization and pseudo-converts it into natural light.
  • a depolarization element 339 is arranged on the output side of the image light control sheet 334.
  • the depolarization element 339 Commercially available products of the depolarization element 339 include Cosmoshine SRF (manufactured by Toyobo Co., Ltd.) and Depolarization Adhesive (manufactured by Nagase Sangyo Co., Ltd.).
  • Cosmoshine SRF manufactured by Toyobo Co., Ltd.
  • Depolarization Adhesive manufactured by Nagase Sangyo Co., Ltd.
  • a depolarizing adhesive manufactured by Nagase Sangyo Co., Ltd.
  • it is used by bonding a colorless transparent plate and an image display device via the depolarizing adhesive.
  • an image light control sheet 338B (similar to the image light control sheet 338, detailed above in FIG. 6B) is also provided on the image exit surface of the retroreflection member 330.
  • ghost images 332 and 333 (FIG. 4) generated on both sides of the normal image of the spatially floating image 3 due to unnecessary light are erased.
  • the retroreflective member 330 is tilted at a predetermined angle ⁇ 1 with respect to the horizontal axis (Y direction), and the spatial floating image 3 is tilted with respect to the horizontal axis (in particular, at an angle closer to the vertical plane than the horizontal plane).
  • the structure is such that the image is generated diagonally).
  • the arrangement is not limited to this, and the position and inclination of the spatially floating image 3 can be designed by changing the arrangement of the constituent elements.
  • a first distance measuring device 340 (FIG. 7) is attached to a predetermined position of the housing 350. That is, this system is equipped with sensing technology similar to that shown in FIG. This allows the system to allow the user to access and interact with the floating image 3.
  • the first sensing system including the first distance measuring device 340 detects the state of the operation of the user's hand or finger on the spatially floating image 3.
  • a second sensing system including a second distance measuring device 341 may be added.
  • the mounting position and viewing angle ⁇ 3 of the first distance measuring device 340 may be appropriately selected so as to sufficiently cover the size of the spatially floating image 3.
  • the first distance measuring device 340 is located on the back side of the housing 350 in the Y direction (the back side with respect to the positions of the user and the floating image 3), on the extension of the slope of the retroreflective member 330. , and is mounted at a slightly distant position as shown in the figure so as not to block the image beam of image light.
  • the viewing angle ⁇ 3 (range from the upper end A to the lower end B) of the first distance measuring device 340 is defined by the entire spatial floating image 3 and the user who views it from the viewpoint E at the reference position (directly facing position).
  • the viewing angle is wide enough to cover areas including the face.
  • the viewing angle ⁇ 3 includes the viewing angle ⁇ 2 that captures the entire spatial floating image 3.
  • the viewing angle ⁇ 2 corresponds to the sensing surfaces a0, a1, a2, and a3 in FIG. 7, for example.
  • the TOF sensor of the first ranging device 340 uses a ranging system in which the sensing surface of the spatially floating image 3 is divided into a plurality of areas, as shown in FIG. 7 (or FIG. 8). This increases the resolution of each sensing area. Furthermore, when using the second sensing technique using a CMOS sensor as shown in FIGS. 8 and 9B, detection accuracy can be further improved.
  • a light source that emits visible light having a narrow-angle directional characteristic is used as the light source device 13, and the first distance measuring device 340 (and the second distance measuring device 341) is housed in a housing. 350 side, at a position outside of the narrow-angle image light beam. Further, the second distance measuring device 341 may be arranged. This makes it possible to eliminate an adverse effect on the sensing accuracy of the image light forming the spatially floating image 3.
  • a lenticular lens 1103 is arranged on the image light output side of the liquid crystal display panel 11 (the position shown by diagonal lines). More specifically, the lenticular lens 1103 is arranged on the image light output side of the liquid crystal display panel 11 so as to be oriented as shown in FIG. 13(B).
  • the user can move in the direction in which the semicylindrical lenses (semi-cylindrical lenses) that form the lenticular lens are lined up, and the user can It becomes possible to view different images (or videos) from different positions.
  • the spatially floating image 3 is a real image formed at a symmetrical position of the image display device 10 or the liquid crystal display panel 11 with the retroreflective member 330 as a symmetrical plane.
  • the image 3 can be viewed as a stereoscopic image with motion parallax. That is, according to the above configuration in which the lenticular lenses are arranged, it is possible to display the spatial floating image 3 not simply as a two-dimensional image displayed on the liquid crystal display panel 11, but as a three-dimensional image with motion parallax. .
  • FIG. 14A shows another embodiment of the spatially floating video information display system.
  • 14B is an enlarged view of the lenticular lens 1103 disposed on the image light output side of the image display device 10 shown in FIG. 14A, that is, on the light output side of the display panel 11.
  • the casing 350 of the space floating video information display system 1 is placed on a horizontal plane (XY plane), and the space floating video 3 is It is formed to be slightly inclined in the front-rear direction (Y direction) with respect to the vertical direction (Z direction).
  • the viewpoint E When viewing the surface of the spatially floating image 3 directly from the user's viewpoint E, the viewpoint E is aligned with the optical axis J2 and in the Y direction with respect to the surface of the spatially floating image 3, as shown in the figure. It is placed at a slight angle. The user can suitably view the spatial floating image 3 with a slightly downward line of sight in the Y direction from the viewpoint E.
  • the lenticular lens 1103 is arranged substantially parallel to or parallel to the light exit surface of the liquid crystal panel, and on the side of the image light emitted from the liquid crystal panel. Furthermore, the semicylindrical semicylindrical portions of the lenticular lens are arranged vertically when viewed from the XZ plane. Note that the above coordinate system is common in FIGS. 14(A) and 14(B).
  • the video display device 10 Inside the housing 350, the video display device 10, a mirror 360, etc. are arranged in a predetermined positional relationship.
  • the opening of the casing 350 in this example, the opening having a surface that stands roughly vertically (XZ plane) has a predetermined angle ⁇ 1 (a slightly downwardly inclined angle) with respect to the Z direction.
  • a retroreflective member 330 is arranged.
  • Mirror 360 is a plane mirror.
  • the image light from the image display device 10 is reflected by the mirror 360 and then enters the retroreflective member 330.
  • the housing 350 has a portion that projects upward in the Z direction, and the video display device 10 is disposed within that portion.
  • the optical axis J1 of the video display device 10 is directed downward in the Z direction, toward the back in the Y direction, and diagonally downward at a predetermined angle ⁇ 1 with respect to the Z direction.
  • the video display device 10 includes a liquid crystal display panel 11 as a video display element, and a light source device 13 that generates light of a specific polarization having narrow-angle diffusion characteristics.
  • the liquid crystal display panel 11 is applicable to a screen size ranging from a small screen size of about 5 inches to a large screen size exceeding 80 inches, and is configured with a panel selected from these.
  • the image light from the liquid crystal display panel 11 is reflected on the optical axis J1 by the mirror 360, which is an optical path folding mirror, and is emitted toward the retroreflector 330 material on the optical axis J1B after the folding.
  • the optical axis J2 faces obliquely upward at a predetermined angle ⁇ 2 with respect to the Y direction (an angle (90 degrees ⁇ ⁇ 2) with respect to the Z direction).
  • the spatially floating image 3 is formed at a roughly symmetrical position with respect to the mirror 360 with the retroreflective member 330 as a plane of symmetry.
  • the image display device 10 is arranged above the spatially floating image 3 in the Z direction.
  • the image light beam enters the retroreflective member 330 obliquely from above and exits obliquely upward, thereby forming the obliquely inclined spatial floating image 3 as shown in the figure.
  • the retroreflective member 330 is attached to the bottom of the housing 350 along the vertical axis ( This can be achieved by arranging it at a predetermined angle ⁇ 1 with respect to the Z direction). Furthermore, as a result of the configuration in which the output axis of the retroreflective member 330 is tilted slightly downward, a floating image 3 in space that may be generated when external light enters the retroreflective member 330 and enters the inside of the casing 350. can prevent image quality deterioration.
  • the second embodiment ((A) and (B) in FIG. 13) and Similarly, in this embodiment, the diffusion characteristics in unnecessary directions may be controlled by providing an image light control sheet 334 ((A) in FIGS. 5 and 6) on the output side of the liquid crystal display panel 11. . Furthermore, by providing an image light control sheet 334B ((B) in FIG. 6) on the image exit surface of the retroreflective member 330, ghost images generated on both sides of the normal image of the spatially floating image 3 due to unnecessary light are erased. You may.
  • the image light from the liquid crystal display panel 11 may use S polarization as in FIG. 13(A), or may use P polarization when compatible with polarized sunglasses.
  • a depolarization element 339 may be provided.
  • the retroreflective member 330 is tilted at a predetermined angle ⁇ 1 with respect to the vertical axis (Z direction), and the spatial floating image 3 is tilted with respect to the horizontal axis (in particular, at an angle closer to the vertical plane than the horizontal plane).
  • the structure is such that the image is generated diagonally).
  • the present invention is not limited to this, and by changing the arrangement of the constituent elements, the position and inclination of the spatially floating image 3 can be designed and adjusted.
  • a first distance measuring device 340 (FIG. 7) is attached to a predetermined position of the housing 350. That is, this system is equipped with sensing technology similar to that shown in FIG. This allows the system to allow the user to access and interact with the floating image 3.
  • the first sensing system including the first distance measuring device 340 detects the state of the operation of the user's hand or finger on the spatially floating image 3.
  • a second sensing system including a second distance measuring device 341 may be added.
  • the mounting position and viewing angle ⁇ 3 of the first distance measuring device 340 may be appropriately selected so as to sufficiently cover the size of the spatially floating image 3.
  • the first distance measuring device 340 is located near the bottom of the casing 350 in front of the retroreflective member 330 in the Y direction, and a little distance away so as not to block the image beam of the image light. position, as shown.
  • the viewing angle ⁇ 3 of the first distance measuring device 340 is a sufficiently wide field of view to cover the entire spatial floating image 3 and the area including the face of the user viewing it from the viewpoint E at the reference position. It is said to be a horn.
  • the viewing angle ⁇ 3 includes the viewing angle that captures the entire spatial floating image 3.
  • a second sensing technique using a CMOS sensor as shown in FIGS. 8 and 9B may also be used.
  • a light source that emits visible light having a narrow-angle directional characteristic is used as the light source device 13, and the first distance measuring device 340 (and the second distance measuring device 341) is housed in a housing. 350 side, at a position outside of the narrow-angle image light beam. This makes it possible to eliminate an adverse effect on the sensing accuracy of the image light forming the spatially floating image 3.
  • a capacitive touch panel 361 may be fixed and disposed between the spatially floating image 3 and the retroreflective member 330 with a support member 362 as shown in the figure.
  • the support member 362 has a frame shape, for example, and supports the touch panel 361 inside.
  • the support member 362 is fixed to the bottom surface of the housing 350, for example.
  • the touch panel 361 is made of a member that transmits image light for forming the spatially floating image 3 and light from the first distance measuring device 340.
  • This touch panel 361 uses a capacitive method to detect the proximity of the user's finger to the surface of the touch panel. Alternatively, the touch panel 361 detects the state of contact of the user's finger with the surface of the touch panel. By using the third sensing technology including this touch panel 361 together with the first sensing technology, detection accuracy can be further improved. Similarly, the size and mounting position of this capacitive touch panel 361 may be selected so as to sufficiently cover the floating image 3 in space.
  • a projected capacitive touch panel 361 that can capture highly accurate position information can be adopted.
  • ITO which is a transparent electrode (Y-axis electrode) having a fine line-to-line distance
  • a copper thin film which is a transparent electrode (X-axis electrode) having a fine line-to-line distance
  • X-axis electrode transparent electrode
  • the change in capacitance is detected by each of the X-axis electrode and the Y-axis electrode, and the relative coordinates of the object can be obtained.
  • the shorter the distance between the lines of the transparent electrodes the higher the resolution can be obtained, so multi-point detection is possible. Therefore, this method also allows simultaneous input with multiple fingers.
  • a lenticular lens 1103 is provided on the image light output side of the liquid crystal display panel 11 (position shown by diagonal lines), similar to the space floating video information display system 1 shown in FIG. 13(A). Deploy. More specifically, as shown in FIG. 14(B), a lenticular lens 1103 is arranged on the image light output side of the liquid crystal display panel 11. With this configuration, the user can recognize the spatial floating image 3 as a stereoscopic image with motion parallax. That is, according to the above configuration in which the lenticular lens 1103 is arranged, it is possible to display a stereoscopic image as the spatial floating image 3 instead of simply a two-dimensional image displayed on the liquid crystal display panel 11.
  • the ability for the user to recognize the spatial floating image 3 as a three-dimensional image is not possible in conventional systems in which the spatial floating image is a two-dimensional plane, especially when the displayed three-dimensional image is a person (particularly a face). , brings new effects.
  • a new feature is that the person (the face) displayed as a floating image will always face the user, regardless of where the user is located in the vicinity of the floating image. It brings about a great effect.
  • the user feels as if the person displayed as a floating image is speaking only to him/her, and the displayed person may, for example, This is particularly suitable for situations where someone is explaining something or providing some kind of assistance like a concierge.
  • a lenticular lens is a collection of semi-cylindrical semi-cylindrical lenses arranged in a predetermined direction, and a multi-view image (or There are liquid crystal panels that display different images corresponding to the number of viewpoints (video).
  • the predetermined direction in this embodiment is the vertical direction.
  • FIG. 15A is a diagram showing the principle for generating a multi-view image using the lenticular lens 1103 in this embodiment.
  • (B) of FIG. 15 is a diagram of the lenticular lens 1103 viewed diagonally from above in order to more clearly show the configuration of the lenticular lens 1103. Note that here, a case of nine viewpoints will be described as a multi-view image.
  • the pixels of the liquid crystal panel 11 form a multi-view image with nine viewpoints, with each group consisting of nine pixels indicated by numbers 1 to 9.
  • the distance between human eyes that is, the distance between pupils
  • the pitch of a lenticular lens that is, the distance of one semi-cylindrical shape
  • the interval is By setting the interval to be approximately equal to half of the distance, that is, approximately 32 mm, the right and left eyes of the observer (user) receive light from different pixels, as shown in (A) of Figure 15. reach. More specifically, light from the image displayed on pixel 6 reaches the viewer's right eye, and light from the image displayed on pixel 4 reaches the viewer's left eye.
  • each pixel displays an image of the same object or person taken from a different perspective. For example, parallax occurs between the observer's eyes. As a result, the viewer can perceive the photographed image as three-dimensional. That is, in (A) of FIG. 15, light from the image displayed on pixel 6 reaches the observer's right eye, and light from the image displayed on pixel 4 reaches the observer's left eye. shows that it will be reached. As mentioned above, by placing a lenticular lens on the light output side of the liquid crystal panel, light from different pixels reaches the right and left eyes of the viewer, allowing the viewer to perceive a three-dimensional image. can do.
  • FIG. 16 is a diagram illustrating an example of an apparatus for capturing an image for producing the above-mentioned motion parallax, that is, a multi-view image.
  • FIG. 16 shows how a person (the face portion of the subject) is photographed from nine different viewpoints. More specifically, as shown in FIG. 16, nine cameras No. 1 to No. 9 are arranged at positions a predetermined distance from the subject and shifted by a predetermined angle from each other to take pictures. In this embodiment, they are placed at positions equidistant from the subject and moved at an angle of 22.5 degrees from each other, but the distance from the subject and the angle may be changed depending on the number of viewpoints.
  • the images (or videos) taken by the nine cameras as described above are assigned to each of the nine pixels of the video display section (liquid crystal panel here) and displayed.
  • FIG. 16 by displaying an image of one subject as images (or videos) taken from different angles, it is possible to obtain a multi-view image (or multi-view video) with motion parallax. can.
  • a multi-view image (or video) is obtained by photographing a person (the face part of the subject) at different angles using nine cameras No. 1 to No. 9.
  • the method of obtaining multi-view images (or videos) is not limited to the method using multiple cameras as described above, but also the method of rendering multi-view images (or videos) using computer graphics (CG). It may be a method.
  • rendering refers to generating or editing images and moving images (videos) as CG through computer processing.
  • CG through rendering there is no need for large-scale imaging equipment using multiple cameras, there is no restriction on the number of viewpoints due to the number of cameras, and it is possible to create multi-view images (or It is particularly suitable for generating multi-view images and multi-view videos.
  • FIG. 17 is a diagram showing an example of display by a multi-view video display device.
  • the multi-view video display device refers to a display device including a lenticular lens 1103 disposed on the video light output side of the video display device 10 (consisting of a liquid crystal panel 11, a light source 13, etc.).
  • the multi-view video display device includes a light source, a video display section (liquid crystal panel), and a lenticular lens.
  • the image exit surface of the image display section (liquid crystal panel) 11 and the entrance surface of the lenticular lens 1103 are parallel.
  • the image exit surface of the image display section (liquid crystal panel) 11 and the entrance surface of the lenticular lens 1103 are arranged at a predetermined distance.
  • the predetermined distance between the light entrance surface of the lenticular lens 1103 and the light exit surface of the liquid crystal panel 11 is adjusted and arranged based on the focal length specific to the lenticular lens. At this time, if the focal length of the lenticular lens 1103 is a relatively large value, the predetermined distance is set to a large value, and conversely, if the focal length of the lenticular lens 1103 is a relatively small value, the predetermined distance is set to a large value.
  • FIG. 17 a multi-view video display device that displays multi-view video having nine different viewpoints is shown, and (A) of FIG. FIG. 17B shows a case in which images No. 9 are arranged.
  • FIG. This shows the case where images taken by cameras No. 9 to No. 1 are arranged.
  • the difference in effects between FIGS. 17A and 17B is as follows. First, in (A) of FIG. 17, when the user moves from the left side to the right side of the multi-view video display device, from the left side, an image of the subject (person's face) seen from the left side is observed. If you view the image from the right side, you will see an image of the subject (person's face) viewed from the right side. In other words, the user observes the same object as when observing the actual object from the left side and the right side of the object.
  • FIGS. 18 and 19 show that the image light emitted from the multi-view image display device (consisting of the image display device 10 and the lenticular lens 1103) shown in FIG.
  • FIG. 3 is a diagram schematically showing a state in which a spatial floating image 3 is generated.
  • the embodiments shown in FIGS. 18 and 19 are the same in that the spatial floating image 3 is generated by the multi-view video display device and the retroreflector 330.
  • FIGS. 18 and 19 The difference between the two embodiments shown in FIGS. 18 and 19 above is that the order of the multi-view images on the multi-view video display device is different. That is, in FIG. 18, corresponding to (A) in FIG. 17, camera No. Images No. 1 to No. 9 are assigned, and in the spatial floating image 3 generated via the retroreflector 330, the order of the multi-view images is conversely from right to left in order of camera No. Images numbered from .1 to No.9 are displayed.
  • FIG. 19 corresponding to (B) in FIG. 17, cameras No. 1 to No. 9 are used for pixels 1 to 9 of the liquid crystal panel from right to left of the multi-view video display device An image is assigned.
  • the order of the multi-view images is from camera No. 1 to camera No. 1 to right from left to right, contrary to FIG. 18. 9 is displayed.
  • the spatial floating image 3 generated via the retroreflector 330 can be displayed on the image display device 10 by arranging the lenticular lens 1103 between the image display device 10 and the retroreflector 330.
  • the order of the multi-view videos created by the spatial floating video 3 and the order of the multi-view videos created by the spatially floating video 3 are recognized by the user in the opposite order.
  • the order of images from cameras No. 1 to No. 9 can be appropriately determined and arranged for pixels on the panel 11.
  • the order of the multi-view images is from camera No. 1 to camera No. 1 from right to left. Image No. 9 is recognized.
  • the concierge always looks at the user, regardless of the user's location.
  • the order of the multi-view images is that the images captured by cameras No. 1 to No. 9 are recognized from left to right. be done. In this case, the concierge always looks in a fixed direction, that is, in the front direction, regardless of the user's position.
  • the concierge when the user sees the concierge as a floating image in space, the concierge always conveys information such as some kind of explanation or guidance to the user along with voice. This is particularly suitable for situations where users can easily empathize with the concierge and can have the effect of being able to concentrate more on the concierge's explanations and guidance.
  • Display Format B when displaying the concierge as a floating image in space, out of the two embodiments described above, as shown in FIG. (referred to as “Display Format B”), or a display format in which the concierge always faces the front and speaks as shown in Figure 19 (this is referred to as “Display Format B”), or the above two display formats. It is possible to select as appropriate.
  • Embodiment 1 related to kiosk terminal>
  • two formats for displaying the concierge as a floating image in space ie, "display format A” and “display format B” have been described using FIGS. 15 to 19.
  • Embodiment 1 a case where the floating video information display system 1 is applied to a so-called kiosk terminal (hereinafter referred to as Embodiment 1) will be described below.
  • a kiosk terminal is an information terminal that allows an unspecified number of people to access necessary information and use various services through a human-machine interface such as a touch panel operation or a user interface.
  • Kiosk terminals have been installed in public facilities, transportation facilities, entertainment facilities such as amusement parks, and in recent years, inside so-called convenience stores. Kiosks are also used to sell various types of tickets and provide administrative services (for example, issuing resident cards).
  • an information terminal having a specific configuration is expressed using the term “kiosk terminal.”
  • Kiosk terminal in addition to “information terminal”, “information display device”, “information processing terminal”, “ticketing terminal”, “document issuing terminal”, “administrative terminal”, “service terminal” It may also be expressed as The term “kiosk terminal” mainly used in the description of the embodiments is used as a representative example of these terms.
  • FIG. 20 shows an example of the appearance of a general kiosk terminal based on the conventional technology.
  • This kiosk terminal 1400 includes a metal housing 1450 with a height of, for example, about 120 to 50 cm, and a liquid crystal display screen 1410 is provided on the surface of the housing 1450 (the side facing the user, especially the slope 1451). and an input button 1420.
  • the liquid crystal display screen 1410 is a part of the liquid crystal display device, and is a screen with a touch panel that displays various information and accepts touch operations from the user.
  • the input button 1420 is a physical button for inputting a password unique to the user, or a touch button on a screen configured with a touch panel.
  • a takeout port 1430 is provided on a part of the surface of the casing 1450.
  • the take-out port 1430 is a take-out port through which a user takes out, for example, a ticket or administrative document issued by operating the kiosk terminal 1400.
  • FIG. 21 shows an example of the external appearance of a kiosk terminal as a floating video information display system according to the first embodiment.
  • FIG. 21 shows an overview of the kiosk terminal 1500 when viewed diagonally from the right.
  • the kiosk terminal 1500 in FIG. 21 differs from the kiosk terminal 1400 in FIG. 20 as follows.
  • a space floating video display section for displaying the above-mentioned space floating video 3 is provided below. It is equipped with 1520.
  • the kiosk terminal 1500 has two screens, a liquid crystal display screen 1510 and a floating image display section 1520, and is divided into two display sections, the liquid crystal display screen 1510 and the floating image display section 1520, at the slope 1570. It has a configuration.
  • the screen of the floating image display section 1520 (hereinafter also referred to as the first screen) is basically used.
  • a concierge and an operation menu are displayed as a user interface using the spatial floating image 3.
  • the first screen of the spatially floating image display section 1520 includes areas of predetermined sizes in the vertical and horizontal directions. In this example, the first screen has a slightly horizontally elongated size.
  • the liquid crystal display screen 1510 (hereinafter also referred to as second screen) can display any video, and is used for purposes such as displaying advertisements, for example, like a general kiosk terminal.
  • the liquid crystal display screen 1510 may be, for example, a liquid crystal touch panel screen equipped with a touch sensor.
  • the second screen which is the liquid crystal display screen 1510, may be used together with the first screen of the spatial floating video display section 1520 as a user interface such as an operation menu.
  • Both the concierge and the operation menu may be displayed as one spatial floating image 3 on the first screen of the spatial floating image display section 1520 in FIG.
  • display switching control may be performed so that either the concierge or the operation menu is displayed in a large size on the first screen.
  • the positional relationship between the liquid crystal display screen 1510 and the spatially floating video display section 1520 is not limited to the configuration example shown in FIG. 21, and for example, the vertical arrangement thereof may be reversed. That is, on the slope 1570, the floating image display unit 1520 may be disposed at the top, and the liquid crystal display screen 1510 may be disposed at the bottom. Further, on the slope 1570, they may be arranged in parallel on the left and right. However, as shown in the internal structure of FIG.
  • the kiosk terminal 1500 includes a space floating video display section 1520 in addition to the liquid crystal display screen 1510, the liquid crystal display screen 1510 is placed on top and the space floating video display section 1520 is
  • the lower arrangement is more suitable for component arrangement within the housing 1550 (space utilization efficiency).
  • the screens of those two display units are a liquid crystal display screen 1510 and a spatial floating video display unit 1520, respectively.
  • a display may be displayed on each screen to convey such information, such as ⁇ This is a liquid crystal screen'' or ⁇ This is a floating image in space.'' This improves usability for the user.
  • a physical description such as "liquid crystal screen” or "space floating image” may be written in advance in a position near the frame of each screen.
  • a concierge 1521 (also described as a person image or a concierge video) is displayed on the space floating video display section 1520 as the space floating video 3. Although the details will be described later, in the configuration shown in FIG. In particular, it is possible to operate (eg, an operation menu displayed on the floating image display section 1520).
  • the concierge 1521 provides operation guidance (also described as operation guide, operation explanation, etc.) to the user using video and audio.
  • the concierge 1521 displayed on the spatially floating image display section 1520 is displayed as a multi-view image with motion parallax, so when a two-dimensional plane image is simply displayed as a spatially floating image, In comparison, the user can feel as if an actual person (concierge) is present on the kiosk terminal 1500. Furthermore, the concierge carefully explains to the user how to operate the kiosk terminal 1500 and the like. Therefore, even a user who touches a kiosk terminal for the first time can operate the kiosk terminal 1500 more easily and receive the desired service without being confused.
  • the spatial floating image display section 1520 shown in FIG. 21 may adopt a configuration using the above-mentioned retroreflective member 2 of FIG. 3 as a method for forming the spatial floating image 3, or Alternatively, a configuration using the retroreflective member 330 shown in FIGS. 13 and 14 described above may be applied. Furthermore, the present invention is not limited to the above-mentioned method, and other methods capable of displaying a spatially floating image in the air may be applied. In this embodiment, the case in which the configuration shown in FIG. 14 is applied (see FIG. 22 for the internal structure) is shown.
  • the detection method for detecting the user's operation on the floating image 3 in the embodiment of FIG.
  • the method using the first or second sensing technique shown in FIGS. 7 and 8 described above may be applied.
  • the present invention is not limited to the above method, and other methods capable of detecting an aerial operation on a floating image may be applied.
  • the kiosk terminal 1500 in FIG. 21 is equipped with two cameras 1541 and 1542 on the left and right sides of the housing 1550 (particularly on the slope 1570). These cameras are stereo cameras corresponding to the imaging unit 1180 in FIG. 2.
  • the cameras 1541 and 1542 image an area including the face and iris of a user (for example, a user operating the spatial floating image 3) who is close to the front of the kiosk terminal 1500 (the near side in the Y direction in the figure).
  • the control unit 1110 (FIG. 2) of the kiosk terminal 1500 which is the spatial floating video information display system 1, performs a process of detecting that a user approaches the kiosk terminal 1500 and identifying the user based on images captured by cameras 1541 and 1542. - It is configured to perform identification processing or user authentication processing.
  • a camera may be disposed inside the housing 1550, or the camera may be configured to transmit image information captured by a camera disposed outside to the kiosk terminal 1500 by wire or wirelessly.
  • the two cameras 1541 and 1542 on the left and right allow stereo imaging, and the user's face can be captured as a 3D image, and the distance to the user's face and its 3D shape can also be calculated. . Therefore, in this system, compared to the case where the user's face is captured as a two-dimensional image using one camera, the accuracy of the user's face authentication can be improved, and it is also suitable from the viewpoint of preventing unauthorized use.
  • the kiosk terminal 1500 in FIG. 21 is also equipped with two speakers, particularly two super-directional speakers 1551 and 1552 (corresponding to the speaker/super-directional speaker 30 in FIG. 2) on the left and right positions of the housing 1550. It is being By providing a super-directional speaker, it is possible to emit a highly directional sound that can only be heard by the user who is attempting to operate this kiosk terminal 1500.
  • the kiosk terminal 1500 may be equipped with a speaker that outputs audio in the normal audible range, but in the following cases, the kiosk terminal 1500 may be equipped with a speaker that outputs audio in the normal audible range. It is preferable to adopt a configuration that includes digital speakers 1551 and 1552.
  • the voice emitted from the kiosk terminal 1500 in response to a user's operation is to contain, for example, the user's name, date of birth, input number information, etc., it is necessary to ensure high confidentiality and take security into account. be. In such a case, it is preferable to apply a superdirectional speaker.
  • the superdirectional speakers 1551 and 1552 are installed so as to protrude outside the housing 1550, but the present invention is not limited thereto, and they may be placed inside the housing 1550.
  • the superdirectional speakers 1551 and 1552 may output an audio signal indicating that a button or the like in the operation menu of the floating image 3 has been pressed so that only the user can hear it.
  • FIG. 22(A) shows an explanatory diagram of the internal structure of the kiosk terminal 1500 of FIG. 21.
  • FIG. 22A shows a YZ cross section of the inside of the case 1550 of FIG. 21 viewed from the right side.
  • the upper part of the housing 1550 has a slope 1570.
  • the video display device 10 the lenticular lens 1103, the mirror 360, the retroreflective member 330, etc., which are the components of the floating video information display system 1 explained in FIG. 14, are housed.
  • FIG. 22(B) shows the lenticular lens 1103 when viewed from the Z-axis direction in the coordinate axes of FIG.
  • the configurations in FIGS. 22A and 22B allow the user to visually recognize the spatial floating image 3 as a multi-view image with motion parallax.
  • the lower part of the casing 1550 may house other components such as a control device equipped with the control section 1110 of FIG. 2, a communication device equipped with the communication section 1132, and a power supply device. Furthermore, a human sensor 1560 may be provided at the lower part (for example, the front surface) of the housing 1550 as shown in the figure. The human sensor 1560 detects when a person approaches the kiosk terminal 1500.
  • the direction of the image light emitted from the image display device 10 within the housing 1550 is changed by the mirror 360 and made to enter the retroreflective member 330. Then, the retroreflected light by the retroreflection member 330 is emitted diagonally upward on the side opposite to the video display device 10 (the near side in the Y direction). As a result, the spatial floating image 3 is generated on the spatial floating image display section 1520.
  • the slope 1570 of the housing 1550 has a predetermined angle ⁇ 1 with respect to the horizontal plane (Y direction).
  • an opening (indicated by a dotted line) for the floating image display section 1520 is provided at a position diagonally below the liquid crystal display screen 1510 above.
  • a transparent member or the like may be provided in the opening.
  • the image light from the retroreflection member 330 passes obliquely upward through the opening thereof, and forms a real image, the spatially floating image 3, at a predetermined position outside the slope 1570. This spatial floating image 3 is formed tilting forward at a predetermined angle ⁇ 2 with respect to the slope 1570.
  • the spatial floating image 3 appears to be floating and protruding toward the front of the slope 1570.
  • the user can suitably view the spatial floating image 3 displayed on the spatial floating image display unit 1520 by looking diagonally downward from the diagonally upper viewpoint E, as in FIG. 14 .
  • the optical path is folded back by the mirror 360 within the housing 1550, so that the optical path from the video display device 10 to the retroreflective member 330 within the housing 1550 is can be made longer.
  • the thickness dimension of the housing 1550 in the depth direction (Y direction) can be suppressed.
  • the first distance measuring device 340 (including the above-mentioned TOF sensor, etc.) covers the entire spatial floating image 3 through the opening of the spatial floating image display section 1520. Sensing the range. By using the first distance measuring device 340, sensing of a user's touch operation on the spatially floating image 3 is mainly performed. Note that in (A) of FIG. 22, the lower end B of the sensing range by the first distance measuring device 340 is diagonally above the horizontal plane (Y direction) in line with the opening; however, this is not limited to this. Alternatively, it may be moved closer to the horizontal direction (Y direction). By changing the position of the opening of the casing 1550 and the arrangement position of the first distance measuring device 340, the sensing range can be designed.
  • the sensing system including the first distance measuring device 340 can be used to detect whether the user has come sufficiently close to the kiosk terminal 1500 (the slope 1570 of the housing 1550, or the floating image 3, etc.), or to detect whether the user has approached the kiosk terminal 1500 (the slope 1570 of the housing 1550, or the floating image 3, etc.), or to combine the sensing system with the camera. It may also be used to assist in its detection.
  • the first distance measuring device 340 and the second distance measuring device 341 as shown in FIG. 8 in the configuration of FIG. The distance measuring optical axis may be placed close to the horizontal plane (Y direction).
  • the kiosk terminal 1500 uses a sensing system including the first distance measuring device 340 to sense the user's finger operation on the spatial floating image 3 on the spatial floating image display section 1520.
  • the control unit 1110 of the kiosk terminal 1500 controls the display contents of the spatial floating image 3 on the spatial floating image display unit 1520 (user interface such as the concierge 1521 and the operation menu described below) in accordance with the detection information including the sensing results. do.
  • the spatially floating image 3 can be displayed as a multi-view image with motion parallax. Therefore, compared to the case where the spatial floating image 3 is displayed as a flat image, it is possible to provide a user of a kiosk terminal or the like with a more suitable interface using a spatial floating image and necessary information.
  • the system of Embodiment 1 even if the user is new to operating a user interface such as an operation menu displayed as a floating image, a user is inexperienced with the operation, or an elderly user, the user can , it is possible to provide operation guidance by a concierge as a friendly human image displayed as a floating image and a multi-view image. This makes it possible to avoid or reduce erroneous inputs and erroneous operations by the user on the space-floating video interface, thereby enabling more reliable operation.
  • FIG. 23 shows an example of the external configuration of another embodiment (referred to as Embodiment 2) related to the kiosk terminal.
  • the kiosk terminal 1600 shown in FIG. 23 is different from the kiosk terminal shown in FIG. It is being One screen formed by this space floating video display section 1620 is larger in size than the screen of the space floating video display section 1520 in FIG.
  • the spatial floating image display section 1620 has one vertically sized screen, and one spatial floating image 3 is displayed.
  • both the concierge and the operation menu are displayed in parallel in the spatial floating image 3 on one screen, and the concierge guides the user in operating the operation menu.
  • the spatial floating image 3 is displayed on the near side with respect to the slope 1670.
  • a concierge 1621 is displayed at the top, and an operation menu 1622 is displayed at the bottom.
  • the operation menu 1622 includes, for example, operation buttons (indicated by circles or triangles).
  • the concierge 1621 explains and guides how to operate the operation menu 1622. Even in the case of the configuration of FIG. 23, as in the case of FIG. 21, the user can easily operate the kiosk terminal 1600, especially the operation menu 1622, according to the guide provided by the concierge 1621 displayed as a multi-view spatial floating image. You can receive the desired service.
  • the housing 1650 includes cameras 1641 and 1642, super-directional speakers 1651 and 1652, and a human sensor 1660, and these are the same as the configuration of FIG. 21.
  • FIG. 24(A) is a diagram showing an example of the internal structure of the kiosk terminal 1600 of FIG. 23, and shows a YZ cross section of the inside of the kiosk terminal 1600 seen from the right side.
  • the components of the above-described floating video information display system 1 of FIG. 13 are housed in a housing 1650. That is, the image display device 10, the lenticular lens 1103, the retroreflective member 330, and the like are arranged in the upper part of the housing 1650.
  • FIG. 24(B) shows the lenticular lens 1103 when viewed from the Z-axis direction in the coordinate axes of FIG. Further, as explained using FIG. 13, the configurations shown in FIGS. 24A and 24B allow the user to visually recognize the spatial floating image 3 as a multi-view video with motion parallax.
  • the video display device 10 is placed on the bottom of the upper part of the housing 1650 along a substantially horizontal plane (specifically, the rear side is slightly tilted upward with respect to the Y direction).
  • the optical axis J1 of the video display device 10 faces substantially vertically upward (Z direction).
  • an opening (indicated by a dotted line) for the floating image display section 1620 is provided on the slope 1670 at the top of the housing 1650.
  • a retroreflective member 330 is disposed at a predetermined angle within the upper portion of the housing 1650 and close to the opening thereof.
  • the slope 1670 has a predetermined angle ⁇ 1, and the retroreflective member 330 is arranged at a predetermined angle ⁇ 2 with respect to the slope 1670.
  • the spatially floating image 3 which is a real image, is generated as a multi-view image at a predetermined position outside the opening in the spatially floating image display section 1620 of the slope 1670.
  • This spatially floating image 3 is arranged obliquely at a predetermined angle ⁇ 2 with respect to the slope 1670.
  • the user can suitably view the spatially floating image 3 from a diagonally upper viewpoint E and with a diagonally downward line of sight.
  • the first distance measuring device 340 (TOF sensor, etc. ) have been installed.
  • the optical axis of the first distance measuring device 340 is directed toward the spatially floating image 3, and the viewing angle is wide enough to cover the entire spatially floating image 3.
  • a sensing system including a first distance measuring device 340 installed in this kiosk terminal 1600 senses an operation of the user's hand or finger UH on the space floating image 3 of the space floating image display section 1620.
  • one spatial floating image display section 1620 displays both the figure of the concierge 1621 as the spatial floating image 3 and the operation menu 1622 as the spatial floating image 3. Displayed as a multi-view video with parallax. At this time, only the concierge 1621 may be displayed as a multi-view stereoscopic image, and the operation menu 1622 may be displayed as a two-dimensional image. In this case, whether to display the spatially floating image 3 as a multi-view stereoscopic image or as a flat image is determined by whether the image displayed on the image display device 10 is displayed in multiple ways even when the lenticular lens 1103 is arranged. This can be done by simply switching between viewing 3D images and 2D images.
  • the method of displaying the floating image on the kiosk terminal is not limited to this.
  • the concierge display and the operation menu display simultaneously on one screen of the spatial floating image display section 1620 as shown in FIG. may be switched as appropriate.
  • FIG. 25 is a diagram showing a scene in which one user uses the kiosk terminal as the floating video information display system of the first embodiment.
  • the kiosk terminal 1500 displays a concierge (a woman's face), which is a multi-view video as a floating image in space.
  • the concierge which is a multi-view image as a floating image in space, is such that the concierge is always visible no matter where the user is located as long as the user located near the kiosk terminal 1500 can see the concierge. It is possible to visually recognize that the user is directing his/her line of sight toward (the user). More specifically, as shown in FIG. 25, if the user is standing diagonally to the left of the kiosk terminal, the concierge will face the direction in which the user is standing, that is, diagonally to the left. It can be visually recognized by the user. On the other hand, if the user is standing diagonally to the right of the kiosk terminal, the concierge can be viewed by the user as facing in the direction in which the user is standing, that is, diagonally to the right.
  • the user views the images of the concierge from cameras No. 1 to No. 9 sequentially from the right toward the kiosk terminal 1500, that is, the spatial floating image of nine multi-viewpoints with motion parallax. It can be displayed as
  • the concierge as a floating image in space can be recognized as a three-dimensional image (or three-dimensional image).
  • the user sees the concierge as a three-dimensional, multi-view image with motion parallax, as if it were an actual person. be able to.
  • the user can feel as if the concierge is always looking at him (the user) and talking to him. You can get new effects that you have never seen before.
  • FIG. 26 shows an example of a display of a floating image 3 in space on a kiosk terminal, as an example (referred to as Embodiment 3).
  • the kiosk terminal in FIG. 26 shows a configuration using the kiosk terminal 1500 in FIG. 21 as an example.
  • the kiosk terminal in FIG. 26 is a kiosk terminal to which the space floating image 3 formed by the space floating image information display system 1 is applied as a user interface.
  • FIGS. 27 and 28 show an operation flow when a user operates the kiosk terminal in FIG. 26.
  • FIG. 27 shows the first operation flow involved in starting up the kiosk terminal in FIG. 26.
  • the first operation flow shows the basic operation.
  • step S100 when the flow starts, the kiosk terminal is in a standby state (in other words, in a sleep state).
  • the kiosk detects whether a user approaches the kiosk.
  • the user approaches this kiosk terminal it is detected based on the images captured by cameras 1541 and 1542 that the user approaches this kiosk terminal (particularly to the front of slope 1570).
  • a human sensor 1560 using infrared rays shown in FIG. 21 or the like may be used to detect that the user approaches the kiosk terminal 1500.
  • the kiosk terminal transitions to an activated state in step S102. Then, in the activated state, the user can use the kiosk.
  • step S103 the kiosk terminal displays the concierge 1521 or the operation menu 1522 on the floating image display section 1520, and guides the user on the operation method, etc., and guides the user through the operation (in other words, input) on the operation menu 1522. ), and performs predetermined processing (application or service processing) in response to the detection of the operation.
  • predetermined processing application or service processing
  • FIG. 26A a concierge 1521 is displayed on the floating image display section 1520, and the concierge 1521 greets and provides operational guidance to the user using video and audio.
  • the display on the floating image display section 1520 automatically transitions from the concierge 1521 to the operation menu 1522, as shown in FIG. 26(B).
  • the user operates the operation menu 1522 with his or her fingers.
  • the kiosk terminal uses sensing technology to detect operations and performs processing according to the detected operations.
  • the video of the concierge 1521 is a spatially floating video based on a multi-view video with motion parallax.
  • the multi-view video may be a video shot of an actual person from multiple viewpoints, that is, with multiple cameras corresponding to the number of viewpoints, a human image based on CG generated by computer rendering, or a human image based on CG generated by computer rendering. It may also be an animation that represents the figure. Moreover, it is not limited to people, but may also be animals, fictional characters, etc.
  • step S104 it is detected whether the user has left this kiosk terminal.
  • the user leaves this kiosk terminal it is detected that the user leaves this kiosk terminal (particularly the front slope 1570) based on images taken by cameras 1541 and 1542.
  • a motion sensor 1560 shown in FIG. 21 or the like may be used to detect that the user has left the kiosk terminal. If it is detected that the user has left the kiosk terminal (Y), the kiosk terminal transitions to a standby state in step S105.
  • FIG. 28 shows a second operation flow related to the activation of the kiosk terminal in the third embodiment of FIG. 26.
  • the second operational flow shows a more detailed example than the first operational flow.
  • the second operation flow shows an operation flow when the kiosk terminal performs user authentication, etc., as an operation after the kiosk terminal is activated.
  • step S200 at the start of the flow, the kiosk terminal is in a standby state.
  • the user approaches the front of the kiosk or stands in a predetermined position near the kiosk.
  • step S201 the kiosk terminal detects whether the user has approached the kiosk terminal (particularly in front of the slope 1570) by stereo photography using two cameras or the like. If the user is detected (Y), in step S202, the kiosk terminal first displays the concierge 1521 on the floating image display section 1520, as shown in (A) of FIG. , greets the user, for example, "Welcome and thank you for using the service," and also displays a greeting message.
  • the kiosk terminal authenticates the detected user.
  • the kiosk terminal also displays a message indicating that authentication is in progress, such as "Authenticating", as floating image 3 in space.
  • the kiosk terminal identifies and specifies the user by performing face authentication of the person approaching (that is, the detected user) based on images captured by the two cameras 1551 and 1552 (particularly the face image). It's okay.
  • authentication may be performed based on an iris image of the user's eyes. Authentication here refers to the user's face or iris, etc., located within a predetermined range in front of the kiosk terminal, based on a stereo image obtained by photographing the user's face or iris with two cameras. The objective is to determine whether or not the user is an authorized user of this kiosk terminal, who has been registered in this system in advance.
  • the following other methods of user authentication can also be applied. It is also possible to use a method of user authentication by loading information such as an identification card such as a My Number card or a driver's license held by the user into a kiosk terminal. Furthermore, a method of user authentication by transmitting and receiving user information stored in a mobile terminal owned by the user through short-range wireless communication between the mobile terminal and a kiosk terminal can also be applied.
  • code information such as a QR code (registered trademark) containing personal information that can identify the user (e.g. name, address, date of birth, kiosk terminal usage history, etc.) will be displayed on the user's smartphone or other mobile device. Then, the code information is presented to the floating image display section 1520 of the kiosk terminal (for example, held up to the cameras 1551 and 1552). A method of user authentication by reading the presented user information using the cameras 1551 and 1552 of the kiosk terminal can also be applied.
  • QR code registered trademark
  • step S204 the kiosk terminal checks whether the user authentication is successful, and if successful, the process proceeds to step S206, and if unsuccessful, the process proceeds to step S205.
  • step S205 the kiosk terminal prompts for another authentication method, returns to step S203, and attempts authentication using another authentication method.
  • the kiosk terminal may present a predetermined operation menu screen (operation menu corresponding to an unspecified number of users) on the floating image display section 1520, or The most suitable menu screen (personal operation menu) may be presented to each user identified in the above.
  • the display on the floating image display unit 1520 changes/transitions from the concierge 1521 to the operation menu 1522, as shown in FIGS. 26(A) and 26(B).
  • the operation menu 1522 in (B) displays a message (text image) that says ⁇ Touch to select an item,'' and press buttons for options and items, such as ⁇ 1 - Issuance of resident record''. ”, “2 Ticket Purchase”, “3 Registration Information”, and “4 Another Menu” are displayed.
  • “1 Issuance of resident card” is an item related to administrative procedures such as issuance of resident card.
  • "2 Ticket purchase” is an item related to purchasing and receiving tickets for concerts, movies, etc., or trains. "3.
  • Registration information is an item related to confirmation and modification of registered information related to the user.
  • “4 Another menu” is an item for transitioning to another menu. Depending on the purpose, the user presses, for example, a button for the "2. Ticket Purchase” item. The kiosk terminal changes the display to the next operation menu depending on the pressed button. A more detailed example is shown below.
  • the floating video information display system 1 of the kiosk terminal accesses the kiosk server on the communication network via the communication unit 1132 (FIG. 2) and notifies the result information of the user authentication.
  • the kiosk terminal determines whether the user has used the kiosk terminal in the past by acquiring and referring to the user's attribute information from the user database in the kiosk server. do.
  • the kiosk terminal may obtain and refer to the user's attribute information based on the code information etc. from the user's mobile terminal.
  • the user's attribute information includes information such as the user's gender, age, past kiosk usage history, and the like.
  • the kiosk terminal may acquire user information including user attribute information from the user's mobile terminal via wireless communication.
  • the kiosk terminal receives not only user attribute information but also other predetermined data related to the user and the operation menu from an external device such as a kiosk server, such as information that has been input and registered in advance by the user, such as ticket reservation information. It may be acquired at the same time.
  • the kiosk terminal may determine attributes such as the age of the user based on the images taken by the cameras 1541 and 1542. The user attribute information acquired in step S206 is used in the determination in the next step S207.
  • the kiosk terminal determines whether the user is a "first-time user” or an "elderly user” using the kiosk terminal, based on the user's attribute information obtained in step S206. to judge. If it is determined that the user meets such a predetermined condition (YES), the process advances to step S208, and if it is determined that the user does not meet the condition (NO), the process advances to step S209.
  • This system branches the response depending on the determination result in step S207. There are two main responses here. One is the first processing flow (flow from step S209) assuming an experienced user, and the other is the second processing flow (flow from step S208) assuming an unfamiliar user (first-time user or elderly user). flow).
  • the kiosk terminal omits the operation guide provided by the concierge, or provides a simplified operation guide compared to the second process flow.
  • the kiosk terminal provides detailed operation guidance by the concierge.
  • step S208 the kiosk terminal performs "operation guide with audio by concierge" on the floating video display section 1520.
  • the term “concierge” means a "guide,” and as shown in FIG.
  • a concierge 1521 (schematically shown in the drawing) is displayed as an image of the upper body of the person.
  • the concierge 1521 provides instructions to the user using voice and gestures. Provide guidance on how to do so.
  • the concierge 1521 provides explanations and guidance regarding parts of the operation menu 1522 shown in (B) that the user does not understand.
  • step S208 first, as shown in FIG. 26(A), an image of the concierge 1521 appears on the screen of the floating image display section 1520.
  • the concierge 1521 outputs text video and audio such as "I will guide you on the operation method, so please operate the menu according to my explanation.”
  • the sound is provided, for example, by the superdirectional speakers 1551 and 1552 in FIG. 26(A) in a manner that can only be heard by the user.
  • the concierge 1521 provides operation guidance by sequentially telling the user how to use the kiosk terminal and operation menu.
  • step S208 the image of the concierge 1521 as the spatial floating image 3 is displayed on the operation menu 1522 as the spatial floating image 3.
  • the image changes to .
  • step S208 even after the screen of the spatial floating image 3 is switched to the operation menu 1522, the guidance by the concierge 1521 continues.
  • the kiosk terminal switches between the display of the concierge 1521 and the display of the operation menu 1522 on the floating image display section 1520 as appropriate.
  • the user operates the operation menu 1522 on the screen of the floating image display section 1520 according to the operation guide of the concierge 1521.
  • step S210 the user performs a predetermined series of operations on the operation menu 1522 of the kiosk terminal, such as inputting a password for issuing a ticket.
  • the kiosk detects the operation, processes it, and issues a ticket.
  • the user receives the ticket from the takeout port 1530.
  • the process moves to step S212.
  • step S212 the kiosk terminal again displays the operation menu 1622 (for example, the first menu screen, the next menu screen if there is a next menu, or the last menu screen) on the screen of the floating image display section 1520. ) is displayed.
  • the kiosk terminal ends the display on the floating image display section 1520. Further, when the display ends, the kiosk terminal may display the concierge 1521 on the screen at the end, and output a message to the user to the effect of the end (such as "Thank you for using the service").
  • step S209 the kiosk terminal performs a display assuming a user who is not new to the operation but who is somewhat accustomed to the operation.
  • the kiosk terminal switches the display on the screen of the floating image display section 1520 to the operation menu 1522, as shown in FIG. 26(B).
  • the user performs a desired operation such as selecting an item according to the operation menu 1622 on the screen.
  • step S211 similarly to step S210, if a predetermined series of operations and corresponding actions (for example, ticket issuance) are completed (Y), the process moves to step S212.
  • step S212 is provided in consideration of the possibility that the user's operation will not be successful.
  • step S211 if the user's predetermined series of operations are not completed (N), the process advances to step S212.
  • step S212 the kiosk terminal determines whether the user's operation in the operation menu 1522 is successful. In a specific example, the kiosk terminal determines whether the user's operation in the operation menu 1522 has been stopped (in other words, there is no input) for a period longer than a predetermined period of time (for example, 30 seconds). The user may have stopped operating the operation menu 1522 as the spatial floating image 3 if he or she is unsure of the operation.
  • Kiosks use cameras and sensing technology to detect when they have been out of operation for an extended period of time. If it is determined that the operation has been stopped for a long time (Y), the process advances to step S206, and if not (N), the process advances to step S209.
  • the kiosk terminal may determine whether the user is performing an incorrect operation on the surface of the floating image 3 (operation menu 1522). For example, it may be determined that the user is attempting to touch the item at a location where the finger is away from the button of the item.
  • the kiosk terminal displays the concierge 1521 on the floating image display section 1520 for the user, and provides operational guidance using the concierge 1521.
  • the kiosk terminal may reproduce an operation guide with predefined contents as an operation guide by the concierge 1521, but more preferably, the kiosk terminal may reproduce an operation guide with predefined contents as an operation guide by the concierge 1521, but more preferably, the kiosk terminal may perform an operation on the part of the operation menu 1522 that the user stopped operating in step S212. Guide. For example, if the user's operation is stopped at the operation menu after pressing the "2. Ticket purchase" button in Figure 26 (B), the kiosk terminal will not be able to proceed with the next operation in the operation menu. The concierge 1521 will guide you on what operations to do.
  • the above-described operation example can be similarly applied to the embodiment of FIG. 23, that is, a configuration example in which both the concierge 1621 and the operation menu 1622 are displayed in parallel on the screen of one spatial floating image 3.
  • the concierge 1621 can guide the operation by pointing at the operation menu 1622 with a fingertip, for example, within the screen.
  • the kiosk terminal displays the concierge 1521 as the floating image 3 and starts operating guidance by the concierge 1521. Since the video of the concierge 1521 is a spatially floating video using a multi-view image (or video) with motion parallax, the user can visually recognize the video of the concierge 1521 as a three-dimensional image. Therefore, the user feels as if the image of the concierge 1521 is a real person there, and even users who are operating the kiosk terminal for the first time or elderly people who are not accustomed to operating the kiosk terminal, etc. Even if there is, a predetermined operation can be performed reliably by following the operation guide provided by the concierge 1521 or the voice from the super-directional speaker (operation guide that cannot be heard by other people).
  • Embodiment 3 users are identified through authentication, and based on the user's age and system usage history, the concierge provides information for users who are operating for the first time, users who are unfamiliar with operations, and elderly users. Carefully explain how to use it. Therefore, even such users can perform reliable key input operations on the operation menu as a floating image. For experienced users, efficient service can be provided by omitting or simplifying the operation guide.
  • FIG. 31 shows a display example in the modified example.
  • the kiosk terminal displays the image of the operation menu 1522 as large as possible within one screen of the spatial floating image 3 by the spatial floating image display section 1520.
  • the kiosk terminal superimposes and displays the image of the concierge 1521 on its operation menu 1522 in a relatively small size.
  • the kiosk terminal allows the concierge 1521 to guide the operation of the operation menu 1522.
  • the concierge 1521 is a spatially floating image based on a multi-view image that moves with gestures, hand gestures, mouth and eye movements, and has motion parallax, for example.
  • the kiosk terminal may change whether or not the concierge 1521 is displayed, the display position, etc., as appropriate on the screen of the operation menu 1522.
  • FIG. 29 shows, as another example (referred to as Embodiment 4), an example in which a kiosk terminal and a mobile terminal held by a user perform a cooperative operation.
  • a kiosk terminal 1700 in FIG. 29 is a kiosk terminal to which the floating image 3 formed by the floating image information display system 1 is applied as a user interface.
  • the kiosk terminal 1700 cooperates with a mobile terminal 1740 such as a smartphone owned by the user 1710.
  • Kiosk terminal 1700 in FIG. 29 is based on the configuration of kiosk terminal 1600 in FIG. 23.
  • a case will be described in which a user 1710 uses the kiosk terminal 1700 to perform a procedure to purchase a ticket (for example, a ticket to a certain concert). Similar to the flowcharts shown in FIGS. 27 and 28 described above, when the user 1710 approaches the kiosk terminal 1700, the kiosk terminal 1700 authenticates the user 1710 and displays the concierge 1721 and operation information on the floating image display section 1720. Menu 1722 is displayed. The user operates the operation menu 1722 following guidance from the concierge 1721 and the like. For example, "2 ticket purchase" is selected from the operation menu 1522 as shown in FIG. 26(B). The kiosk terminal displays an operation menu 1722 that transitions from "2 Ticket Purchase" on the screen of the floating video display section 1720. The user 1720 performs detailed operations for purchasing tickets using the operation menu 1722.
  • the ticket is issued, for example, in a printed form on paper, and the user 1710 receives the paper ticket.
  • the user 1710 receives the form of so-called electronic tickets (or "e-tickets").
  • the user 1710 receives the same information as the ticket printed on paper (ie, an electronic ticket) on the mobile terminal 1740 owned by the user 1710.
  • a communication interface such as Bluetooth (registered trademark).
  • the electronic ticket is directly transmitted from the kiosk terminal 1700 to the user's mobile terminal 1740.
  • the kiosk terminal is guided by the concierge 1721 in its communication operations.
  • the kiosk terminal 1700 displays the information content of the electronic ticket as a space floating image 3 (for example, part of the operation menu 1722) on the screen of a space floating image display section 1720.
  • Displays code information 1760 (in other words, code video) such as a barcode or QR code (registered trademark).
  • User 1710 uses his mobile terminal 1740 to read the code information.
  • the user 1710 performs an operation to read code information 1760 displayed in the operation menu 1722 using a reader function such as a camera of the mobile terminal 1740, following the guide provided by the concierge 1721.
  • the concierge 1721 guides the reading operation.
  • the mobile terminal 1740 acquires an electronic ticket based on the read code information 1760 and stores it in a memory inside the mobile terminal 1740 or the like.
  • the items and information that the user 1710 can receive from the kiosk terminal 1700 are not limited to paper tickets or electronic tickets, but may also be, for example, information on coupons and points that can be used for shopping, or even electronic books. Tickets and coupons printed on paper may be lost, but electronic tickets and coupons are retained within the mobile terminal 1740, so the possibility of loss can be reduced. In addition to reducing the possibility of loss, by holding electronic tickets and coupons inside the mobile terminal 1740, compared to paper tickets and coupons, when actually using the ticket, it is easier to use the mobile terminal 1740. Possible usage modes include presenting a terminal or having a ticket issuer read an electronic ticket held in a mobile terminal. This improves usability for the user.
  • the kiosk terminal transmits information related to the operation menu (for example, access history information, operation history information, etc.) to the user's mobile terminal via wireless communication. You may.
  • information related to the operation menu for example, access history information, operation history information, etc.
  • FIG. 30 shows, as an example (referred to as Embodiment 5), a detailed example regarding the function (FIG. 12) that allows the user to input and draw arbitrary characters and figures on the above-mentioned spatial floating image 3.
  • FIGS. ⁇ Sign'' signature
  • a kiosk terminal 2000 in FIG. 30 is an example based on the configuration of the kiosk terminals in FIGS. 21 and 23, and only a floating video display section 2020 is illustrated.
  • (A) of FIG. 30 shows a state in which the concierge 2021 is displayed on the spatial floating image display section 2020 as a spatial floating image 3 which is a multi-view image.
  • (B) shows a state in which a user interface for inputting a signature is displayed as a spatial floating image 3.
  • C shows a state in which a signature is input and drawn by the user within the user interface.
  • D shows a state in which the concierge 2021 is displayed as the spatial floating image 3 in response to the completion of the signature input.
  • the kiosk terminal After the kiosk terminal issues a ticket and the user receives the ticket, the kiosk terminal displays the concierge 2021 as the spatial floating image 3 on the spatial floating image display section 2020, as shown in (A) of FIG. do.
  • the concierge 2021 outputs a video and audio message to the user, for example, "To confirm that you have received the ticket, please sign at the end.” This prompts the user to sign for the spatial floating image 3 (in other words, sign as a receipt).
  • the kiosk terminal erases the display of the concierge 2021, and displays a signature screen 2022 as the spatial floating image 3 (in other words, a signature input user interface).
  • the words "Please sign for receipt of ticket” are displayed as characters drawn as a floating image 3 on the signature screen 2022.
  • a frame line (signature frame line area) 2023 indicating an area for signing is displayed below the wording.
  • the frame line 2021 is displayed, for example, based on a predetermined background color (for example, black), and the frame lines on the four sides are displayed in a predetermined color (for example, green).
  • a predetermined background color for example, black
  • the frame lines on the four sides are displayed in a predetermined color (for example, green).
  • the frame line 2021 is displayed in its predetermined color (for example, green).
  • the user uses the fingertip of his or her hand UH or a predetermined conductive pen to write his or her name as a signature within the frame 2023. Now, perform the operation as if drawing "Tom" in cursive.
  • the kiosk terminal uses sensing technology to detect the mid-air operation on the plane of the floating image 3, as described above ( Figure 12), and displays the floating image in accordance with the position of the detected fingertip contact. 3 (within the frame line 2023), a line segment is drawn in real time.
  • the line segment 2024 is a single stroke line corresponding to the input/drawn signature (“Tom”).
  • Line segment 2024 is displayed in a predetermined color.
  • the kiosk terminal determines and detects that a predetermined period of time (for example, 5 seconds) has elapsed after the fingertip is released, the kiosk terminal considers that the user has completed inputting the signature.
  • the kiosk terminal then transitions to a screen 2025 indicating the end of the signature input, as shown in FIG. 30(D).
  • a screen 2025 indicating the end of the signature input, as shown in FIG. 30(D).
  • On this screen 2025 for example, along with the image of the concierge 2021, words such as "Thank you for your autograph” are displayed and output as audio. This completes a series of operations for the user to "sign" to acknowledge that the user has received the ticket.
  • FIG. 30 (C) the technique shown in which the user writes his or her name as a signature within the frame line 2023 as the floating image 3 using his or her fingertips is the same as described in FIG. 12 above.
  • the techniques can be applied as well.
  • FIG. 12 an example is described in which when the user inserts his or her fingertip deep into an arbitrary position on the surface of the spatial floating image 3, the frame of the entire spatial floating image 3 changes to red, for example.
  • a signature is input and drawn only in a part of the spatial floating image 3 (the signature frame line area 2023), not in the frame of the entire spatial floating image 3. This is an area for Then, when the kiosk terminal detects that a fingertip is inserted into (in other words, makes contact with) the area, the kiosk terminal may change the frame line 2023 of the area to red, for example.
  • the frame line 2023 is not limited to red, but is colored in another predetermined color, for example, blue. may be displayed. Further, the frame line 2023 may be made to blink when there is contact. Furthermore, in the state of contact, the background area within the frame line 2023 may be changed to white, and the color of the line segment drawn in the background area may be set to another predetermined color, for example, black. Alternatively, the background area within the frame line 2023 may be black, and the line segment drawn in the background area may be white.
  • the kiosk terminal controls the display in the sign frame line area 2023 so that the line segments of characters and figures drawn according to the movement of the user's fingertips in the sign frame line area 2023 are easily recognized by the user.
  • the kiosk terminal controls the display mode in the sign frame line area 2023 to be changed depending on the state of the sign frame line area 2023, such as whether or not a fingertip touches the sign frame line area 2023.
  • a function (aerial signature function) is provided in which the user can input arbitrary characters or the like as a signature by moving his or her fingers on the spatial floating image 3.
  • the display such as the frame line 2023 changes depending on whether or not the fingertip is in contact with the surface of the spatial floating image 3. It is easy to see whether the user is working or not, and it is easy to enter a signature.
  • an example was shown in which the input to the spatial floating image 3 is used for a sign, but the input is not limited to this and can be used for other applications as well.
  • FIG. 32 shows an example of a more specific configuration of the video display device 10 that constitutes the spatial floating video information display system 1.
  • the light source device 13 in FIG. 32 is configured by housing an LED, a collimator, a polarization conversion element, a synthetic diffusion block, a light guide, etc. in a case made of plastic, for example.
  • a liquid crystal display panel 11 is attached to the top surface of the light source device 13.
  • an LED element 102A which is a semiconductor light source and an LED board 102 on which a control circuit for the LED element is mounted are attached.
  • a heat sink (not shown), which is a member for cooling the heat generated by the LED elements 102A and the control circuit, is attached to the outer surface of the LED board 102.
  • the liquid crystal display panel frame attached to the top surface of the case includes the liquid crystal display panel 11 attached to the frame and a flexible printed circuit (FPC) electrically connected to the liquid crystal display panel 11. ) etc. are attached. That is, the liquid crystal display panel 11, which is a liquid crystal display element, together with the LED element 102A, which is a solid-state light source, displays a displayed image by modulating the intensity of transmitted light based on a control signal from a control circuit that constitutes an electronic device. generate.
  • FPC flexible printed circuit
  • FIG. 32 shows a cross section, so only one LED element and collimator are visible, but a plurality of LED elements are arranged on the LED board 102, and a plurality of collimators are arranged in correspondence with them. are arranged.
  • the collimators 15 are each made of a translucent resin such as acrylic.
  • the collimator 15 has an outer peripheral surface 156 in a conical convex shape obtained by rotating a parabolic cross section, and a convex portion (i.e., a convex lens surface) 157 is formed at the center of the top (the side in contact with the LED board 102). It has a recess 153.
  • the collimator 15 has a convex lens surface (or a concave lens surface recessed inward) 154 that protrudes outward at the center of the flat portion (the side opposite to the top). Note that the paraboloid 156 forming the conical outer circumferential surface of the collimator 15 is set within an angle range that allows internal total reflection of the light emitted from the LED element 102A in the peripheral direction; A surface is formed.
  • the LED elements 102A (LED elements 14a and 14b in FIG. 33A) are respectively arranged at predetermined positions on the surface of the LED board 102.
  • This LED board 102 is arranged and fixed to the collimator 15 so that the LED elements 102A on the front surface are respectively located at the center of the recess 153.
  • the collimator 15 among the light emitted from the LED 102A by the collimator 15 described above, particularly the light emitted from the central portion upward (rightward in the drawing) forms the outer shape of the collimator 15.
  • the two convex lens surfaces 157 and 154 converge the light into substantially parallel light.
  • the light emitted toward the periphery from other parts is reflected by the paraboloid that forms the conical outer peripheral surface of the collimator 15, and is similarly condensed into substantially parallel light.
  • the collimator 15 having a convex lens in the center and a paraboloid in the periphery, it is possible to extract almost all of the light generated by the LED element 102A as parallel light. This makes it possible to improve the utilization efficiency of the generated light.
  • a polarization conversion element 21 (in other words, a polarization conversion member) is provided on the light output side of the collimator 15.
  • the polarization conversion element 21 is an element that converts the polarization characteristics of incident light.
  • the polarization conversion element 21 includes a columnar (parallelogram prism) transparent member having a parallelogram cross section and a columnar (triangular prism) transparent member having a triangular cross section.
  • a plurality of optical members are arranged in an array parallel to a plane perpendicular to the optical axis of the parallel light from the collimator 15.
  • polarizing beam splitters (PBS films) 211 and reflective films 212 are alternately provided at the interfaces between adjacent light-transmitting members arranged in an array. Furthermore, a ⁇ /2 phase plate 213 (in other words, a half-wave plate) is provided on the exit surface from which the light that has entered the polarization conversion element 21 and transmitted through the PBS film 211 is output.
  • a rectangular synthetic diffusion block 16 is further provided on the output surface of the polarization conversion element 21.
  • the light emitted from the LED element 102A becomes parallel light by the action of the collimator 15, and after its polarization characteristics are converted through the polarization conversion element 21, it enters the synthesis diffusion block 16 and is diffused by the texture 161 on the output side. After that, it reaches the light guide 17.
  • the light guide 17 is a rod-shaped member with a substantially triangular cross section made of a translucent resin such as acrylic.
  • the light guide 17 includes a light guide light incident section 171 including an incident surface that faces the output surface of the composite diffusion block 16 via the first diffuser plate 18a. , a light guide light reflecting section 172 including a reflective surface forming a slope, and a light guide light emitting section 173 including an output surface facing the liquid crystal display panel 11 via a second diffuser plate 18b. ing.
  • the light guide light reflecting portion 172 of the light guide 17 has a large number of reflective surfaces 172a and connecting surfaces 172b alternately formed in a sawtooth shape, as also shown in FIG. 33(B).
  • the reflective surface 172a (line segment sloping upward to the right in the drawing) forms an angle ⁇ n (n is a natural number, in this example, 1 to 130) with respect to the horizontal plane.
  • ⁇ n is set to 43 degrees or less (however, 0 degrees or more).
  • the light guide entrance part 171 is formed in a curved convex shape inclined toward the light source side. According to this, the parallel light from the output surface of the composite diffusion block 16 is diffused and incident via the first diffusion plate 18a. As is clear from the drawing, this incident light is slightly bent and deflected upward by the light guide entrance part 171, reaches the light guide light reflection part 172, and is reflected there. This reflected light is emitted from the emission surface of the upper light guide emission section 173 in the drawing, and reaches the liquid crystal display panel 11 provided for the emission surface.
  • the light utilization efficiency and uniform illumination characteristics are further improved, and the device including the modularized S-polarized light source device 13 can be manufactured in a small size and at low cost.
  • the polarization conversion element 21 is attached after the collimator 15, but the present invention is not limited to this, and the polarization conversion element 21 may be provided in the optical path leading to the liquid crystal display panel 11.
  • the light guide light reflecting section 172 has a large number of reflecting surfaces 172a and connecting surfaces 172b alternately formed in a sawtooth shape, and the illumination light flux is totally reflected on each reflecting surface 172a and directed upward. Head towards.
  • the light guide light output section 173 is provided with a narrow-angle diffuser plate, and the light enters the light direction conversion panel 54 for adjusting the directivity as a substantially parallel diffused light flux, and then enters the liquid crystal display panel 11 from an oblique direction.
  • the light direction conversion panel 54 is provided between the output surface of the light guide 17 and the liquid crystal display panel 11, but the same effect can be obtained even if the light direction conversion panel 54 is provided on the output surface of the liquid crystal display panel 11. Effects can be obtained.
  • the light source device of the video display device 10 in FIG. 34 has a plurality of LED elements constituting the light source on the LED board 102, as in the above-mentioned example (however, since it is a cross-sectional view, only one is shown). ). These LED elements are attached to the collimator 15 at predetermined positions.
  • the diverging light flux of light from the LED element (light containing a mixture of P-polarized light and S-polarized light) is converted into a substantially parallel light flux by the collimator 15, and reflected toward the liquid crystal display panel 11 by the reflective surface of the reflective light guide 304. do.
  • the reflected light enters a reflective polarizing plate 49 disposed between the liquid crystal display panel 11 and the reflective light guide 304.
  • the reflective polarizing plate 49 transmits a specific polarized light (for example, P-polarized light) and enters the liquid crystal display panel 11 .
  • the other polarized light (for example, S-polarized light) is reflected by the reflective polarizing plate 49 and heads toward the reflective light guide 304 again.
  • the reflective polarizing plate 49 is installed with an inclination so as not to be perpendicular to the principal ray of light from the reflective surface of the reflective light guide 304, and the reflective polarizing plate 49 The chief ray enters the transmission surface of the reflective light guide 304.
  • the light incident on the transmission surface of the reflective light guide 304 passes through the back surface of the reflective light guide 304, passes through the ⁇ /4 plate 270, which is a retardation plate, and is reflected by the reflection plate 271.
  • the light reflected by the reflection plate 271 passes through the ⁇ /4 plate 270 again, and then passes through the transmission surface of the reflective light guide 304.
  • the light that has passed through the transmission surface of the reflective light guide 304 enters the reflective polarizing plate 49 again.
  • the light that enters the reflective polarizing plate 49 again passes through the ⁇ /4 plate 270 twice, so it is polarized into polarized light (for example, P polarized light) that passes through the reflective polarizing plate 49. . Therefore, the polarized light passes through the reflective polarizing plate 49 and enters the liquid crystal display panel 11.
  • polarized light for example, P polarized light
  • the polarized light passes through the reflective polarizing plate 49 and enters the liquid crystal display panel 11.
  • the light from the LED element that is the light source is aligned to a specific polarization (for example, P polarization), enters the liquid crystal display panel 11, and is brightness-modulated in accordance with the video signal to display an image on the panel surface. indicate.
  • a specific polarization for example, P polarization
  • the collimators 15 in FIG. 34 are each made of a translucent resin such as acrylic or glass. Similar to the collimator 15 in FIG. 32, the collimator 15 in FIG. 34 may have an outer peripheral surface of a conical convex shape obtained by rotating a parabolic cross section, and the top part has a convex part (i.e. It may also have a concave portion formed with a convex lens surface. In addition, the central part of the plane part of the collimator 15 may have a convex lens surface that projects outward (or a concave lens surface that is concave inward). The paraboloid is set within an angle range that allows internal total reflection of the light emitted from the LED in the peripheral direction, or has a reflective surface formed thereon.
  • the LED elements in FIG. 34 are arranged at predetermined positions on the surface of the LED board 102.
  • the LEDs on the surface of the LED board 102 are arranged and fixed to the collimator 15 so as to be located at the center of the conical convex top (or in the recess if the top has a recess).
  • the collimator 15 that has a convex lens in the center and a paraboloid in the peripheral part, it is possible to extract almost all of the light generated by the LED element as parallel light. It becomes possible to improve the efficiency of light use.
  • the configuration of the light source device 13 and the like described above can be applied as the light source device 13 of the video display device 10 that constitutes the floating video information display system 1 shown in FIGS. 13 and 14 described above.
  • the light converted into substantially parallel light by the collimator 15 shown in FIG. 32 is reflected by the reflective light guide 304.
  • the reflective light guide 304 due to the action of the reflective polarizing plate 49, light of a specific polarization is transmitted through the reflective polarizing plate 49, and light of the other polarization is reflected due to the action of the reflective polarizing plate 49.
  • the light passes through the light guide 304 again.
  • This light is reflected by a reflecting plate 271 located at a position opposite to the liquid crystal display panel 11 with respect to the reflective light guide 304 .
  • this light passes twice through the ⁇ /4 plate 270, which is a retardation plate, to undergo polarization conversion.
  • the light reflected by the reflection plate 271 passes through the light guide 304 again and enters the reflective polarizing plate 49 provided on the opposite surface. Since this incident light has undergone polarization conversion, it passes through the reflective polarizing plate 49 and enters the liquid crystal display panel 11 with its polarization direction aligned. As a result, all the light from the light source can be used, so the geometrical optical usage efficiency of light is doubled. Furthermore, since the degree of polarization (in other words, the extinction ratio) of the reflective polarizing plate is added to the extinction ratio of the entire system, by using the light source device 13 of this embodiment, the contrast ratio of the entire display device can be significantly improved. .
  • the angle of reflection and diffusion of light on each reflective surface can be adjusted.
  • the surface roughness of the reflective surface of the reflective light guide 304 and the surface roughness of the reflector plate 271 may be adjusted for each design so that the uniformity of light incident on the liquid crystal display panel 11 becomes more suitable.
  • FIG. 35 is a diagram showing a case where the present invention is applied to, for example, a drinks vending machine.
  • a vending machine main body 2900 is equipped with a floating image display section 2920. Although not shown, this spatially floating image display section 2920 also has the internal configuration shown in FIGS. Ru.
  • the vending machine 2900 also includes a drink display section 2980 for displaying drinks sold by the vending machine 2900, a bill insertion section 2981 for inserting bills, and a coin insertion section for inserting coins. 2982, a change takeout port 2983 for taking out change, and a drink takeout port 2984 for taking out drinks purchased by the user.
  • the vending machine main body 2900 is equipped with a camera or a human sensor, and when a user approaches, the floating image display section 2920 is activated.
  • a concierge 2921 appears on the floating image display section 2920 and tells the user, for example, "Welcome. Thank you for using the service.
  • the screen changes to number buttons. Please select your desired product number.'' will be heard.
  • the concierge 2921 disappears from the floating image display section 2920, and then a number button 2922 and a decision button 2923 are displayed.
  • a cancel button or a return button may be displayed.
  • the image of the concierge 2921 displayed on the spatially floating image display section 2920 shown in FIG. 35 is a spatially floating image based on a multi-view image with motion parallax.
  • the user can visually recognize the video of the concierge 2921 as a three-dimensional image.
  • the user sees that the concierge 2921 always looks toward the user and speaks to him or her as the user moves.
  • the user can experience the new effect of viewing Concierge 2921's images as if a real person were there and speaking to them alone. .
  • the user selects a drink by operating the number buttons 2922 and enter button 2923 displayed on the floating image display section 2920, and inserts a predetermined amount into the bill insertion section 2981 or the coin insertion section 2982. , the drink is dispensed in a form that can be taken out from the drink outlet 2984.
  • the number buttons and the OK button disappear on the floating image display section 2920, and the concierge 2921 appears again, and a voice saying, for example, "Thank you. We look forward to using you again.” emanate.
  • the sound may be emitted from a normal speaker, or may be emitted from a super-directional speaker so that only the user can hear it.
  • a vending machine may also be equipped with both a liquid crystal display and a space-floating video display, similar to the example of a kiosk terminal.
  • the floating image display section may be provided at two or more locations instead of at one location. Note that if two spatial floating image display units are provided, the concierge will be displayed as a multi-view image with motion parallax on one of the spatial floating image display units, and the concierge will be displayed as a multi-view image with motion parallax.
  • the floating image display section may be configured to display number buttons and a decision button.
  • a plurality of different human images or animation characters of different ages and genders may be displayed.
  • the data for displaying the plurality of different human images and animated characters of different ages and genders is stored in the non-volatile memory 1108 in FIG. One of them may be selected and displayed as the concierge 2921 on the floating image display section. In that case, which person image or character to display may be determined according to the user's attributes (age, etc.).
  • this embodiment also includes a floating video display unit based on a multi-view image (or video) with motion parallax, so the user can use it without contact. You can select and purchase products.
  • a spatial floating image is automatically displayed, and the spatial floating image display section also displays a multi-view image (or video) with motion parallax.
  • a human image or character as a concierge 2921 that is recognized as a three-dimensional image can be displayed.
  • Concierge 2921's images as if a real person were there, and that no matter where they moved, the image was always facing them. You can get the effect of feeling like someone is talking to you. Therefore, the unusualness of the display of the concierge 2921 as described above can be expected to attract more users and contribute to increased sales of products by vending machines.
  • the user can, for example, perform operations without feeling anxious about contact transmission of an infectious disease. do.
  • the technology according to this embodiment is applied to a system used by an unspecified number of users, the risk of contact transmission of infectious diseases can be reduced, and a non-contact user interface that can be used without anxiety can be provided.
  • the present invention which provides such technology, it contributes to "3 health and welfare for all" of the Sustainable Development Goals (SDGs) advocated by the United Nations.
  • SDGs Sustainable Development Goals
  • the technology according to the embodiment by reducing the divergence angle of the emitted image light and aligning it with a specific polarization, the light is efficiently reflected by the retroreflective member. This makes it possible to obtain bright and clear spatial floating images with high utilization efficiency. According to the technology according to the embodiment, it is possible to provide a contactless user interface with excellent usability and which can significantly reduce power consumption. According to the present invention, which provides such technology, it is possible to meet the Sustainable Development Goals (SDGs) advocated by the United Nations, including ⁇ Building a foundation for 9 industries and technological innovation'' and ⁇ 11 Creating sustainable cities.'' Contribute to SDGs (SDGs) advocated by the United Nations, including ⁇ Building a foundation for 9 industries and technological innovation'' and ⁇ 11 Creating sustainable cities.'' Contribute to
  • SDGs Sustainable Development Goals
  • the technology according to the embodiment enables the formation of a spatially floating image using highly directional (straight-progressing) image light.
  • the technology according to this embodiment can display highly directional video light even when displaying a video that requires high security such as on a so-called kiosk terminal or a highly confidential video that should be kept secret from the person directly facing the user. By doing so, it is possible to provide a non-contact user interface in which there is little risk of the floating image being viewed by anyone other than the user.
  • the present invention contributes to the Sustainable Development Goals (SDGs: Sustainable Development Goals 11) advocated by the United Nations.
  • SYMBOLS 1 Spatial floating image information display system, 2... Retroreflective member, 3... Spatial floating image, 10... Image display device, 11... Liquid crystal display panel, 13... Light source device, 330... Retroreflective plate, 1103... Lenticular lens, 1400 , 1500, 1600, 1700...Kiosk terminal, 1510...Liquid crystal display screen, 1520, 1620, 1720...Spatial floating video display section, 1521, 1621, 1721, 2921...Concierge, 1522, 1622, 1722...Operation menu, 1530...Removal Mouth, 1541, 1542... Camera, 1550... Housing, 1551, 1552... Super directional speaker, 1560... Human sensor, 1570... Slope, 2922... Number button, 2923... Decision button.

Abstract

キオスク端末などの利用者に対して好適に映像を表示し、必要な情報を提供すること。本発明によれば、持続可能な開発目標の「３すべての人に健康と福祉を」、「９産業と技術革新の基盤をつくろう」、「１１住み続けられるまちづくりを」に貢献する。空間浮遊映像情報表示システムは、少なくとも１個のオブジェクトの映像を表示する映像表示装置と、映像表示装置の映像光出射側に配置されたレンチキュラーレンズと、映像表示装置からの映像光を再帰反射させることで空中に空間浮遊映像を形成するための再帰性反射部材とを備えており、映像表示装置は、オブジェクトとして、複数の視点により撮影またはレンダリングして得られた多視点画像を表示する。

Description

空間浮遊映像情報表示システム
　本発明は、空間浮遊映像情報表示システムに関する。
　空間浮遊映像情報表示システムとして、直接外部に向かって映像を空間像として表示する映像表示装置および表示方法については、既に知られている。また、表示された空間像の操作面における操作に対する誤検知を低減する検知システムについても、例えば、特開２０１９－１２８７２２号公報（特許文献１）に記載されている。
特開２０１９－１２８７２２号公報
　特許文献１では、空気中に形成される像に対する操作の誤検知を低減することを目的として、ユーザが予め定めた方向から像に接近する場合、ユーザの動きを操作として受け付けることで、目的を達成する旨が記載されている。
　また、特許文献１の段落００１１には、「空中画像は、静止画でも動画でもよい」こと、さらに、空中画像は、「曲面、球体、立方体などの立体的な形状でもよい」ことが記載されている。しかしながら、特許文献１には、空中画像を立体的な形状とするための具体的な技術や方法に関する記載はない。
　空間浮遊映像（空中画像、空中像ということもある。これらの名称については後述する）を立体的な形状とすることで、平面画像から生成された空間浮遊映像に比べて、利用者が観察した時に、より臨場感があり、実際に空間上に浮遊しているように感じる空間浮遊映像を生成することができる。
　そのため、立体的な形状を有する空間浮遊映像を、例えば、サイネージ（電子的な看板）として用いた場合には、サイネージにより表示された商品やサービスに対する人々の関心をより高める効果が期待できる。また、空間浮遊映像として、コンシェルジュ（利用者の操作ガイドや、利用者に対する各種サービスを提供する人）を立体的な形状とすれば、平面的な空間浮遊映像による表示に比べて、利用者が実際の人物と対話をしているような感覚を誘発されるため、利用者はコンシェルジュに対してより親近感をいだきやすく、コンシェルジュによるガイドに従って、よりスムーズな操作を行うことができるという効果が期待できる。
　しかしながら、前述の通り、特許文献１のような先行技術例では、立体的な形状として空間浮遊映像を表示するための技術は開示されておらず、特に、コンシェルジュのような人物像を立体的な空間浮遊映像として表示するための技術が望まれていた。
　そこで、本発明の目的は、立体的な物体を表示することができる空間浮遊映像表示システムを提供することにある。
　上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本発明は、上記課題を解決する手段を複数含んでいるが、一例を挙げるならば以下の通りである。空中に空間浮遊映像を形成する空間浮遊映像情報表示システムは、少なくとも１個のオブジェクトの映像を表示する映像表示装置と、映像表示装置の映像光出射側に配置されたレンチキュラーレンズと、映像表示装置からの映像光を再帰反射させることで空中に空間浮遊映像を形成するための再帰性反射部材とを備えており、映像表示装置は、オブジェクトとして、複数の視点により撮影またはレンダリングして得られた多視点画像を表示する。
　本開示のうち代表的な実施の形態によれば、空間浮遊映像情報表示システムに関して、空間浮遊映像として多視点映像が表示され、特に、コンシェルジュなどの人物像が立体的に表示されるので、利用者にとって実際の人物と会話をしているような、臨場感のある、好適な空間浮遊映像を提供することができる、という効果がある。上記した以外の課題、構成および効果などについては、発明を実施するための形態において示される。
一実施例に係る空間浮遊映像情報表示システムの使用形態の一例を示す図である。 一実施例に係る空間浮遊映像情報表示システムの内部構成の一例を示す図である。 一実施例に係る空間浮遊映像情報表示システムの主要部構成と再帰反射部構成の一例を示す図である。 一実施例に係る空間浮遊映像情報表示システムの主要部構成と再帰反射部構成の他の例を示す図である。 一実施例に係る再帰反射で発生する異常光線を遮る部材の配置例を示す斜視図である。 一実施例に係る再帰反射で発生する異常光線を遮る部材の配置例を示す断面図である。 一実施例に係る空間浮遊映像情報表示システムで用いる第１のセンシング技術の説明図である。 一実施例に係る空間浮遊映像情報表示システムで用いる第２のセンシング技術の説明図である。 一実施例に係る空間浮遊映像情報表示システムで用いるセンシングシステムの動作および装置についての説明図である。 太陽光の分光放射照度の特性を示す図である。 屈折率１.５の媒質に入射する偏光光の光線入射角度に対する反射特性を示す図である。 一実施例に係る、空間浮遊映像に文字などを入力・描画する技術についての説明図を示す。 本発明の一実施例に係る空間浮遊映像情報表示システムの主要部構成を示す図である。 本発明の一実施例に係る他の空間浮遊映像情報表示システムの主要部構成を示す図である。 多視点画像を表示する原理を示す図である。 多視点映像を生成するためのカメラ配置の一例を示す図である。 多視点映像表示装置により表示される映像の一例を示す図である。 空間浮遊像としての多視点映像の見え方の一例を示す図である。 空間浮遊像としての多視点映像の見え方の他の一例を示す図である。 キオスク端末の一例を示す図である。 一実施例（実施の形態１）に係るキオスク端末の外観例を示す図である。 実施の形態１に係るキオスク端末の断面構造例を示す図である。 一実施例（実施の形態２）に係るキオスク端末の外観例を示す図である。 実施の形態２に係るキオスク端末の断面構造例を示す図である。 一実施例（実施の形態３）に係るキオスク端末と利用者を示す図である。 一実施例（実施の形態３）に係るキオスク端末の表示例を示す図である。 実施の形態３に係るキオスク端末の第１動作フローを示す図である。 実施の形態３に係るキオスク端末の第２動作フローを示す図である。 一実施例（実施の形態４）に係るキオスク端末と携帯端末の連携動作を示す図である。 一実施例（実施の形態５）に係るキオスク端末でのサインの操作・表示例を示す図である。 実施の形態３などの変形例に係るキオスク端末での表示例を示す図である。 光源装置の具体的な構成例を示す断面図である。 光源装置の具体的な構成例を示す構造図である。 別方式の光源装置の具体的な構成例を示す図である。 一実施例（他の実施の形態）に係る自動販売機の外観例を示す図である。
　以下、本発明の実施の形態（実施例とも記載）を、図面を参照しながら詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、および範囲などを表していない場合がある。
　説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部などを主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサなどで構成されるコントローラ、装置、計算機、システムなどである。計算機は、プロセッサによって、適宜にメモリや通信インタフェースなどの資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部などが実現される。プロセッサは、例えばＣＰＵ（Central Processing Unit）やＧＰＵなどの半導体デバイスなどで構成される。プロセッサは、所定の演算が可能な装置や回路で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）、ＣＰＬＤ（Complex Programmable Logic Device）などが適用可能である。
　プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体（例えばメモリカード）でもよい。プログラムは、複数のモジュールから構成されてもよい。コンピュータシステムは、複数台の装置によって構成されてもよい。コンピュータシステムは、クライアントサーバシステム、クラウドコンピューティングシステムなどで構成されてもよい。各種のデータや情報は、例えばテーブルやリストなどの構造で構成されるが、これに限定されない。識別情報、識別子、ＩＤ（identification）、名、番号などの表現は互いに置換可能である。
　一実施の形態の空間浮遊映像情報表示システム（以下、単にシステムと記載する場合もある）は、まず、空間浮遊映像の視認性を著しく低下させるゴースト像を無くし、空間浮遊映像の明るさを向上させることで、視認性を改善する構成を備える。一実施の形態のシステムは、キオスク端末などに適用され、空間浮遊映像による画面で操作メニューなどのユーザインタフェースを提供する。その上で、一実施の形態のシステムは、ユーザがシステム（キオスク端末）の筐体に近づいてきた時に、空間浮遊映像の画面上に、はじめに、所定の人物像としてのコンシェルジュ（コンシェルジュ映像などと記載する場合もある）を表示する。システムは、空間浮遊映像のコンシェルジュによって、ユーザに対し、あいさつ、ガイド、説明などを行う。
　一実施の形態の空間浮遊映像情報表示システムは、ユーザが空間浮遊映像に近づいた場合や空間浮遊映像に対し操作した場合に、コンシェルジュ映像を、自動的に、所定の操作メニューなど、例えば複数の数字ボタンや選択肢ボタンなどを有しそのボタンを押下できる方式の操作メニュー画面に遷移・変化させる。システムは、適宜に、空間浮遊映像のコンシェルジュによって、ユーザに対し、操作メニューのガイドや説明を行う。特に、システムは、初めてのユーザや高齢のユーザであると判定した場合に、コンシェルジュによって、ユーザに対し、操作メニューを詳しくガイドする。また、システムは、ユーザが空間浮遊映像の操作方法などがよくわからない状態であると判定した場合には、コンシェルジュによって、ユーザに対し、操作メニューを詳しくガイドする。
　また、一実施の形態の空間浮遊映像情報表示システムは、例えばカメラを用いた顔認証などによりユーザを識別・特定する機能を備える。システムは、その機能によって特定したユーザについて、年齢やシステム使用履歴などのユーザ属性情報を参照する。システムは、ユーザの属性に応じて、空間浮遊映像のコンシェルジュによるガイドなどの方式や内容を変えるように制御する。
　また、一実施の形態の空間浮遊映像情報表示システムは、空間浮遊映像の面に対し、ユーザが手指によって任意の文字や図形を入力することができる機能も提供する。システムは、空間浮遊映像の面に対する手指の接触の状態を検出し、空間浮遊映像の面で入力された線を描画する。システムは、この入力された線を例えばユーザのサインとして取得する。
　なお、以下の実施の形態の説明において、空間に浮遊する映像、空中に表示される映像を、「空間浮遊映像」という用語で表現する場合がある。この用語の代わりに、「空中像」、「空間像」、「空中浮遊映像」、「表示映像の空間浮遊光学像」、「表示映像の空中浮遊光学像」などと表現しても構わない。実施の形態の説明で主に用いる「空間浮遊映像」の用語は、これらの用語の代表例として用いている。
　＜空間浮遊映像情報表示システム＞
　本開示は、例えば、大面積な映像発光源からの映像光による映像を、ショーウィンドのガラスなどの、空間を仕切る透明部材を介して透過して、店舗空間の内部または外部に空間浮遊映像として表示可能な情報表示システムに関する。また、本開示は、かかる情報表示システムを複数用いて構成される大規模なデジタルサイネージシステムに関する。
　以下の実施の形態によれば、例えば、ショーウィンドのガラス面や光透過性の板材上に高解像度な映像情報を空間浮遊した状態で表示可能となる。この時、出射する映像光の発散角を小さく、すなわち鋭角とし、さらに特定の偏波に揃えることで、再帰反射部材（再帰性反射部材）または再帰反射板に対して正規の反射光だけを効率良く反射させることができる。このため、実施の形態によれば、光の利用効率が高く、従来の再帰反射方式での課題となっていた主空間浮遊像の他に発生するゴースト像を抑えることができ、鮮明な空間浮遊映像を得ることができる。
　また、本開示の光源を含む装置により、消費電力を大幅に低減可能な、新規で利用性に優れた空間浮遊映像情報表示システムを提供できる。また、本開示の技術によれば、例えば、車両のフロントガラスやリアガラスやサイドガラスを含むシールドガラスを介して、車両外部において視認可能である、いわゆる、一方向性の空間浮遊映像の表示が可能な車両用空間浮遊映像情報表示システムを提供できる。
　一方、従来の空間浮遊映像情報表示システムは、高解像度なカラー表示映像源として有機ＥＬパネルや液晶表示パネル（液晶パネルなどと記載する場合がある）を、再帰反射部材と組み合わせる。従来技術による空間浮遊映像表示装置では、映像光が広角で拡散する。そのため、図３の（Ｂ）に示す多面体で構成された第一の実施例での再帰反射部材２を用いる場合、再帰反射部材２で正規に反射する反射光（それによる正規な空間浮遊映像）の他に、図３の（Ｃ）に示す再帰反射部材２（再帰反射部２ａ）に斜めから入射する映像光によって、ゴースト像が発生する。これにより、空間浮遊映像の画質が低下する。また、従来技術による空間浮遊映像表示装置では、正規な空間浮遊映像の他に、反射面の数に応じたゴースト像が複数発生する。このため、観視者以外の人にも、ゴースト像である同一空間浮遊映像を観視され、セキュリティ上の観点からも大きな課題があった。
　＜空間浮遊映像情報表示システムの第１の構成例＞
　図１の（Ａ）は、実施例の空間浮遊映像情報表示システムの使用形態の一例を示し、空間浮遊映像情報表示システムの全体構成の説明図を示す。図１の（Ａ）で、例えば、店舗などにおいては、ガラスなどの透光性の部材（透明部材とも記載）であるショーウィンド（ウィンドガラスともいう）１０５により、空間が仕切られている。本空間浮遊情報表示システムによれば、かかる透明部材を透過して、空間浮遊映像を、店舗空間の外部に対して一方向に表示が可能である。
　具体的には、本システムによれば、映像表示装置１０から挟角な指向特性でかつ特定偏波の光が、映像光束として出射される。出射された映像光束は、再帰反射部材２に一旦入射し、再帰反射されて、ウィンドガラス１０５を透過して、店舗空間の外側に、実像である空間浮遊映像（空中像）３を形成する。図１の（Ａ）では、透明部材（ここではウィンドガラス）１０５の内側の店舗内を奥行方向とし、ウィンドガラス１０５の外側（例えば歩道）が手前になるように示している。他方、ウィンドガラス１０５に特定偏波を反射する部材を設け、かかる部材によって映像光束を反射させて、店舗内の所望の位置に空中像を形成することもできる。
　図１の（Ｂ）は、映像表示装置１０の内部構成を示す。映像表示装置１０は、空中像の原画像を表示する映像表示部１１０２と、入力された映像をパネルの解像度に合わせて変換する映像制御部１１６０と、映像音声信号を受信・入力する映像・音声信号受信部１１３０とを含む。
　このうち、映像・音声信号受信部１１３０は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）などの入力インタフェースを通じての有線での入力信号への対応と、Ｗｉ－Ｆｉ（Wireless Fidelity）（登録商標）などの無線入力信号への対応を行う役割を担う。また、映像・音声信号受信部１１３０は、映像受信・表示装置として単独で機能することもできる。さらに、映像・音声信号受信部１１３０は、タブレット端末、スマートフォンなどからの映像・音声情報を表示・出力することもできる。さらにまた、映像・音声信号受信部１１３０は、必要に応じてスティックＰＣなどのプロセッサ（演算処理装置）を接続することもでき、この場合、映像信号・音声信号受信部全体として、計算処理や映像解析処理などの能力を持たせることもできる。
　［空間浮遊映像情報表示システムの機能ブロック］
　図２は、空間浮遊映像情報表示システム１の機能ブロック図を示す。映像表示部１１０２は、映像信号に基づいて、映像表示部１１０２を透過する光を変調することで、映像を生成する。映像表示部１１０２は、表示パネル、または液晶パネル、または液晶表示パネルと称する場合がある。映像表示部１１０２は、例えば、透過型表示パネルを用いてもよく、場合によっては、映像信号に基づいてパネルに反射する光を変調する反射型表示パネルや、ＤＭＤパネル（ＤＭＤ:Digital Micromirror Device、登録商標）などを用いて構成されてもよい。
　空間浮遊映像情報表示システム１は、図２に示すように、レンチキュラーレンズ１１０３を有している。レンチキュラーとは、シート状のレンチキュラーレンズを用いて、見る角度によって絵柄が変化したり、立体感が得られたりする印刷物のことである。レンチキュラーレンズは、その表面が半円筒状の「かまぼこ」のような形状を有するレンズの集合体であり、１つの半円筒状レンズの下部には、多視点画像（または映像）の視点の数に相当する、異なる映像を表示する映像表示部１１０２が配置されている。本願発明では、レンチキュラーレンズ１１０３が、映像表示部１１０２の映像光出射側に配置されている。具体的には、レンチキュラーレンズ１１０３は、映像表示部１１０２の映像光出射側と所定距離を介して配置されている。また、映像表示部１１０２が出射された映像光をレンチキュラーレンズを通して、多視点画像（または多視点映像）を表示し、利用者が多視点画像（または多視点映像）を観察することができる。
　図２の構成によれば、利用者が、レンチキュラーレンズ１１０３を形成する半円筒状レンズが並んでいる方向（例えば、左右の方向）に移動することにより、利用者はそれぞれの位置から異なる画像（または映像）を見ることができる。従って、上記、異なる画像（または映像）を、１つの被写体に対して、撮影方向が異なる撮影画像（または映像）とする。このことで、利用者は、レンチキュラーレンズを介して、運動視差を伴う多視点立体像として、映像表示部１１０２を構成する液晶パネル上に表示された画像（または映像）を視認することができる。
　再帰性反射部１１０１は、映像表示部１１０２により変調された光を再帰反射する。再帰性反射部１１０１からの反射光のうち、空間浮遊映像情報表示システム１の外部に出力された光が空間浮遊映像３を形成する。光源１１０５は、映像表示部１１０２用の光を発生する。光源１１０５は、例えばＬＥＤ光源、レーザ光源などの固体光源が用いられる。電源１１０６は、外部から入力されるＡＣ電流をＤＣ電流に変換し、光源１１０５に電力を供給する。さらに、電源１１０６は、その他各部にそれぞれ必要なＤＣ電流を供給する。
　導光体１１０４は、光源１１０５で発生した光を導いて映像表示部１１０２に照射する。導光体１１０４と光源１１０５との組み合わせを映像表示部１１０２のバックライトと称することもできる。導光体１１０４や光源１１０５の組み合わせは、様々な方式が考えられる。具体的な構成例は後述する。なお、図２に示すように、映像表示部１１０２と導光体１１０４と光源１１０５の３つの部品から構成される部分を、特に、映像表示装置１０と呼ぶ。
　空中操作検出センサ１３５１は、ユーザの手指による空間浮遊映像３の操作（空中操作とも記載）を検出するために、空間浮遊映像３の表示範囲と少なくとも一部に重畳する範囲、またはすべての表示範囲に重畳する範囲をセンシングするセンサである。空中操作検出センサ１３５１は、具体的なセンサ構成としては、赤外線などの非可視光、非可視光レーザ、超音波などを用いた距離センサや、これを複数組み合わせて２次元平面の座標を検出できる構成としたものでもよい。また、空中操作検出センサ１３５１は、後述するＴｏＦ（Time of Flight）方式のＬｉＤＡＲ（Light Detection and Ranging）として構成してもよい。
　空中操作検出部１３５０は、空中操作検出センサ１３５１が取得したセンシング信号を取得し、これに基づいて、ユーザの手指による空間浮遊映像３への接触の有無や、空間浮遊映像３における当該接触の位置の算出を行う。空中操作検出部１３５０は、ＦＰＧＡなどの回路で構成されてもよい。
　空中操作検出センサ１３５１および空中操作検出部１３５０（これらをセンシングシステムと記載する場合がある）は、空間浮遊映像情報表示システム１に内蔵する構成としてもよいが、空間浮遊映像情報表示システム１とは別体の外部に設けてもよい。別体に設ける場合は、有線または無線の通信接続路や映像信号伝送路を介して空間浮遊映像情報表示システム１に情報または信号を伝達できるように構成すればよい。空中操作検出センサ１３５１および空中操作検出部１３５０の両者を別体で設けてもよい。この場合は、空中操作検出機能の無い空間浮遊映像情報表示システム１を本体として、空中操作検出機能のみをオプションで追加できるシステムを構築可能である。また、空中操作検出センサ１３５１のみを別体とし、空中操作検出部１３５０を空間浮遊映像情報表示システム１に内蔵してもよい。空間浮遊映像情報表示システム１の設置位置に対して空中操作検出センサ１３５１をより自由に配置したい場合などは、空中操作検出センサ１３５１のみを別体とする構成に利点がある。
　撮像部１１８０は、イメージセンサを有する、いわゆるカメラであり、空間浮遊映像３の付近の空間、および/または、ユーザの顔、腕、指などを撮像する。撮像部１１８０は、用途に応じて、複数のカメラや、深度センサ付きカメラが用いられてもよい。撮像部１１８０は、空間浮遊映像情報表示システム１とは別体に設けてもよい。撮像部１１８０は、複数のカメラや深度センサ付きカメラを用いる場合には、ユーザによる空間浮遊映像３へのタッチ操作、言い換えると空間浮遊映像３の面に接触する操作、の検出について、空中操作検出部１３５０を補助してもよい。
　例えば、空中操作検出センサ１３５１が、空間浮遊映像３が属する平面を対象として、当該平面内への物体侵入センサとして構成された場合、当該平面内へ侵入していない物体（例えばユーザの指）がどのくらい当該平面に近いのか、空中操作検出センサ１３５１のみでは検出できない場合がある。このような場合には、撮像部１１８０における複数のカメラの撮像結果による深度算出情報や深度センサによる深度情報を用いることにより、当該空間浮遊映像３の平面内へ侵入していない物体（例えばユーザの指）と当該平面との距離を算出可能となる。この算出情報を、空間浮遊映像３における各種表示制御に用いることができる。
　あるいは、本システムは、空中操作検出センサ１３５１を用いずに、撮像部１１８０の撮像結果に基づいて、空中操作検出部１３５０がユーザによる空間浮遊映像３のタッチ操作を検出するように構成されてもよい。
　撮像部１１８０が空間浮遊映像３を操作するユーザの顔などを撮像し、撮像画像に基づいて、制御部１１１０がユーザの識別・特定処理、あるいはユーザの認証処理を行うように構成されてもよい。あるいは、空間浮遊映像３を操作するユーザの周辺や背後に他の人が立っていて、空間浮遊映像３に対するユーザの操作を覗き見ていないかなどを判別するために、空間浮遊映像３を操作するユーザの周辺を含めて撮像するように、撮像部１１８０が構成されてもよい。
　操作入力部１１０７は、操作ボタンやリモコン受光部であり、空間浮遊映像３に対する空中操作とは異なる、ユーザによる操作に関する信号を入力する。操作入力部１１０７は、空間浮遊映像３をタッチ操作する上述のユーザとは別に、空間浮遊映像情報表示システム１の管理者が、本システムを操作するために用いてもよい。
　映像信号入力部１１３１は、外部の映像出力装置を接続して映像データを入力する機能を有する。音声信号入力部１１３３は、外部の音声出力装置を接続して音声データを入力する機能を有する。一方、音声信号出力部１１４０は、音声信号入力部１１３３に入力された音声データに基づいた音声信号を出力する機能を有する。また、音声信号出力部１１４０は、予めストレージ部１１７０に記録されている、数字や文字列などの音声データ、その他の操作音やエラー警告音のデータに基づいた音声信号を出力してもよい。なお、映像信号入力部１１３１、音声信号入力部１１３３を合わせて、映像・音声信号入力部１１３０と呼ぶ。映像信号入力部１１３１と音声信号入力部１１３３はそれぞれの構成でもよいが、合わせて1つでも構わない。
　音声信号出力部１１４０は、スピーカまたは超指向性スピーカ３０に接続される。音声信号出力部１１４０は、通常の可聴帯域の音声を出力するスピーカに接続してもよいが、後述のキオスク端末などの実施例のように、特に、秘匿性が高くセキュリティに配慮する必要がある場合には、ユーザ以外の他の人には聞き取ることができないように、超指向性スピーカに接続してもよい。超指向性スピーカとは、特定の限られた空間領域に存在する人の耳のみには可聴帯域の音声を聴取でき、その特定の空間領域の外に存在する人の耳にはその可聴帯域の音声を聴取できないという特性を有するスピーカである。
　超指向性スピーカ３０は、例えば、４０ｋＨｚ程度の超音波信号を発生できる超音波出力素子を平面上に複数個並べることで構成される。この時、使用する超音波出力素子の数が多いほど、超指向性スピーカによって得られる音声の音量は大きくなる。超指向性スピーカの原理を簡単に説明する。よく知られるように、超音波は可聴帯域の音声（例えば人の話し声）と比較して直進性が高い。従って、４０ｋＨｚの超音波信号をキャリア（搬送波）として、キャリアを可聴帯域の音声信号で変調（例えばＡＭ変調）することで、特定の限られた空間領域だけで音声が聞こえるようにすることが可能となる。
　例えば、撮像部１１８０として複数のカメラを用いることで、ユーザの顔や耳の位置を特定し、その特定の結果に応じて、超指向性スピーカ３０からの出力によって、ユーザの耳の近傍領域においてのみ音声が聞こえるようにすることができる。具体的には、超指向性スピーカ３０を構成する超音波出力素子に入力する超音波信号の位相（言い換えると遅延時間）を制御することで、特定の限られた空間領域だけで音声が聞こえるようにすることができる。また、複数の超音波出力素子を、平面上ではなく、例えば、凹面状の面に配置する構成によっても、特定の限られた空間領域だけで音声が聞こえるようにすることができる。
　不揮発性メモリ１１０８は、空間浮遊映像情報表示システム１で用いる各種データを格納する。不揮発性メモリ１１０８に格納されるデータには、空間浮遊映像３として表示される各種操作用のデータ、アイコンやボタンなどのユーザインタフェース映像情報、ユーザが操作するためのオブジェクトのデータやレイアウト情報なども含まれてもよい。メモリ１１０９は、空間浮遊映像３として表示する映像データや装置の制御用データを記憶する。
　制御部１１１０は、空間浮遊映像情報表示システム１のコントローラ（言い換えると制御装置）に相当し、接続される各部の動作を制御する。制御部１１１０は、プロセッサなどのデバイスを備えている。制御部１１１０は、不揮発性メモリ１１０８やストレージ部１１７０からメモリ１１０９または内蔵メモリに読み出したプログラムに従った処理を実行する。これにより、各種の機能が実現される。制御部１１１０は、メモリ１１０９に格納されるプログラムと協働して、接続される各部から取得した情報に基づいた演算処理を行ってもよい。制御部１１１０は、空間浮遊映像情報表示システム１を構成する筐体内に、マイコンなどを用いて実装されてもよいし、筐体外に接続・実装されてもよい。
　通信部１１３２は、有線または無線の通信インタフェースを介して、外部機器や外部のサーバなどと通信を行う。通信部１１３２は、当該通信により、映像、画像、音声、各種データを送受信する。
　ストレージ部１１７０は、映像、画像、音声、各種データなどを記録する。例えば、製品出荷時に、予め、映像、画像、音声、各種データなどをストレージ部１１７０に記録しておいてもよい。通信部１１３２を介して外部機器や外部のサーバなどから取得した映像、画像、音声、各種データなどをストレージ部１１７０に記録してもよい。ストレージ部１１７０に記録された映像、画像、各種データなどは、映像表示部１１０２、映像表示装置１０、および再帰性反射部１１０１を介して、空間浮遊映像３として出力可能である。
　空間浮遊映像３にユーザインタフェース（後述の操作メニューやコンシェルジュ映像を含む）として表示する、アイコン、ボタン、ユーザが操作するためのオブジェクトなどのデータや、コンシェルジュ映像を構成するデータも、ストレージ部１１７０に記録する映像や画像のデータに含まれていてもよい。また、空間浮遊映像３にユーザインタフェースとして表示するアイコン、ボタン、オブジェクトなどの操作メニューやコンシェルジュのレイアウト情報や、操作メニューやコンシェルジュに関する各種メタデータなどの情報も、ストレージ部１１７０に記録する各種データに含まれていてもよい。また、空間浮遊映像３のコンシェルジュが音声出力するための音声データも、ストレージ部１１７０に記録されていてもよい。ストレージ部１１７０に記録されている音声データは、音声信号出力部１１４０を介して、スピーカまたは超指向性スピーカ３０から音声信号として出力すればよい。
　制御部１１１０、または、映像制御部１１６０や音声信号出力部１１４０は、ストレージ部１１７０や不揮発性メモリ１１０８などに記憶されている、操作メニューやコンシェルジュを構成するための各種データに基づいて、操作メニューやコンシェルジュを表示・出力するための映像データや音声データを適宜に作成してもよい。
　映像制御部１１６０は、映像表示部１１０２に入力する映像信号についての各種制御を行う。映像制御部１１６０は、例えば、メモリ１１０９に格納する映像と、映像信号入力部１１３１で入力した映像などのうち、どの映像を映像表示部１１０２に入力する映像とするかなどの映像切り替え制御を行ってもよい。あるいは、映像制御部１１６０は、メモリ１１０９に格納する映像と、映像信号入力部１１３１で入力した映像とを重畳し、映像表示部１１０２に入力する合成映像を生成する制御を行ってもよい。また、映像制御部１１６０は、映像信号入力部１１３１で入力した映像データやメモリ１１０９に格納する映像などに対して画像処理の制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形などを行うスケーリング処理や、輝度を変更するブライト調整処理や、画像のコントラストカーブを変更するコントラスト調整処理や、画像を光の成分に分解して成分ごとの重み付けを変更するレティネックス処理などがある。
　また、映像制御部１１６０は、映像表示部１１０２に入力する映像に対して、ユーザの空中操作を補助するための特殊効果映像処理などを行ってもよい。特殊効果映像処理は、空中操作検出部１３５０によるユーザ操作の検出結果や、撮像部１１８０によるユーザの撮像結果に基づいて制御されればよい。
　上述のように、空間浮遊映像情報表示システム１には、様々な機能を搭載可能である。しかしながら、空間浮遊映像情報表示システム１は、必ずしも上述した構成のすべてを有する必要は無い。空間浮遊映像情報表示システム１は、少なくとも空間浮遊映像３を生成する機能があれば、どのような構成でもよい。
　［空間浮遊映像の形成に関する第１方式］
　図３は、実施例の空間浮遊映像情報表示システムにおける主要部構成を示し、また、空間浮遊映像３の形成、および再帰反射部材２の構成に関する一例（第１方式とする）を示す。
　図３の（Ａ）に示すように、この空間浮遊映像情報表示システムは、ガラスなどの透光性を有する透過性プレートである透明部材１００に対し、斜め方向に、特定偏波の映像光を挟角に発散させる映像表示装置１０を備える。映像表示装置１０は、液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備えている。
　映像表示装置１０から出射された特定偏波の映像光は、透明部材１００に設けられた、特定偏波の映像光を選択的に反射する膜を有する偏光分離部材１０１で反射され、反射された光が、再帰反射部材２に入射する。図３中では、シート状に形成された偏光分離部材１０１が、透明部材１００に粘着されている。
　透明部材１００に対し、他方の斜め方向に、再帰反射部材２が設けられている。再帰反射部材２の映像光入射面には、λ/４板２１（言い換えると四分の一波長板）が設けられている。映像光は、再帰反射部材２への入射の際と出射の際との計２回、λ/４板２１を通過させられることで、特定偏波（一方の偏波）から他方の偏波へ偏光変換される。
　ここで、特定偏波の映像光を選択的に反射する偏光分離部材１０１は、偏光変換後の他方の偏波の偏光については透過する性質を有する。よって、偏光変換後の他方の偏波の映像光は、偏光分離部材１０１を透過する。偏光分離部材１０１を透過した映像光は、図示のように、透明部材１００の外側に、実像である空間浮遊映像３を形成する。
　なお、空中浮遊映像３を形成する光は、再帰反射部材２から空中浮遊映像３の光学像へ収束する光線の集合であり、これらの光線は、空中浮遊映像３の光学像を通過後も直進する。よって、空中浮遊映像３は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。
　よって、図３の構成では、矢印Ａの方向からユーザが視認する場合には空中浮遊映像３は明るい映像として視認されるが、例えば矢印Ｂの方向から他の人物が視認する場合には、空中浮遊映像３は映像として一切視認できない。このような空中浮遊映像３の特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムなどに採用する場合に、非常に好適である。
　なお、再帰反射部材２の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。この場合、偏光軸が不揃いになった一部の映像光は、上述した偏光分離部材１０１で反射されて映像表示装置１０の方に戻る。この一部の映像光は、映像表示装置１０を構成する液晶表示パネル１１の映像表示面で再反射し、ゴースト像を発生させる。これにより、空間浮遊像３の画質の低下を引き起こす要因になり得る。
　そこで、本実施例では、映像表示装置１０の映像表示面に吸収型偏光板１２が設けられている。吸収型偏光板１２は、映像表示装置１０から出射する映像光を当該吸収型偏光板１２にて透過させ、偏光分離部材１０１から戻ってくる反射光を当該吸収型偏光板１２で吸収させることで、再反射を抑制できる。従って、吸収型偏光板１２を用いる本実施の形態によれば、空間浮遊映像３のゴースト像による画質低下を防止または抑制できる。
　上述した偏光分離部材１０１は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。
　図３の（Ｂ）は、第１方式で用いる再帰反射部材２の構成例を示す。図３の（Ｂ）には、代表的な再帰反射部材２として、今回の検討に用いた日本カーバイド工業株式会社製の再帰反射部材の表面形状を示す。この再帰反射部材２は、表面において、規則的に配列された６角柱の再帰反射部（再帰反射素子）２ａを有する。６角柱の内部に入射した光線は、６角柱の壁面と底面で反射され、再帰反射光として、入射光に対応した方向に出射し、映像表示装置１０に表示した映像に基づいて実像である空間浮遊映像３を表示する。
　この空間浮遊映像３の解像度は、液晶表示パネル１１の解像度の他に、図３の（Ｂ）で示す再帰反射部材２の再帰反射部２ａの外形ＤとピッチＰに大きく依存する。例えば、７インチのＷＵＸＧＡ（１９２０×１２００画素）の液晶表示パネル１１を用いる場合には、１画素（１トリプレット）が約８０μmであっても、例えば再帰反射部２ａの直径Ｄが２４０μmでピッチＰが３００μmであれば、空間浮遊映像３の１画素は３００μm相当となる。このため、空間浮遊映像３の実効的な解像度は、１/３程度に低下する。そこで、空間浮遊映像３の解像度を映像表示装置１０の解像度と同等にするためには、再帰反射部２ａの直径ＤとピッチＰを液晶表示パネル１１の１画素に近づけることが望まれる。他方、再帰反射部材２ａと液晶表示パネル１１の画素によるモアレの発生を抑えるためには、それぞれのピッチ比を１画素の整数倍から外して設計するとよい。
　また、形状は、再帰反射部２ａのいずれの一辺も液晶表示パネル１１の１画素のいずれの一辺と重ならないように配置するとよい。
　一方、再帰反射部材２を低価格で製造するためには、ロールプレス法を用いて成形するとよい。この方法は、具体的には、再帰反射部２ａを整列させフィルム上に賦形する方法である。この方法は、賦形する形状の逆形状をロール表面に形成し、固定用のベース材の上に紫外線硬化樹脂を塗布し、ロール間を通過させることで、必要な形状を賦形し、紫外線を照射して硬化させ、所望形状の再帰反射部材２を得る。
　［空間浮遊映像の形成に関する第２方式］
　次に、図４は、本実施例の空間浮遊映像情報表示システムにおける空間浮遊映像３の形成、および再帰反射部材の構成に関する他の一例（第２方式とする）を示す。図４の（Ａ）は、第２方式での再帰反射部材３３０を用いた空間浮遊映像３の形成の概要を示す。再帰反射部材３３０に対し、一方の空間（本例ではＺ方向で下側の空間）内にある物体Ｐ（対応する点Ｐ）からの光は、再帰反射部材３３０に入射し、再帰反射されて、他方の空間（本例ではＺ方向で上側の空間）内に、空間浮遊映像３３１（対応する点Ｑ）を形成する。
　図４の（Ｂ）は、代表的な再帰反射部材３３０として、今回の検討に用いた株式会社アスカネット製の再帰反射部材の動作原理を説明するための表面形状を示す。再帰反射部材３３０は、表面（図示のＸ－Ｙ面）において、規則的に配列された４面の構造体（言い換えると四面体）３３０Ａを有する。側壁３３０Ｂ間に、複数の構造体３３０Ａが配列されている。４面の構造体３３０Ａは、例えばＺ方向に延在する四角柱形状を有するマイクロミラーである。例えば物体Ｐからの光（物体光とも記載）が４面の構造体３３０Ａの内部に入射する。４面の構造体３３０Ａの内部に入射した光線は、４面の構造体３３０Ａの壁面のうち、２つの面（例えば反射面ＲＳ１と反射面ＲＳ２）で反射される。反射された光線（反射面ＲＳ１から上側へ出射される光線と、反射面ＲＳ２から上側へ出射される光線との両方）を、反射光Ｒ０として示す。反射光Ｒ０は、再帰反射光として、入射光に対応した方向に出射し、図４の（Ａ）のように、物体Ｐに基づいた実像である空間浮遊映像３３１を形成・表示する。
　この空間浮遊映像３３１の解像度も、前述した図３の第１方式の再帰反射部材２と同様に、再帰反射部材３３０の再帰反射部（４面の構造体３３０Ａ）の外形（直径）ＤＳとピッチＰＴに大きく依存する。例えば、７インチのＷＵＸＧＡ（１９２０×１２００画素）の液晶表示パネルを用いる場合には、１画素（１トリプレット）が約８０μmであっても、例えば再帰反射部の外形（直径）ＤＳが１２０μmでピッチＰＴが１５０μmであれば、空間浮遊像３３１の１画素は１５０μm相当となる。このため、空間浮遊映像３３１の実効的な解像度は、１/２程度に低下する。
　そこで、空間浮遊映像３３１の解像度を映像表示装置１０の解像度と同等にするためには、再帰反射部（構造体３３０Ａ）の直径ＤＳとピッチＰＴを、液晶表示パネルの１画素に近づけることが望まれる。他方、再帰反射部材３３０と液晶表示パネルの画素によるモアレの発生を抑えるためには、前述のようにそれぞれのピッチ比を１画素の整数倍から外して設計するとよい。また、形状は、再帰反射部（構造体３３０Ａ）のいずれの一辺も液晶表示パネルの１画素のいずれの一辺と重ならないように配置するとよい。
　なお、空間浮遊映像３３１を形成する光は、再帰反射部材３３０から空中浮遊映像３３１の光学像へ収束する光線の集合であり、これらの光線は、空中浮遊映像３３１の光学像を通過後も直進する。よって、空間浮遊映像３３１は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像となる。
　図４の構成では、矢印Ａの方向からユーザが視認する場合には、空間浮遊映像３３１は、明るい映像として視認されるが、例えば矢印Ｂの方向から他の人物が視認する場合には、空間浮遊映像３３１は映像として一切視認できない。このような空間浮遊映像３３１の特性は、前述の第１方式の再帰反射部材２を用いた空中浮遊映像と同様に、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムなどに採用する場合に、非常に好適である。
　なお、第２方式の再帰反射部材３３０においては、物体Ｐからの光は、図４（Ｂ）に示すように、再帰反射部材３３０に対して一方の側（Ｚ方向の下側）から入射し、再帰反射部材３３０を構成する４面の壁面に設けられた２つの反射面（ＲＳ１，ＲＳ２）で反射し、反射光Ｒ０として、他方の側（Ｚ方向の上側）に、点Ｑの位置に、空間浮遊映像３３１を結像する。この時、２つの反射面（ＲＳ１，ＲＳ２）では、反射光Ｒ０とは反射方向が異なる光として異常光Ｒ１，Ｒ２が発生する。２つの反射面（ＲＳ１，ＲＳ２）で発生した異常光Ｒ１，Ｒ２により、図４の（Ａ）に示すようなゴースト像３３２，３３３を発生させる。このため、ゴースト像３３２，３３３が空間浮遊映像３３１の画質の低下を引き起こす要因となり得る。
　上述したように、第１方式での再帰反射部材２は、反射面の数に応じてゴースト像が発生する。それに対し、第２方式での再帰反射部材３３０は、物体光の入射角度により特定の２方向にのみゴースト像が発生する。よって、第２方式での再帰反射部材３３０の方が、ゴースト像の影響が少なく、高画質な空間映像表示が可能となる。そのため、以下に示す空間浮遊映像表示装置および空間浮遊映像情報表示システムとしては、第２方式の再帰反射部材３３０を適用する場合に絞って説明する。
　［ゴースト像を低減する技術手段］
　ゴースト像を低減した高画質な空間浮遊映像を形成できる空間映像表示装置などを実現するためには、映像表示素子としての液晶表示パネルからの映像光の発散角を制御して、所望の方向に曲げるために、液晶表示パネルの出射面に映像光制御シートを設けるとよい。さらに、再帰反射部材３３０の光線出射面、または光線入射面、またはそれらの両面に、映光制御シートを設けて、ゴースト像を発生させる要因となる異常光Ｒ１，Ｒ２（図４の（Ｂ））を吸収させるとよい。
　図５には、上記映像光制御シートを空間浮遊映像表示装置に適用する具体的な方法および構成例を示す。図５では、映像光制御シート３３４が、映像表示素子である液晶表示パネル３３５の出射面に設けられる。図５では、液晶表示パネル３３５の出射面を、図示のＸ軸とＹ軸とが為す平面（Ｘ－Ｙ面）として示している。映像光制御シート３３４は、主面（Ｘ－Ｙ面）において、透過部と光吸収部とを有している。この場合に、液晶表示パネル３３５の画素と映像光制御シート３３４の透過部および光吸収部とのピッチによる干渉によってモアレが発生し得る。このモアレを低減するためには、以下に示す２つの方法が有効である。
　（１）第１の方法としては、映像光制御シート３３４の透過部と光吸収部により生じる縦縞（図示の斜め線）を、液晶表示パネル３３５の画素の配列（Ｘ軸およびＹ軸）に対して、所定の角度（傾き）θ０だけ傾けて配置する。
　（２）第２の方法としては、液晶表示パネル３３５の画素寸法をＡ、映像光制御シート３３４の縦縞のピッチをＢとした場合に、これらの比率（Ｂ/Ａ）を、整数倍から外した値に選択する。液晶表示パネル３３５の１画素は、ＲＧＢの３色のサブ画素が並列して成り、一般的には正方形であるため、上述したモアレの発生を画面全体で抑えることはできない。このため、（１）の第１の方法に示した傾きθ０は、空間浮遊映像を表示させない箇所にモアレの発生位置を意図的にずらして配置できるように、５度から２５度の範囲内で最適化すればよい。
　上記モアレを低減するために、液晶表示パネルと映像光制御シート３３４を題材に述べたが、再帰反射部材３３０に映像光制御シート３３４を設ける場合に再帰反射部材３３０と映像光制御シート３３４との間に発生するモアレについても、同様の方法・構成が適用できる。再帰反射部材３３０と映像光制御シート３３４は、両者が線状の構造体であるため、映像光制御シート３３４を、再帰反射部材３３０のＸ軸およびＹ軸に着目して最適に傾ければよい。これにより、目視でも視認できる、波長が長く周波数が低い大柄なモアレを低減できる。
　図６の（Ａ）は、液晶表示パネル３３５の映像光出射面３３５１に映像光制御シート３３４が配置された構成を有する映像表示装置１０の垂直断面図を示す。映像光制御シート３３４は、主面において、光透過部３３６と光吸収部３３７とが交互に配置して構成され、粘着層３３８により、液晶表示パネル３３５の映像光出射面３３５１に粘着固定されている。
　また、前述したように、映像表示装置１０として７インチのＷＵＸＧＡ（１９２０×１２００画素）の液晶表示パネルを用いる場合には、１画素（１トリプレット）（図中のＡで示す）が約８０μmであっても、以下の構成で、空間浮遊映像３３１の両側に発生する図４の（Ａ）のゴースト像３３２，３３３を軽減できる。例えば、映像光制御シート３３４のピッチＢとして、透過部３３６の距離ｄ２が３００μmと、光吸収部３３７の距離ｄ１が４０μmとからなるピッチＢを３４０μmとする。この場合、映像光制御シート３３４により、十分な透過特性と、異常光の発生原因となる映像表示装置１０からの映像光の拡散特性とを制御することで、ゴースト像を軽減できる。この場合、映像制御シート３３４の厚さは、ピッチＢの２/３以上とすると、ゴースト低減効果が大幅に向上する。
　図６の（Ｂ）は、再帰反射部材３３０（図４）の映像光出射面に映像光制御シート３３４が配置された構成の垂直断面図を示す。映像光制御シート３３４は、光透過部３３６と光吸収部３３７とが交互に配置されて構成され、再帰反射部材３３０に対し、再帰反射光３３４１の出射方向に合わせて所定の傾斜角θ１を持って傾斜配置されている。この結果、映像光制御シート３３４によって、前述した再帰反射に伴って発生する異常光Ｒ１，Ｒ２（図４の（Ｂ））を吸収し、他方、正常反射光は、再帰反射光３３４１として、損失無く透過させることができる。
　再帰反射部材３３０は、前述の４面の構造体３３０Ａ（図４）による再帰反射部に対応する空間３３０１が配列されている。再帰反射部に対応する空間３３０１は、側壁３３０Ｂの面によって区切られている。空間３３０１内は例えば反射面Ｒ１や反射面Ｒ２を有する。再帰反射部材３３０に対し、例えば下側から入射した光ａ１は、例えば空間３３０１の反射面Ｒ１で反射され、反射された光ａ２はさらに例えば反射面Ｒ２で反射されて、再帰反射部材３３０の上側に出射する。その出射した光は、映像光制御シート３３４に入射されて、再帰反射光３３４１として出射される。
　７インチのＷＵＸＧＡ（１９２０×１２００画素）の液晶表示パネルを用いる場合には、１画素（１トリプレット）が約８０μmであっても、以下の図４の（Ａ）のような構成で、空間浮遊映像３３１３３０の両側に発生するゴースト像３３２，３３３を軽減できる。図６の（Ｂ）に示すように、例えば、映像光制御シート３３４のピッチＢとして、再帰反射部材３３０の透過部３３６の距離ｄ２が４００μmと、光吸収部３３７の距離ｄ１が２０μmとからなるピッチＢが４２０μmとする。この場合、映像光制御シート３３４により、十分な透過特性と、再帰反射部材３３０での異常光の発生原因となる映像表示装置１０からの映像光の拡散特性を制御し、ゴースト像を軽減できる。
　上述した映像光制御シート３３４は、他方、外界からの外光が空間浮遊映像表示装置内に侵入する妨げにもなるため、構成部品の信頼性向上にも繋がる。この映像光制御シート３３４としては、例えば信越ポリマー（株）の視野角制御フィルム（ＶＣＦ）が適している。そのＶＣＦの構造は、透明シリコンと黒色シリコンとが交互に配置され、光入出射面に合成樹脂が配置されて、サンドウィッチ構造となっている。そのため、このＶＣＦを本実施例の映像光制御シート３３４として適用した場合に、上述の効果が期待できる。
　［空間浮遊映像に対する操作をセンシングする技術］
　ユーザ（利用者、操作者などと記載する場合もある）は、空間浮遊映像情報表示システム１による空間浮遊映像３（図２など）を介して、システムと双方向で接続される。言い換えると、ユーザは、空間浮遊映像３を見て操作することで、システムのアプリケーション（例えばキオスク端末のチケット販売機能）などを利用する。そのために、ユーザが空間浮遊映像３を疑似的に操作してその操作をセンシングするためのセンシング技術が必要である。このセンシング技術の例について、以下に具体例を挙げて説明する。ここでいう「センシング技術」とは、図２を用いて説明した空中操作検出センサ１３５１および空中操作検出部１３５０を含み、特に、３次元空間におけるユーザの操作（言い換えると空中操作）を検出するための技術である。空中操作検出センサ１３５１および空中操作検出部１３５０を、センシングシステムと記載する場合がある。
　図７の（Ａ）は、第１のセンシング技術を説明するための原理図を示す。図７の（Ａ）に示すように、空間浮遊映像ＦＩに対するセンシングエリアａ０、ａ１、ａ２、ａ３は、それぞれ複数のエリア（言い換えると領域）に分割される。本実施例では、センシングエリアａ０、ａ１、ａ２、ａ３は、縦横で３×４＝１２のエリアに１２分割されている。図７の（Ａ）では、空間浮遊映像ＦＩの面をｘ－ｙ面として示しており、面に対する前後方向をｚ方向で示している。例えば、図示のエリアＡ３０１は、センシング面ａ３のうちの左上の１つのエリアである。
　第１のセンシング技術では、空間浮遊映像ＦＩのそれぞれのエリアに対応したＴＯＦ（Time of Flight）システムを内蔵した第１の測距装置３４０が設けられる。第１の測距装置３４０は、図２での空中操作検出センサ１３５１の代わりに設けられる。第１の測距装置３４０の発光部から、システムの信号に同期させて、光源である近赤外線発光のＬＥＤ（Light Emitting Diode）を発光させる。ＬＥＤの光線出射側には、発散角を制御するための光学素子が設けられ、受光素子としてピコ秒の時間分解能を持つ高感度なアバランシェダイオード（ＡＢＤ）を一対として、１２エリアに対応するように、縦４列、横３行に整列配置される。システムからの信号に同期させて、光源であるＬＥＤが発光し、その光が、測距すべき対象物（ここではユーザの手指ＵＨの先端）に反射して、受光部に戻るまでの時間だけ、位相のずれ（位相シフト）、すなわち、発光タイミングと受光タイミングの時間的なずれ、より具体的には、後述する、図９中のΔｔ０～Δｔ１１が生じる。
　図９の（Ｂ）に示すセンシングシステムの演算ユニットは、システムからの信号と、第１の測距装置３４０の受光部であるアバランシェダイオードによって生成される信号とを受け取り、これらの信号から、位相シフトを計算することで、対象物までの距離を算出する。エリアごとに対応付けられたＴＯＦシステム（ＴＯＦ１～ＴＯＦ１２）ごとに、距離が算出される。図７の（Ａ）で、空間浮遊映像ＦＩの面に対し、ｚ方向で、対象物（手指ＵＨ）に近い側には、測距装置３４０の計測階層として、対象物に近い順に、センシング面ａ３，ａ２，ａ１（第１センシング面ａ３、第２センシング面ａ２、第３センシング面ａ１とも記載）を示し、さらに空間浮遊映像ＦＩから離れる側に、計測階層として、センシング面ａ０を示す。距離Ｌ１はセンシング面ａ０までの距離、距離Ｌ２はセンシング面ａ１までの距離、距離Ｌ３はセンシング面ａ２までの距離、距離Ｌ４はセンシング面ａ１までの距離を示す。
　次に、センシングシステムは、対象物（手指ＵＨ）の移動の方向については、それぞれの計測階層（センシング面ａ３～ａ１）において、１２のエリアのどのエリアを通過したかを認識し、それぞれの計測階層の移動時間を前述した方法で算出することで、システムとして認識できる。
　図９の（Ａ）には、１２の測定エリアごとのＬＥＤ光源の発光のタイミングと受光素子の受光のタイミングを示す。ＳＵ１～ＳＵ１２は、各エリアおよびＴＯＦに対応付けられたセンシングユニットごとの発光タイミングと受光タイミングを示す。図９の（Ａ）に示すように、センシングユニットＳＵ１においては、発光タイミングと受光タイミングとの時間差はΔｔ０であり、センシングユニットＳＵ２においては、発光タイミングと受光タイミングとの時間差はΔｔ１であり、センシングユニットＳＵ１２においては、発光タイミングと受光タイミングとの時間差はΔｔ１１であることがわかる。ここで、センシングシステムは、ＬＥＤの発光のタイミングを１２の測定エリアごとに遅延させることで、個々のデータを画一化させている。
　実際に、システムに双方向で接続されるために、ユーザが、意思によって、空間浮遊映像ＦＩに向けて手指ＵＨを伸ばしたとする。その場合、センシングシステムは、空中浮遊映像ＦＩから最も遠いセンシング面ａ３において例えばエリアＡ３０１で感知した第１感知信号Ｓ１と、例えばセンシング面ａ２の特定エリアで感知した第２の感知信号Ｓ２と、例えば第３センシング面ａ１の特定エリアで感知した第３の感知信号Ｓ３とを得る。センシングシステムは、これらの感知信号（Ｓ１～Ｓ３）によって、手指ＵＨの移動方向とそれぞれのセンシング面を横切った時間差から、空間浮遊映像ＦＩとの接点位置を計算処理して求める。
　さらに高精度な位置情報を取得するため、空間浮遊映像ＦＩから奥に離れた位置のセンシング面ａ０が設定される。センシングシステムは、センシング面ａ０での感知に基づいて、空間浮遊映像ＦＩを手指ＵＨが通過したことを終了信号として検知するとともに、その感知の位置座標と、前述した２つの感知信号とから、空間浮遊映像ＦＩへの接触点を３次元座標として求める。
　また、図７の（Ｂ）は、ユーザの手指ＵＨ（特に指先端）によって空間浮遊映像ＦＩの一部を選択する動作と、ユーザの手指ＵＨが空間浮遊映像ＦＩの一部から離れる動作とを示す。図７の（Ｂ）に示すように、第１のセンシング技術では、ユーザが空間浮遊映像ＦＩの所望の位置座標に接触した後、手指ＵＨを戻した場合には、以下のようになる。すなわち、センシングシステムは、第３センシング面ａ３で感知した第３の感知信号Ｓ３と第２センシング面ａ２で感知した第２の感知信号Ｓ２とによって、さらに第１センシング面ａ１で感知した第１の感知信号Ｓ１を、順次、センシングシステムの演算ユニットに伝達し、計算処理する。これにより、空間浮遊映像ＦＩの特定座標からユーザの手指ＵＨが離れたことが、システム上で認識される。
　次に、空間浮遊映像を疑似的に操作するためのさらに高精度なセンシング技術について以下に説明する。
　図８の（Ａ）は、第２のセンシング技術を説明するための原理図を示す。第２のセンシング技術は、図７の（Ａ）に示した第１のセンシング技術との違いとしては、第１の測距装置３４０に加え、第２の測距装置３４１が配置併設され、より高精度なセンシングを実現する。第１の測距装置３４０と第２の測距装置３４１が併設されてもよい。第２のセンシング技術では、第２の測距装置３４１（特にＣＭＯＳセンサ）を第２センシングシステムとして、第１センシングシステムと組み合わせて用いる。図８の（Ａ）に示すように、第２の測距装置３４１は、第１の測距装置３４０と同様の範囲（センシング面ａ１，ａ２，ａ３，ａ０）を対象としてセンシングする。
　第１の測距装置３４０は、上述したように、空間浮遊映像ＦＩにおける例えば１２個に分割された複数のエリアの各エリアに対応したＴＯＦシステムを内蔵している（図８の（Ｂ）での第１センシングシステム）。他方、第２の測距装置３４１は、２次元の画像センサ、例えばセンシングカメラ用途の１/４インチＣＭＯＳセンサを適用する。このＣＭＯＳセンサの縦横比は、３:４が一般的である。このため、本実施例では、そのＣＭＯＳセンサの縦横比に合わせて、第１の測距装置３４０のＴＯＦシステムについても、センシングエリアを上述のように縦３分割、横４分割として合計１２エリアとしている。
　また、ＣＭＯＳセンサの解像度は、１００万画素程度でも十分な分解能が得られるが、通常のカメラシステムとは異なり、ＲＧＢの色分離フィルターを設ける必要が無い。そのため、ＣＭＯＳセンサは、同一画素数では小型化や高感度化が実現できるばかりでなく、近赤外光に対する感度が高い。そのため、第２のセンシング技術では、第１の測距装置３４０のＴＯＦシステムの光源光によって測距すべき対象物（手指ＵＨの先端）がエリアごとに決められたタイミングで照明されるので、検知精度が大幅に向上する。詳解は省くが、図９の（Ｂ）には、以上述べたシステムを機能ブロック図として示している。
　図８の（Ｂ）は、第１の測距装置３４０によるセンシング面ａ１，ａ２，ａ３と、それらに対応して設けられた、第２の測距装置３４１によるセンシング面ｂ１，ｂ２，ｂ３と、を示す。そして、図８の（Ｂ）は、それらのセンシング面に対する、手指ＵＨによる、空間浮遊映像ＦＩの一部を選択する動作や、一部から離れる動作を示す。
　図８の（Ｂ）に示すように、第２のセンシング技術を用いた空間浮遊映像情報表示システムにおいては、ユーザが意思によって空間浮遊映像ＦＩに向けて手指ＵＨを伸ばした場合、以下のようになる。この場合、上述した第１の測距装置３４０による３次元情報の他に、第２の測距装置３４１による３次元情報が得られる。空中浮遊映像ＦＩから最も遠い第１の測距装置３４０のセンシング面ａ３に対応した第２の測距装置３４１のセンシング面ｂ３の平面分解能は、使用しているＣＭＯＳセンサの解像度に合わせて高精度化できる。同様に、センシング面ａ２にはセンシング面ｂ２が対応し、センシング面ａ１にはセンシング面ｂ１が対応している。これにより、平面方向の分解能を大幅に向上させたセンシングシステムが実現できる。
　この時、対象物（ユーザの手指ＵＨの先端）の移動方向については、第１の測距装置３４０および第２の測距装置３４１のそれぞれのセンシング面を横切った時間差から、空間浮遊映像ＦＩとの接点位置が、計算処理で求められる。さらに高精度な位置情報を取得するため、空間浮遊映像ＦＩから奥側に離れたセンシング面ａ０が設定される。センシングシステムは、空間浮遊映像ＦＩを手指ＵＨが通過したことを終了信号として検知するとともに、そのセンシング面ａ０での位置座標と前述した２つの感知信号から、空間浮遊映像ＦＩへの接触点を、より精細度の高い３次元座標として算出できる。
　また、ＣＭＯＳセンサのフレームレートを１/２０秒から１/３０秒、１/１２０秒と高速化した場合には、平面方向の検知精度に加え、単位時間当たりに取り込む平面情報が増えるため、分解能が大幅に向上する。この時、第２のセンシング技術による検出情報は、第１のセンシング技術による位置情報とは、システムから供給される同期信号により、系統付けされる。
　さらに、図８の（Ｂ）に示すように、ユーザが空間浮遊映像ＦＩの所望の位置座標に接触した後、手指ＵＨを戻した場合には、上述した第１のセンシング技術と同様に、第３センシング面ａ３で感知した第３の感知信号Ｓ３、第２センシング面ａ２で感知した第２の感知信号Ｓ２、および第１のセンシング面ａ１で感知した第１の感知信号Ｓ１が、順次にセンシングシステムの演算ユニットに伝達される。そして、演算ユニットでの計算処理によって、空間浮遊映像ＦＩの特定座標からユーザの手指ＵＨが離れたことが、システム上で認識される。
　以上述べたセンシングシステムの第１の測距装置３４０のＴＯＦセンサで使用するＬＥＤ光源は、測距装置の太陽光などの外光に対する精度低下を防ぎ、肉眼で視認できない可視光範囲（３８０nm～７８０nm）を超えた領域で光のエネルギーが高い近赤外光を用いるとよい。
　図１０には、太陽光の分光放射照度の特性図を示している。ＴＯＦセンサのＬＥＤの光源光の波長としては、図１０に示した太陽光の分光放射照度のエネルギーが少ない９２０nmの波長λ１の光を用いるとよい。
　[空間浮遊映像に対し文字や図形を入力する技術]
　次に、実施例の空間浮遊映像情報表示システムとして、ユーザが空間浮遊映像に文字や図形などの任意の像を入力できる技術について説明する。この技術を用いることで、ユーザが空間浮遊映像に対し例えばサイン（署名）の入力を行うことができる。
　前述の図２の空中操作検出センサ１３５１を用いたセンシング技術や、図７や図８のＴＯＦシステムを用いたセンシング技術を用いることで、対象物としてユーザの手指の指先位置や移動方向、空間浮遊映像との接点位置、空間浮遊映像から指が離れた位置（離脱位置とも記載）などを求めることができる。よって、空間浮遊映像情報表示システムは、上記接点位置および離脱位置の検出情報に基づいて、それらの２点を結ぶ線分を、空間浮遊映像の面に像として描画が可能となる。
　本実施例では、上記センシング技術を利用することで、空間浮遊映像の面上で、ユーザの手指の動き、言い換えると接点の位置の移動を検出することで、文字などの線を入力・表示することができる。
　例えば、空間浮遊映像情報表示システムは、空間浮遊映像とユーザの指先との接点位置を検出し、その後、指先が面内で別の位置に移動し、その移動した先で指先が空間浮遊映像から離れたことおよび離脱点を検出する。これにより、空間浮遊映像の面上で、例えば、線分や曲線などの図形、あるいは、アルファベットや数字のような文字の描画が可能となる。これにより、あたかも、タッチパネル付きの液晶ディスプレイの面上で図形や文字を描くことと同様に、空間浮遊映像の面上で図形や文字の入力ができる。
　また、図示しないが、空間浮遊映像情報表示システムは、センシング技術を用いて、空間浮遊映像に対するユーザの指先の動きを、所定の時間間隔（例えば１００ミリ秒）でサンプリングし、各サンプリング点を結ぶように空間浮遊映像に線を描画する。これにより、例えば数字の１、２、３、アルファベットのＬやＭなどのような、一筆書きができる文字や図形である場合、空間浮遊映像として描画が可能である。
　さらに、例えば、４やＨなどのような、一筆書きができない文字や図形の場合には、以下のように対応できる。すなわち、ユーザが例えばＨの文字を入力する場合、システムは、まず、空間浮遊映像の面に対する指の連続的な接触による縦の線（第１の線）を検出・描画する。次に、システムは、ユーザが面から一旦指を離してから再び指を別の位置に接触したことを検出して、横の線（第２の線）を検出・描画する。最後に、システムは、ユーザが面から指を離して再び別の位置に接触したことを検出して、縦の線（第３の線）を検出・描画する。これにより、空間浮遊像の面にＨの文字を描画できる。
　図１２は、上記空間浮遊映像に対するユーザの手指による文字や図形などの像を入力・描画する技術についての説明図を示す。図１２では、空間浮遊映像情報表示システム１により表示される空間浮遊映像ＦＩをユーザの視点から見た場合の模式図を示す。本例では、空間浮遊映像ＦＩは、システムの筐体１２０１の水平面に対し斜めに配置されており、ユーザの視点からはやや斜め下に空間浮遊映像ＦＩを見る。本例では、空間浮遊映像ＦＩは、四角形の枠１２０２（なお、これは枠状のデバイスではない）の表示を含んでいる。最初、枠１２０２は所定の色（例えば緑色）で表示されており、枠１２０２内には所定の背景色のみが表示されているとする。
　図１２の例では、ユーザの手指の指先ＵＦによって、空間浮遊映像ＦＩ面上に、単純な文字の例として、アルファベットのＬを描く様子を示している。その際、ユーザは、文字を描くという意思を、何らかの方法で空間浮遊映像情報表示システム１に伝える。例えば、一実施例では、物理的な押しボタンとして、文字入力ボタン１２０３が、空間浮遊映像情報表示システム１の任意の箇所、本例では筐体１２０１上の右下の位置に設けられている。ユーザが文字入力ボタン１２０３を押した場合、システムは、ユーザが空間浮遊映像ＦＩに対し文字などを入力する意思として捉え、空間浮遊映像ＦＩに対し入力・描画するモード（文字入力モードとも記載）に遷移する。また、物理的な押しボタンではなく、音声で文字を描くという意思を空間浮遊映像情報表示システム１に伝えることも可能となる。
　これに限らず、他の実施例では、空間浮遊映像情報表示システム１が提供する空間浮遊映像ＦＩの一部に、ユーザインタフェースとして、文字入力ボタンが表示されてもよい。ユーザがその文字入力ボタンをタッチ操作することで、同様に、システムは、空間浮遊映像ＦＩに対し入力・描画するモードに遷移する。
　空間浮遊映像情報表示システム１は、文字入力モードでは、空間浮遊映像ＦＩの画面全体を例えば白色の表示に変化させる。また、システムは、文字入力モードでは、空間浮遊映像ＦＩの枠１２０２を、所定の色、例えば赤色に変化させる。システムは、空間浮遊映像ＦＩの面に対するユーザの指ＵＦの動きや接点位置を前述のように３次元的にセンシングする。そして、システムは、そのセンシングに基づいて、空間浮遊映像ＦＩの面において、指ＵＦの動きに対応した接点位置を、背景である白色とは異なる所定の色、例えば黒色あるいは青色などで描画する。これにより、指ＵＦの動きの軌跡が、空間浮遊映像ＦＩの白色の背景面上に、線として描画される。そうすれば、ユーザ自身が、空間浮遊映像ＦＩにおける自分が描いた線を見ながら、所望の文字や図形を描くことができる。
　システムは、空間浮遊映像ＦＩの面に指ＵＦが接触していない状態（言い換えると指先が面の手前にある状態）と、空間浮遊映像ＦＩの面に指ＵＦが接触している状態（言い換えると指先が面の奥に差し込まれた状態）とで、空間浮遊映像ＦＩの表示状態が異なるように表示を制御する。これにより、ユーザは、自分の指ＵＦが空間浮遊映像ＦＩの面に触れているか否かをより容易に認識できる。
　図１２で、ユーザが空間浮遊映像ＦＩの面上にアルファベットのＬを描く場合の手順を説明する。まず、手順Ｓ１２１として、ユーザは、空間浮遊映像ＦＩ上の任意の位置に対し、奥方向に指ＵＦを差し込む（言い換えると接触を維持させる）。次に、手順Ｓ１２２として、ユーザは、空間浮遊映像ＦＩ上で、その指ＵＦを、接触の状態のまま、下方に移動させる。下向きの矢印は、指ＵＦの移動方向（面に沿って下方）を示す。システムは、この移動の検出に伴い、Ｌという文字のうちの縦の線（第１の線）１２１１を、空間浮遊映像ＦＩの一部として描画する。
　次に、手順Ｓ１２２は、縦の第１の線１２１１の下方の終端位置まで指ＵＦが達した状態を示す。ここまでで縦の第１の線１２１１が描画された。この状態で指ＵＦの接触は維持されている。次に、手順Ｓ１２３は、第１の線１２１１が描かれた時点から、ユーザが指ＵＦを右向きに移動させる。システムは、この移動の検出に伴い、Ｌという文字のうちの横の線（第２の線１２１２）を描画する。指ＵＦの位置は、横の第２の線１２１２の右端位置まで達している。
　次に、手順Ｓ１２４として、ユーザは、第２の線１２１２の右端位置にある指ＵＦを、空間浮遊映像ＦＩの面からに手前側に離す。システムは、この指ＵＦの離脱を検出し、第２の線１２１２の描画終了とする。上記のような一連の操作により、ユーザは、Ｌという文字を空間浮遊映像ＦＩ上に一筆書きで描くことができる。
　ユーザにより、文字入力ボタン１２０３が押下されて文字入力モードになった場合、空間浮遊映像ＦＩは、画面全体（背景面）が白色に変化するのみならず、空間浮遊映像ＦＩの枠１２０２の部分が例えば緑色から赤色に変化する。これにより、ユーザは文字入力モードであることを容易に認識できるので、好適である。また、文字入力モードを終了したいときには、ユーザは、再び、文字入力ボタン１２０３を押下すればよい。その場合、システムは、文字入力モードを終了させて、元のモードに戻る。上記例では、空間浮遊映像ＦＩの画面全体が白色に変化するとしたが、これに限らず、白色以外の色、例えば黒色やその他の色でも構わない。
　なお、上記文字入力モードとした上で、ユーザが空間浮遊映像ＦＩにタッチ（指ＵＦが接触）することで、空間浮遊映像ＦＩの枠１２０２の部分が、例えば赤色に変化するようにしてもよい。空間浮遊映像ＦＩの枠１２０２の部分を赤色に変化させることで、ユーザは、自分の指が空間浮遊映像ＦＩの面に接触していて文字を描画できる状態であることを認識できる。
　上記した一連の動きにより、ユーザが指先を移動させることで、所望の文字や図形などを空間浮遊映像ＦＩの像として入力・描画できる。なお、空間浮遊映像ＦＩの枠１２０２の部分についても、赤色以外の色、例えば青色やその他の色としても構わない。さらに、上記例では、図形や文字などの像を入力・描画できる領域を空間浮遊映像ＦＩの画面全体とした。これに限らず、像を入力・描画できる領域は、空間浮遊映像ＦＩの画面のうちの所定の一部としても構わない。
　ユーザは、空間浮遊映像ＦＩを、操作メニューなどのユーザインタフェースとして用いることができるのみならず、上記文字入力モードにおいては、空間浮遊映像ＦＩ上に、自分の手指（あるいは導電性の材質によるペンなどでもよい）により、任意の文字や図形を入力・描画可能となる。これにより、空間浮遊映像および空間浮遊映像表示装置の適用範囲を従来よりもさらに広げることができ、好適である。
　＜空間浮遊映像情報表示システムの第２の構成例＞
　図１３の（Ａ）は、一実施例に係る空間浮遊映像情報表示システム１の主要部構成を示す。また、図１３の（Ｂ）は、図１３の（Ａ）に示す映像表示装置１０の映像光出射側、つまり表示パネル１１の映像光出射側に配置されたレンチキュラーレンズ１１０３の拡大図である。図１３の（Ａ）に示す空間浮遊映像情報表示システム１は、監視者であるユーザが空間浮遊映像３を斜め上方から観察するのに適したシステムである。図１３の（Ａ）中の座標系（Ｘ，Ｙ，Ｚ）では、空間浮遊映像情報表示システム１の筐体３５０が水平面（Ｘ－Ｙ面）に配置されており、空間浮遊映像３は、鉛直方向（Ｚ方向）に対し、前後方向（Ｙ方向）でやや斜めに傾いて形成されている。ユーザの視点Ｅから、空間浮遊映像３の面を正対して好適に視認する場合、視点Ｅは、図示のように、空間浮遊映像３の面に対し、光軸Ｊ２に合わせて、Ｙ方向でやや斜め上に配置される。ユーザは、視点ＥからＹ方向でやや斜め下の視線で空間浮遊映像３を好適に視認できる。一方、図１３の（Ｂ）は液晶パネルより出射された光の方向と逆方向から見た図である。図１３の（Ｂ）に示すように、レンチキュラーレンズ１１０３は、液晶パネルの光出射面に略平行または平行し、かつ、液晶パネル面より出射される映像光側に配置される。また、レンチキュラーレンズのかまぼこ状の複数の半円筒は、Ｘ－Ｚ平面から見て縦に並んで配置される。なお、上記座標系は、図１３の（Ａ）（Ｂ）で共通である。
　筐体３５０内には、映像表示装置１０などが所定の位置関係で配置されている。筐体３５０の上面（Ｘ－Ｙ面）は、開口部となっており、所定の角度α１で、再帰反射部材３３０が配置されている。映像表示装置１０の光軸Ｊ１は、Ｙ方向に対し所定の角度β１で斜め上を向いている。
　映像表示装置１０は、映像表示素子としての液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備えて構成されている。液晶表示パネル１１は、画面サイズが５インチ程度の小型のものから８０インチを超える大型なものまで適用可能であり、それらから選択されたパネルで構成される。液晶表示パネル１１からの映像光は、光軸Ｊ１上、再帰反射部材３３０（再帰反射部または再帰反射板とも記載）に向けて出射される。液晶表示パネル１１には、後述する狭発散角な光源装置１３からの光を入射させる。これにより、狭発散角な映像光束φ１が生成される。その狭発散角な映像光束φ１を、光軸Ｊ１に沿って、Ｚ方向で下側から再帰反射部材３３０に入射させる。この再帰反射部材３３０での再帰反射により、前述の図４で説明した原理に従って、再帰反射部材３３０に対しＺ方向で上側に、光軸Ｊ２の方向に、狭発散角な映像光束φ２が生成される。その映像光束φ２により、筐体３５０の外の所定の位置に、空間浮遊映像３（図４での空間浮遊映像３３１）が得られる。光軸Ｊ２は、Ｙ方向に対し所定の角度β２で斜め上を向いている。
　空間浮遊映像３は、再帰反射部材３３０を対称面とした映像表示装置１０の対称位置に形成される。斜めに配置された再帰反射部材３３０の面に対し、映像表示装置１０の面と空間浮遊映像３の面とが概略的に略対称な位置または対称的な位置に配置されている。空間浮遊映像３の面において、ｒ２は光軸Ｊ２に対応した中心位置を示し、ｒ１は映像光束φ２の下端の光線に対応した下端位置を示し、ｒ３は映像光束φ２の上端の光線に対応した上端位置を示す。
　この構成において、図４で説明した、再帰反射部材３３０により発生するゴースト像３３２，３３３を消去して高画質な空間浮遊映像３を得るために、液晶表示パネル１１の出射側には、映像光制御シート３３４（詳しくは前述の図５や図６の（Ａ））が設けられている。これにより、不要な方向の拡散特性が制御される。
　さらに、液晶表示パネル１１からの映像光は、図１１に示すように、再帰反射部材３３０などの反射部材での反射率を原理的に高くできるので、Ｓ偏波（電界成分が入射面に垂直な電磁波、Ｓはsenkrechtの略）を使用するとよい。しかしながら、ユーザが偏光サングラスを使用した場合には、空中浮遊映像３が偏光サングラスで反射または吸収されるため、これに対策する場合には、Ｐ偏波（電界成分が入射面に平行な電磁波、Ｐはparallelの略）を使用するとよい。そのためには、特定偏波の映像光の一部を光学的に他方の偏波に変換して疑似的に自然光に変換する素子として、図示の偏光解消素子３３９が設けられる。例えば偏光解消素子３３９が映像光制御シート３３４の出射側に配置されている。これにより、ユーザが偏光サングラスを使用している場合でも、良好な空間浮遊映像３を監視できる。
　偏光解消素子３３９の市販品としては、コスモシャインＳＲＦ（東洋紡社製）、偏光解消粘着剤（長瀬産業社製）が挙げられる。コスモシャインＳＲＦ（東洋紡社製）の場合、画像表示装置上に粘着剤を貼合することにより、界面の反射を低減して輝度を向上させることができる。また、偏光解消粘着剤（長瀬産業社製）の場合、無色透明板と画像表示装置とを偏光解消粘着剤を介して貼合することで使用される。
　また、本実施例では、再帰反射部材３３０の映像出射面にも、映像光制御シート３３８Ｂ（映像光制御シート３３８と同様のもの、詳しくは前述の図６の（Ｂ））が設けられる。これにより、不要光による空間浮遊映像３の正規像の両側に発生するゴースト像３３２，３３３（図４）が消去される。
　本実施例では、再帰反射部材３３０を水平軸（Ｙ方向）に対して所定の角度α１で傾斜させ、空間浮遊映像３を水平軸に対して斜め（特に、水平面よりは垂直面に近い角度での斜め）に生成する構成とした。これに限らず、構成要素の配置を変更すれば、空間浮遊映像３の配置の位置や傾きを設計可能である。
　また、本実施例では、筐体３５０の所定の位置に、第１の測距装置３４０（図７）が装着されている。すなわち、このシステムには、図７と同様のセンシング技術が実装されている。これにより、ユーザが空間浮遊映像３にアクセス、インタラクトできるシステムとする。第１の測距装置３４０を含む第１のセンシングシステムは、空間浮遊映像３に対するユーザの手指などによる操作の状態を検出する。さらに、図８や図９の（Ｂ）と同様に、第２の測距装置３４１を含む第２のセンシングシステムを追加した構成としてもよい。
　第１の測距装置３４０の取り付け位置と視野角α３は、空間浮遊映像３の大きさを十分カバーできるように適宜選択するとよい。本例では、第１の測距装置３４０は、筐体３５０のうち、Ｙ方向で奥側（ユーザおよび空間浮遊映像３の位置に対し奥側）で、再帰反射部材３３０の斜面の延長上で、かつ、映像光の映像光束を遮らないように少し離れた位置である、図示の位置に取り付けられている。第１の測距装置３４０の視野角α３（上端Ａから下端Ｂまでの範囲）は、本例では、空間浮遊映像３全体とそれを基準位置（正対する位置）の視点Ｅから視認するユーザの顔を含む領域とをカバーできるように、十分に広い視野角とされている。視野角α３は、空間浮遊映像３全体を捉える視野角α２を内包している。視野角α２は、例えば図７のセンシング面ａ０，ａ１，ａ２，ａ３と対応している。
　第１の測距装置３４０のＴＯＦセンサは、図７（あるいは図８）に示したように、空間浮遊映像３のセンシング面を複数のエリアに分割した測距システムを使用する。これにより、センシングの領域ごとの分解能が高められる。さらに、図８および図９の（Ｂ）のようなＣＭＯＳセンサを使用した第２のセンシング技術を使用する場合には、検知精度をより一層向上できる。
　また、本実施例では、光源装置１３として、狭角の指向特性を有する可視光を発散させる光源を使用し、第１測距装置３４０（さらには第２の測距装置３４１）を、筐体３５０側において挟角の映像光束に対し外側の位置に配置する。また、第２の測距装置３４１は配置されてもよい。これにより、空間浮遊映像３を形成する映像光のセンシング精度に対する悪影響を除くことができる。
　図１３の（Ａ）に示す上記構成において、液晶表示パネル１１の映像光出射側（斜線で示す位置）にレンチキュラーレンズ１１０３を配置する。より具体的には、液晶表示パネル１１の映像光出射側に、図１３の（Ｂ）に示す向きとなるように、レンチキュラーレンズ１１０３を配置する。この構成とすることで、図２で述べたように、利用者が、レンチキュラーレンズを形成する半円筒状レンズ（かまぼこ状のレンズ）が並んでいる方向に移動することで、利用者はそれぞれの位置から異なる画像（または映像）を見ることが可能となる。すなわち、画像または映像として、視差画像を表示することにより、運動視差が生じ、液晶表示パネル１１上に表示された画像または映像を立体像として認識することができる。多視点映像と運動視差については、後述する。
　図１３の（Ａ）において、空間浮遊映像３は、再帰反射部材３３０を対称面とした映像表示装置１０または液晶表示パネル１１の対称位置に形成される実像であるので、利用者は、空間浮遊映像３を、運動視差を伴う立体像として視認することができる。すなわち、レンチキュラーレンズを配置した上記構成によれば、空間浮遊像３を、単に、液晶表示パネル１１上に表示された二次元映像ではなく、運動視差を伴う立体像を表示することが可能となる。
　＜空間浮遊映像情報表示システムの第３の構成例＞
　図１４の（Ａ）は、空間浮遊映像情報表示システムの他の実施例を示す。また、図１４の（Ｂ）は、図１４の（Ａ）に示す映像表示装置１０の映像光出射側、つまり表示パネル１１の光出射側に配置されたレンチキュラーレンズ１１０３の拡大図である。図１４の（Ａ）中の座標系（Ｘ，Ｙ，Ｚ）では、空間浮遊映像情報表示システム１の筐体３５０が水平面（Ｘ－Ｙ面）に配置されており、空間浮遊映像３は、鉛直方向（Ｚ方向）に対し、前後方向（Ｙ方向）でやや斜めに傾いて形成されている。ユーザの視点Ｅから、空間浮遊映像３の面を正対して好適に視認する場合、視点Ｅは、図示のように、空間浮遊映像３の面に対し、光軸Ｊ２に合わせて、Ｙ方向でやや斜め上に配置される。ユーザは、視点ＥからＹ方向でやや斜め下の視線で空間浮遊映像３を好適に視認できる。一方、図１４の（Ｂ）において、レンチキュラーレンズ１１０３は、液晶パネルの光出射面に略平行または平行し、かつ、液晶パネルより出射される映像光側に配置される。また、レンチキュラーレンズのかまぼこ状の複数の半円筒は、Ｘ－Ｚ平面から見て縦に並んで配置される。なお、上記座標系は、図１４の（Ａ）（Ｂ）で共通である。
　筐体３５０内には、映像表示装置１０、ミラー３６０などが所定の位置関係で配置されている。筐体３５０の開口部、本例では概略的に鉛直方向に立つ面（Ｘ－Ｚ面）を持つ開口部には、Ｚ方向に対し所定の角度γ１（やや斜め下に傾いた角度）で、再帰反射部材３３０が配置されている。ミラー３６０は平面ミラーである。
　本実施例では、映像表示装置１０からの映像光は、ミラー３６０で反射されてから、再帰反射部材３３０に入射される。筐体３５０は、Ｚ方向で上側に凸状に出ている部分を有し、その部分内に映像表示装置１０が配置されている。映像表示装置１０の光軸Ｊ１は、Ｚ方向で下側、Ｙ方向で奥側に、Ｚ方向に対する所定の角度δ１で斜め下を向いている。
　映像表示装置１０は、映像表示素子としての液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備えて構成されている。液晶表示パネル１１は、画面サイズが５インチ程度の小型のものから８０インチを超える大型なものまで適用可能であり、それらから選択されたパネルで構成される。液晶表示パネル１１からの映像光は、光軸Ｊ１上、光路折り返しミラーであるミラー３６０によって折り返され、折り返し後の光軸Ｊ１Ｂ上で、再帰反射部３３０材に向けて出射される。
　液晶表示パネル１１には、後述する狭発散角な光源装置１３からの光を入射させる。これにより、狭発散角な映像光束φ１が生成される。狭発散角な映像光束φ１は、ミラー３６０で反射後、映像光束φ１Ｂとなる。その狭発散角な映像光束φ１Ｂを、光軸Ｊ１Ｂに沿って、図示のＹ方向で右側から再帰反射部材３３０に入射させる。この再帰反射部材３３０での再帰反射により、前述の図４で説明した原理に従って、再帰反射部材３３０に対しＹ方向で左側に、光軸Ｊ２の方向に、狭発散角な映像光束φ２が生成される。その映像光束φ２により、筐体３５０の開口部に対して外の所定の位置に、空間浮遊映像３（図４での空間浮遊映像３３１）が得られる。光軸Ｊ２は、Ｙ方向に対し所定の角度δ２（Ｚ方向に対しては角度（９０度－δ２））で斜め上を向いている。
　空間浮遊映像３は、再帰反射部材３３０を対称面として、ミラー３６０に対し概略的に対称位置に形成される。本実施例では、ミラー３６０により光路を折り返す構成であるため、映像表示装置１０は、Ｚ方向で空間浮遊映像３よりも上に配置されている。この結果、映像光線が再帰反射部材３３０に対し斜め上方から入射し、斜め上方に出射して、図示のように斜めに傾いた空間浮遊映像３を形成するシステムを実現できる。
　また、空間浮遊映像３を筐体３５０に対して斜め上向き（図示の光軸Ｊ２上）に結像させるためには、再帰反射部材３３０を、図示のように筐体３５０の底面の垂直軸（Ｚ方向）に対して所定の角度γ１で傾斜させて配置することで実現できる。また、このように再帰反射部材３３０の出射軸がやや斜め下に傾いた構成の結果、外光が再帰反射部材３３０に入射して筐体３５０内部に侵入することで発生し得る空間浮遊映像３の画質低下を防止できる。
　空間浮遊映像３で発生し得るゴースト像（図４）を消去してより高画質な空間浮遊映像３を得るためには、第２の実施例（図１３の（Ａ）、（Ｂ））と同様に、本実施例でも、液晶表示パネル１１の出射側に、映像光制御シート３３４（図５、図６の（Ａ））を設けることで、不要な方向の拡散特性を制御してもよい。また、再帰反射部材３３０の映像出射面にも、映像光制御シート３３４Ｂ（図６の（Ｂ））を設けることで、不要光により空間浮遊映像３の正規像の両側に発生するゴースト像を消去してもよい。
　以上述べた構造物が筐体３５０の内部に配置されることで、再帰反射部材３３０に対し外光が入射することを防止し、ゴースト像の発生を防止することができる。
　本実施例でも、液晶表示パネル１１からの映像光は、図１３の（Ａ）と同様に、Ｓ偏波を使用してもよいし、偏光サングラスに対応する場合には、Ｐ偏波を使用して偏光解消素子３３９を設けてもよい。
　本実施例では、再帰反射部材３３０を鉛直軸（Ｚ方向）に対して所定の角度γ１で傾斜させ、空間浮遊映像３を水平軸に対して斜め（特に、水平面よりは垂直面に近い角度での斜め）に生成する構成とした。これに限らず、構成要素の配置を変更すれば、空間浮遊映像３の配置の位置や傾きを設計調整可能である。
　また、本実施例では、筐体３５０の所定の位置に、第１の測距装置３４０（図７）が装着されている。すなわち、このシステムには、図７と同様のセンシング技術が実装されている。これにより、ユーザが空間浮遊映像３にアクセス、インタラクトできるシステムとする。第１の測距装置３４０を含む第１のセンシングシステムは、空間浮遊映像３に対するユーザの手指などによる操作の状態を検出する。さらに、図８や図９の（Ｂ）と同様に、第２の測距装置３４１を含む第２のセンシングシステムを追加した構成としてもよい。
　第１の測距装置３４０の取り付け位置と視野角γ３は、空間浮遊映像３の大きさを十分カバーできるように適宜選択するとよい。本例では、第１の測距装置３４０は、筐体３５０の底面部のうち、Ｙ方向で再帰反射部材３３０の手前の近傍で、かつ、映像光の映像光束を遮らないように少し離れた位置である、図示の位置に取り付けられている。第１の測距装置３４０の視野角γ３は、本例では、空間浮遊映像３全体とそれを基準位置の視点Ｅから視認するユーザの顔を含む領域とをカバーできるように、十分に広い視野角とされている。視野角γ３は、空間浮遊映像３全体を捉える視野角を内包している。
　第１の測距装置３４０のみならず、さらに、図８および図９の（Ｂ）のようなＣＭＯＳセンサを使用した第２のセンシング技術を使用してもよい。
　また、本実施例では、光源装置１３として、狭角の指向特性を有する可視光を発散させる光源を使用し、第１測距装置３４０（さらには第２の測距装置３４１）を、筐体３５０側において挟角の映像光束に対し外側の位置に配置する。これにより、空間浮遊映像３を形成する映像光のセンシング精度に対する悪影響を除くことができる。
　さらに、本実施例では、空間浮遊映像３と再帰反射部材３３０との間に、図示のように、静電容量方式のタッチパネル３６１を、支持部材３６２で固定して配置してもよい。支持部材３６２は、例えば枠状として、内側にタッチパネル３６１を支持する。支持部材３６２は、例えば筐体３５０の底面部に対し固定されている。このタッチパネル３６１は、空間浮遊映像３を形成するための映像光、および第１の測距装置３４０からの光を透過させる部材で構成されている。
　このタッチパネル３６１は、静電容量方式で、当該タッチパネルの面に対するユーザの手指の近接の状態を検出する。もしくは、このタッチパネル３６１は、当該タッチパネルの面に対するユーザの手指の接触の状態を検出する。このタッチパネル３６１を含む第３のセンシング技術を、第１のセンシング技術などと併用することで、検知精度をより一層向上できる。この静電容量方式のタッチパネル３６１の大きさと取り付け位置についても、同様に、空間浮遊映像３を十分カバーできるように選択するとよい。
　高精度な位置情報を取り込むことができる静電容量方式のタッチパネル３６１としては、例えば投影型静電容量方式を採用できる。この方式のタッチパネルは、例えば、微細な線間距離を有する透明電極（Ｙ軸電極）であるＩＴＯと微細な線間距離を有する透明電極（Ｘ軸電極）である銅薄膜とを、透明ガラス基板の両面にフォトリソエッチングによりパターンニングすることで製造される。そのため、この透明ガラス基板に対象物（例えば指先端）が近づいた場合に、Ｘ軸電極とＹ軸電極のそれぞれで静電容量の変化を捉え、対象物の相対座標が得られる。また、この方式は、透明電極の線間距離が短いほど、高い分解能を得られるので、多点検出が可能である。そのため、この方式では、複数の指での同時入力も可能となる。
　図１４の（Ａ）に示す上記構成においても、図１３の（Ａ）に示す空間浮遊映像情報表示システム１同様、液晶表示パネル１１の映像光出射側（斜線で示す位置）にレンチキュラーレンズ１１０３を配置する。より具体的には、図１４の（Ｂ）に示すように、液晶表示パネル１１の映像光出射側に、レンチキュラーレンズ１１０３を配置する。この構成とすることで、利用者は、空間浮遊像３を、運動視差を伴う立体像として、認識することができる。すなわち、レンチキュラーレンズ１１０３を配置した上記構成によれば、空間浮遊像３として、単に、液晶表示パネル１１上に表示された二次元映像ではなく、立体像を表示することが可能となる。
　ここで、利用者が空間浮遊像３を立体像として認識できることは、特に、表示される立体像が人物（特に顔）である場合、空間浮遊像が二次元平面である従来のシステムにはない、新たな効果をもたらす。例えば、後述するように、空間浮遊像として表示される人物（の顔）は、利用者が空間浮遊像の周辺であれば、どの位置に存在しても、常に利用者の方に向くという新たな効果をもたらす。このことにより、利用者は、空間浮遊像として表示される人物が、あたかも自分だけに話しかけてくれているような感覚を有することになり、表示される人物が、例えば、利用者に対して、何かを説明するような場面、あるいは、コンシェルジュのように何等かのアシスト（支援）を行うような場面において、特に好適である。
　［多視点映像を空間浮遊像として表示するための技術］
　既に述べたように、レンチキュラーレンズを用いた多視点画像（または多視点映像）により、運動視差が得られることはよく知られている。レンチキュラーレンズは、その表面が半円筒状の「かまぼこ」のような形状を有するレンズを所定方向に配列されたの集合体であり、１つの半円筒状レンズの下部には、多視点画像（または映像）の視点の数に相当する、異なる映像を表示する液晶パネルが配置されている。本実施の形態での所定方向は縦方向となる。
　図１５の（Ａ）は、本実施の形態における、レンチキュラーレンズ１１０３を用いる多視点画像を生成するための原理を示す図である。また、図１５の（Ｂ）は、レンチキュラーレンズ１１０３の構成をよりわかりやすく示すために、レンチキュラーレンズ１１０３を斜め上方から俯瞰して見た図である。なお、ここでは、多視点画像として９視点の場合について説明する。図１５の（Ａ）において、液晶パネル１１の画素は、数字で１～９と示す９つの画素を１グループとして、９視点の多視点画像を形成する。
　一方、人間の眼の間隔、すなわち瞳孔間の距離は、ほぼ一定（例えば約６４mm）であることが知られており、レンチキュラーレンズのピッチ、すなわち、１つの半円筒状の間隔を、人間の眼の間隔の半分、すなわち、約３２mmと略同一とすることで、観察者（利用者）の右眼と左眼には、図１５の（Ａ）に示すように、それぞれ異なる画素からの光が到達する。より具体的には、観察者の右眼には、画素６に表示される画像からの光が到達し、観察者の左眼には、画素４に表示される画像からの光が到達する。
　このため、観察者は、右眼と左眼で、それぞれ異なる画素に表示された画像を見ることになり、それぞれの画素に、同一の物体あるいは人物を、視点を変えて撮影した画像を表示すれば、観察者の両眼には視差が生じる。その結果、観察者は、撮影された画像を立体として認識することが可能となる。すなわち、図１５の（Ａ）は、観察者の右眼には、画素６に表示される画像からの光が到達し、観察者の左眼には、画素４に表示される画像からの光が到達することを示している。上記のように、液晶パネルの光出射側にレンチキュラーレンズを配置することで観察者の右眼と左眼には、異なる画素からの光が到達するため、観察者は、立体的な画像を認識することができる。
　ここで、観察者が左右に移動すると、観察者の右眼と左眼には、移動前とは異なる画素からの光が到達する。より具体的には、図１５の（Ａ）に示すように、観察者が右方向に移動すると、観察者の右眼には、画素７に表示される画像からの光が到達し、観察者の左眼には、画素５に表示される画像からの光が到達する。すなわち、観察者が移動（運動）するに伴って、移動する前とは異なる画素の光が到達することとなる。この結果、観察者は、自分が左右に移動することに伴って、同一の物体あるいは人物を別の角度から見たのと同等の効果、すなわち、運動視差を得ることができる。よって、液晶パネルの光出射側にレンチキュラーレンズを配置することで、観察者の目が移動することによって立体感がある画像を角度を変えて見たのと同等の効果を得ることができる。
　図１６は、上記した運動視差を生じさせるための画像、すなわち、多視点画像を撮影するための装置の一例を示す図である。図１６では、９つの異なる視点から、被写体である人物（の顔部分）を撮影する様子を示している。より具体的には、９つのカメラＮｏ.１～Ｎｏ.９を、図１６に示すように、被写体から所定距離の位置で互いの角度を所定角度ずつ移動した位置に配置して撮影する。本実施の形態では被写体から等距離の位置で互いの角度を２２.５度ずつ移動して位置に配置しているが、視点の数により被写体からの距離、および角度を変更してよい。この時、被写体が静止していれば、１台のカメラを、カメラＮｏ.１～Ｎｏ.９の位置に順に移動させて撮影することで、多視点画像を撮影することも可能である。しかし、被写体が動きのあるもの、例えば、表情を変えながら、口を動かして話をしている人物の顔である場合には、９台のカメラを用いて、それぞれの位置にカメラを固定して、動画（動画像、映像）として撮影する。
　上記のようにして撮影された、９台のカメラによる、それぞれの画像（あるいは映像）は、映像表示部（ここでは液晶パネル）の９つの各画素に割り当てられて表示される。図１６に示すように、１つの被写体の映像は、それぞれ異なる角度から撮影された画像（あるいは映像）として表示することで、運動視差を伴う多視点画像（または、多視点映像）を得ることができる。なお、図１６に示した実施例では、被写体である人物（の顔部分）を９つのカメラＮｏ.１～Ｎｏ.９により、異なる角度で撮影することで多視点画像（または映像）を得る例を示したが、多視点画像（または映像）を得る方法としては、上記のように複数のカメラを用いる方法に限らず、コンピュータグラフィックス（ＣＧ）により、多視点画像（または映像）をレンダリングする方法であってもよい。
　ここで、レンダリングとは、画像や動画像（映像）をコンピュータ処理により、ＣＧとして生成または編集することをいう。レンダリングによりＣＧを生成することにより、複数のカメラを用いた大掛かりな撮影装置は必要なくなり、より簡便に、カメラの台数に起因する視点数の制約もなく、かつ、短時間に多視点画像（または映像）を得ることができ、特に多視点画像や多視点映像の生成では好適である。
　図１７は、多視点映像表示装置による表示例を示す図である。ここで、多視点映像表示装置とは、映像表示装置１０（液晶パネル１１、光源１３等より構成される）の映像光出射側に、レンチキュラーレンズ１１０３を配置した構成を備える表示装置をいう。具体的には、多視点映像表示装置は、光源、映像表示部（液晶パネル）、およびレンチキュラーレンズを有している。ここで、映像表示部（液晶パネル）１１の映像出射面とレンチキュラーレンズ１１０３の入射面とは平行である。また、映像表示部（液晶パネル）１１の映像出射面とレンチキュラーレンズ１１０３の入射面とは所定の距離をもって配置される。本実施形態においては、レンチキュラーレンズ固有の焦点距離に基づき、レンチキュラーレンズ１１０３の光入射面と液晶パネル１１の光出射面との間の所定距離を調整して配置する。この時、レンチキュラーレンズ１１０３の焦点距離が相対的に大きな値であれば、上記所定の距離は大きくし、逆に、レンチキュラーレンズ１１０３の焦点距離が相対的に小さな値であれば、上記所定の距離は小さくするように、レンチキュラーレンズ１１０３の光入射面と液晶パネル１１の光出射面との距離、すなわち上記所定の距離を調整することで、好適な多視点映像を売ることができる。
図１７では、９つの異なる視点を有する多視点映像を表示する多視点映像表示装置をしており、図１７の（Ａ）は、液晶パネルの画素１～９に対して、カメラＮｏ.１～Ｎｏ.９による画像を配置した場合を示し、一方、図１７の（Ｂ）は、液晶パネルの画素１～９に対して、（Ａ）とは逆の順序で、液晶パネルの画素１～９に対して、カメラＮｏ.９～Ｎｏ.１による画像を配置した場合を示している。図１７の（Ａ）と（Ｂ）の効果の違いは、以下の通りである。まず、図１７の（Ａ）では、利用者（ユーザ）が、多視点映像表示装置に対して左側から右側に移動すると、左側からは、被写体（人物の顔）を左側から見た画像を観察でき、右側からは、被写体（人物の顔）を右側から見た画像を見ることになる。すなわち、実際の被写体を中心において、利用者が被写体の左側から、および、右側から観察した場合と同様の被写体を観察することとなる。
　それに対して、図１７の（Ｂ）では、図１７の（Ａ）と逆となり、利用者（観察者）が、多視点映像表示装置に対して左側から右側に移動すると、左側からは、被写体（人物の顔）を図１７の（Ａ）の右側から見た画像を観察でき、右側からは、被写体（人物の顔）を図１７の（Ａ）の左側から見た画像を観察することになる。この結果、図１７の（Ｂ）では、利用者から被写体（人物の顔）を見ると、利用者が被写体に対してどの位置（相対的な角度）に存在しても、被写体である人物が、常に、利用者の方に視線を向けているように感じることができる。
　上記、図１７の（Ｂ）の見え方、すなわち、被写体である人物が、利用者の位置にかかわらず、常に利用者の方に視線を向けているように見えるという特徴は、利用者からは、被写体である人物が、常に自分（利用者）と向き合い、話しかけられているように感じるという効果を生じる。こうした効果は、被写体である人物が、利用者一人だけに対して、何等かの説明や案内をするような場面では、特に好適である。
　次に、図１８、図１９は、図１７に示す多視点映像表示装置（映像表示装置１０とレンチキュラーレンズ１１０３より構成される）から発せられた映像光を、再帰反射板３３０を介することにより、空間浮遊像３を生成した状態を模式的に示す図である。図１８、図１９に示す実施例は、ともに、多視点映像表示装置と再帰反射板３３０により、空間浮遊像３が生成される点は同じである。
　上記、図１８と図１９の２つの実施例の相違点は、多視点映像表示装置上の多視点画像の順序が異なる点にある。すなわち、図１８では、図１７の（Ａ）に対応しており、利用者から見て、多視点映像表示装置の左から右に、すなわち液晶パネルの画素１～９に対して、カメラＮｏ.１～Ｎｏ.９による画像が割り当てられており、再帰反射板３３０を介して生成される空間浮遊像３では多視点画像の順序は、利用者から見て、逆に、右から左にカメラＮｏ.１～Ｎｏ.９による画像が表示される。
　一方、図１９では、図１７の（Ｂ）に対応しており、多視点映像表示装置の右から左に、すなわち液晶パネルの画素１～９に対して、カメラＮｏ.１～Ｎｏ.９による画像が割り当てられている。その結果、再帰反射板３３０を介して生成される空間浮遊像３では、利用者から見ると、多視点画像の順序は、図１８とは逆に、左から右にカメラＮｏ.１～Ｎｏ.９による画像が表示される。
　上記のように、再帰反射板３３０を介して生成される空間浮遊像３では、映像表示装置１０と再帰反射板３３０との間にレンチキュラーレンズ１１０３を配置することにより、映像表示装置１０に表示される多視点映像の順番と、空間浮遊映像３による多視点映像の順番が逆の順序で、利用者に認識される。すなわち、利用者に対して、運動視差を有する空間浮遊像を提供する場合、利用者に対して、どのような多視点画像を提供することが好適であるかすべきかという目的に応じて、液晶パネル１１上の画素に対して、カメラＮｏ.１～Ｎｏ.９による画像の順序を、適宜に定めて配置することができる。
　これをさらに具体的に説明すると、図１８の実施例では、コンシェルジュの顔を被写体とする空間浮遊像３を利用者から見ると、多視点画像の順序は、右から左にカメラＮｏ.１～Ｎｏ.９による画像が認識される。この場合、コンシェルジュは、利用者の位置にかかわらず、常に利用者に視線を向けている。一方、図１９の実施例では、コンシェルジュの顔を被写体とする空間浮遊像３を利用者から見ると、多視点画像の順序は、左から右にカメラＮｏ.１～Ｎｏ.９による画像が認識される。この場合、コンシェルジュは、利用者の位置に関係なく、常に、一定の方向、すなわち、正面の方向に視線を向けている。
　上記の通り、図１８の実施例では、利用者が空間浮遊像としてのコンシェルジュを見たとき、常に、コンシェルジュが利用者に向かって、何等かの説明や案内などの情報を音声とともに伝えるような場面において特に好適であり、利用者はコンシェルジュに対して感情移入をしやすく、コンシェルジュによる説明や案内により集中できる、という効果をもたらすことができる。
　一方、図１９に示すように、利用者が空間浮遊像としてのコンシェルジュを見たとき、コンシェルジュが、常に、一定の方向、すなわち正面を向いて話す場合には、利用者は、コンシェルジュが自分だけに向かって話しかけているのではないということを認識し、空間浮遊像３の周囲にいる不特定多数の人々に対して、例えば、何等かのプレゼンテーションを行っているように感じる。
　すなわち、空間浮遊像としてのコンシェルジュを表示する場合に、上に述べた２つの実施例のうち、図１８のように、コンシェルジュが常に利用者に向かって話しかけるような表示形式（これを「表示形式Ａ」と呼ぶ）とするか、図１９のように、コンシェルジュが常に正面を向いて話しているような表示形式（これを「表示形式Ｂ」と呼ぶ）とするか、上記二通りの表示形式を適宜選択することが可能である。
　＜キオスク端末に係わる実施の形態１＞
　上記の通り、図１５～１９を用いて、空間浮遊像として、コンシェルジュを表示する２つの形式、すなわち、「表示形式Ａ」と「表示形式Ｂ」について述べた。次に、本発明の一実施の形態として、空間浮遊映像情報表示システム１を、いわゆるキオスク端末に適用した場合（実施の形態１とする）について以下説明する。
　キオスク端末とは、従来、不特定多数の人が、タッチパネル操作などのマン・マシン・インタフェースやユーザインタフェースを通じて、必要な情報にアクセスしたり、様々なサービスを利用したりするための情報端末である。キオスク端末は、公共施設や交通機関、遊園地などのエンタテイメント施設、また、近年では、いわゆるコンビニエンスストアの店内などにも設置されている。キオスク端末は、各種のチケットの販売や、行政サービス（例えば、住民票の発行）にも用いられている。
　なお、以下の実施の形態の説明において、特定の構成を有する情報端末を、「キオスク端末」という用語で表現している。この「キオスク端末」という用語の代わりに、「情報端末」の他、「情報表示装置」、「情報処理端末」、「発券端末」、「書類発行端末」、「行政端末」、「サービス端末」などと表現してもよい。実施の形態の説明で主として用いる「キオスク端末」の用語は、これらの用語の代表例として用いている。
　図２０に、従来技術に基づいた一般的なキオスク端末の外観の一例を示す。このキオスク端末１４００は、例えば高さ１２０～５０cmほどの金属製の筐体１４５０を備えており、筐体１４５０の表面（ユーザに対向する側の面、特に斜面１４５１）には、液晶表示画面１４１０や入力ボタン１４２０が設けられている。液晶表示画面１４１０は、液晶表示装置の一部であり、各種情報を表示して利用者のタッチ操作を受け付けるタッチパネル付きの画面である。入力ボタン１４２０は、利用者に固有の暗証番号などを入力するための物理的なボタン、あるいはタッチパネルで構成された画面内のタッチボタンである。また、筐体１４５０の表面の一部には、取り出し口１４３０が設けられている。取り出し口１４３０は、キオスク端末１４００に対する操作により発行された、例えば、チケットや行政書類などを利用者が取り出すための取り出し口である。
　図２１には、実施の形態１の空間浮遊映像情報表示システムとしてのキオスク端末の外観例を示す。図２１ではキオスク端末１５００を斜め右から見た場合の概要を示す。図２１のキオスク端末１５００は、図２０のキオスク端末１４００との違いとしては、以下がある。図２１のキオスク端末１５００では、筐体１５５０の表面（特に斜面１５７０）に、液晶表示装置による液晶表示画面１５１０に加え、下方に、前述の空間浮遊映像３を表示するための空間浮遊映像表示部１５２０を備えている。すなわち、キオスク端末１５００は、液晶表示画面１５１０と空間浮遊映像表示部１５２０との２画面を有し、斜面１５７０において液晶表示画面１５１０と空間浮遊映像表示部１５２０との２つの表示部に分かれている構成を備えている。
　図２１に示す構成では、２画面のうち、基本として使用されるのは、空間浮遊映像表示部１５２０の画面（以下、第１画面ともいう）である。この第１画面には、空間浮遊映像３によるユーザインタフェースとして、コンシェルジュや操作メニューが表示される。空間浮遊映像表示部１５２０の第１画面は、縦横に所定のサイズの領域を備えている。本例では、第１画面は、若干横長のサイズを有する。
　他方、液晶表示画面１５１０（以下、第２画面ともいう）は、任意の映像が表示可能であるが、例えば、一般的なキオスク端末と同様に、広告表示などの用途で使用される。液晶表示画面１５１０は、例えばタッチセンサを備えた液晶タッチパネル画面であってもよい。
　なお、実施の形態１の変形例として、液晶表示画面１５１０である第２画面を、空間浮遊映像表示部１５２０の第１画面と合わせて、操作メニューなどのユーザインタフェースとして使用してもよい。
　また、さらなる変形例として、液晶表示画面１５１０である第２画面を設けない構成も可能である。
　図２１の空間浮遊映像表示部１５２０の第１画面に、１つの空間浮遊映像３としてコンシェルジュと操作メニューとの両方を表示させてもよい。ただし、第１画面のサイズが限られているので、第１画面内にそれらの両方を表示させた場合、小さく細かい表示内容となり、見にくい可能性がある。よって、図２１の実施例では、第１画面内には、コンシェルジュと操作メニューとのうちのいずれか一方を大きく表示するように、表示の切り替え制御を行ってもよい。
　勿論、液晶表示画面１５１０と空間浮遊映像表示部１５２０との位置関係は、図２１の構成例に限らず、例えばこれらの上下の配置を逆としてもよい。すなわち、斜面１５７０において、空間浮遊映像表示部１５２０が上部に配置され、下部に液晶表示画面１５１０が配置されてもよい。また、斜面１５７０において、それらが左右に並列して配置されてもよい。ただし、後述の図２２に、内部構造を示すように、キオスク端末１５００として液晶表示画面１５１０に加え空間浮遊映像表示部１５２０も備える構成では、液晶表示画面１５１０を上、空間浮遊映像表示部１５２０を下に配置する構成とした方が、筐体１５５０内の部品配置（空間の利用効率）としてはより好適である。
　また、図２１に示すように２つの表示部による２画面を有する構成である場合、それらの２つの表示部の画面がそれぞれ液晶表示画面１５１０と空間浮遊映像表示部１５２０であることがユーザにわかりやすいように、それぞれの画面上に、例えば「これは液晶画面です」、「これは空間浮遊映像です」のように、その旨を伝える表示をしてもよい。これにより、ユーザにとっての使い勝手が良くなる。また、画面上の表示ではなく、それぞれの画面の枠部分などの近傍位置に、予め物理的に「液晶画面」、「空間浮遊映像」といった表記をしておいてもよい。
　図２１に示す例では、空間浮遊映像表示部１５２０には、空間浮遊映像３として、コンシェルジュ１５２１（人物像、コンシェルジュ映像とも記載）が表示されている。詳細は後述するが、図２１に示す構成では、ユーザは、液晶表示画面１５１０に表示された画像または映像情報に加え、空間浮遊映像表示部１５２０に表示されるコンシェルジュ１５２１による操作案内に従って、画面（特に空間浮遊映像表示部１５２０に表示される操作メニューなど）を操作することが可能である。コンシェルジュ１５２１は、ユーザに対し、映像と音声によって、操作案内（操作ガイド、操作説明などとも記載）などを行う。
　しかも、実施の形態１では、空間浮遊映像表示部１５２０に表示されるコンシェルジュ１５２１は、運動視差を伴う多視点映像として表示されるので、単に二次元平面像が空間浮遊像として表示される場合に比べて、ユーザは、あたかも、キオスク端末１５００上に実際の人物（コンシェルジュ）が存在するような感覚を得ることができる。さらに、そのコンシェルジュが、ユーザに対し、キオスク端末１５００の操作方法などについての説明を丁寧に行う。そのため、初めてキオスク端末に触れるユーザであっても、戸惑うことなく、キオスク端末１５００をより容易に操作でき、所望のサービスを受けることができる。
　ここで、図２１に示す空間浮遊映像表示部１５２０は、空間浮遊映像３を形成するための方式としては、前述の図３の再帰反射部材２などを用いた構成を適用してもよいし、あるいは、前述の図１３や図１４の再帰反射部材３３０などを用いた構成を適用してもよい。また、上記方式に限らず、空中に空間浮遊映像を表示できる他の方式を適用してもよい。本実施例では、特に図１４の構成を適用した場合（内部構造は、図２２を参照）を示す。
　さらに、図２１の実施例における、空間浮遊映像３に対するユーザの操作を検出する検出方式（センシング技術）については、前述の図２の空中操作検出センサ１３５１と空中操作検出部１３５０の組み合わせによる方式を適用してもよいし、前述の図７や図８の、第１または第２のセンシング技術による方式を適用してもよい。また、上記方式に限らず、空間浮遊映像に対する空中操作を検出できる他の方式を適用してもよい。
　また、図２１のキオスク端末１５００には、筐体１５５０（特に斜面１５７０）の左右の位置に、２つのカメラ１５４１，１５４２が備えられている。これらのカメラは、図２の撮像部１１８０に対応するステレオカメラである。カメラ１５４１，１５４２は、このキオスク端末１５００の正面（図示のＹ方向での手前側）に対し近くにいるユーザ（例えば空間浮遊映像３を操作するユーザ）の顔や虹彩などを含む領域を撮像する。空間浮遊映像情報表示システム１であるキオスク端末１５００の制御部１１１０（図２）は、カメラ１５４１，１５４２の撮像画像に基づいて、ユーザがキオスク端末１５００に近づいたことを検出する処理、ユーザを識別・特定する処理、あるいはユーザの認証処理などを行うように構成されている。本実施例では２つのカメラ１５４１，１５４２が配置されているが、1つまたは２つ以上でも構わない。また、カメラが筐体１５５０内部に配置されてもよいし、外部に配置されたカメラが撮像した撮像情報を有線または無線でキオスク端末１５００に送信するように構成されてもよい。
　また、左右の２つのカメラ１５４１，１５４２により、ステレオ撮影が可能であり、ユーザの顔などを立体像として撮像でき、ユーザの顔部分までの距離や、その３次元的な造形も計算可能である。よって、このシステムでは、１つのカメラによりユーザの顔を平面像として撮像する場合と比較して、ユーザの顔認証の精度を高めることができ、不正使用防止の観点からも好適である。
　また、図２１のキオスク端末１５００には、筐体１５５０の左右の位置に、２つのスピーカ、特に２つの超指向性スピーカ１５５１，１５５２（図２のスピーカ/超指向性スピーカ３０と対応）が備えられている。超指向性スピーカを備えることで、このキオスク端末１５００を操作しようとしているユーザのみにしか聞き取ることのできない、指向性が非常に高い音声を発することができる。キオスク端末１５００には、通常の可聴帯域の音声を出力するスピーカを備えてもよいが、以下のような場合には、対象ユーザ以外の他の人には聞き取ることができないように、特に超指向性スピーカ１５５１，１５５２を備える構成とすると好適である。すなわち、ユーザの操作などに応じてキオスク端末１５００から発する音声を、例えばユーザの氏名や生年月日や入力番号情報などとする場合などには、特に秘匿性を高くしてセキュリティに配慮する必要がある。このような場合には、超指向性スピーカの適用が好適である。
　なお、図２１では、超指向性スピーカ１５５１，１５５２は、筐体１５５０の外部に張り出すように設置されているが、これに限らず、筐体１５５０の内部に配置されてもよい。超指向性スピーカ１５５１，１５５２により、空間浮遊映像３の操作メニューのボタンなどが押下されたことを表す音声信号を、ユーザにのみ聞こえるように出力してもよい。
　図２２の（Ａ）は、図２１のキオスク端末１５００の内部構造の説明図を示す。図２２の（Ａ）では、図２１の筐体１５５０を右側面から見た場合の内部透視のＹ－Ｚ断面を示している。筐体１５５０の上部は、斜面１５７０を有する形状である。その上部の中に、図１４で説明した空間浮遊映像情報表示システム１の構成要素である、映像表示装置１０、レンチキュラーレンズ１１０３、ミラー３６０、再帰反射部材３３０などが収容されている。一方、図２２の（Ｂ）は、図２２の座標軸におけるＺ軸方向から見たときのレンチキュラーレンズ１１０３を示す。また、図２２の（Ａ）（Ｂ）の構成により、利用者が、空間浮遊映像３を、運動視差を伴う多視点映像として視認できる点も、図１４を用いて説明した通りである。
　筐体１５５０の下部の中には、図２の制御部１１１０を実装した制御装置や、通信部１１３２を実装した通信装置や、電源装置などの他の構成要素が収容されていてもよい。また、筐体１５５０の下部（例えば前面）には、図示のように、人感センサ１５６０が設けられてもよい。人感センサ１５６０は、キオスク端末１５００に人が近づいたことを検出する。
　図２２の（Ａ）の構成では、図１４と同様に、筐体１５５０内の映像表示装置１０から発される映像光の向きをミラー３６０によって変えて再帰反射部材３３０に入射させる。そして、再帰反射部材３３０による再帰反射光を、映像表示装置１０とは反対側（Ｙ方向で手前側）での斜め上に出射させる。これにより、空間浮遊映像表示部１５２０に空間浮遊映像３が生成される。
　筐体１５５０の斜面１５７０は、水平面（Ｙ方向）に対し所定の角度ε１を有する。斜面１５７０上において、上方の液晶表示画面１５１０に対し、斜め下の位置に、空間浮遊映像表示部１５２０の開口部（点線で示す）が設けられている。開口部には透明部材などが設けられてもよい。再帰反射部材３３０からの映像光は、その開口部を斜め上に通過し、斜面１５７０の外の所定の位置に、実像である空間浮遊映像３を形成する。この空間浮遊映像３は、斜面１５７０に対しては所定の角度ε２で前側に傾いて形成される。そのため、ユーザからは、空間浮遊映像３は、斜面１５７０に対し手前に張り出して浮遊したように見える。ユーザは、空間浮遊映像表示部１５２０に表示される空間浮遊映像３を、図１４と同様に、斜め上の視点Ｅから斜め下への視線によって好適に視認できる。
　なお、キオスク端末１５００に図１４の構成を適用した場合、筐体１５５０内でミラー３６０によって光路を折り返す構成であるため、筐体１５５０内での、映像表示装置１０から再帰反射部材３３０までの光路をより長くすることができる。これにより、再帰反射部材３３０に対し空間浮遊映像３が前方斜め上に飛び出し量が大きくなるという効果を得ることができる。また、この構成により、筐体１５５０の奥行方向（Ｙ方向）での厚さ寸法は抑えることができる。
　また、図２２の（Ａ）の構成では、第１の測距装置３４０（前述のＴＯＦセンサなどを含む）は、空間浮遊映像表示部１５２０の開口部を通じて、空間浮遊映像３の全体をカバーする範囲をセンシングする。上記第1の測距装置３４０を用いることで、主に、利用者（ユーザ）の、空間浮遊映像３に対するタッチ操作などのセンシングを行う。なお、図２２の（Ａ）では、第１の測距装置３４０によるセンシングの範囲の下端Ｂは、開口部に合わせて、水平面（Ｙ方向）に対し斜め上となっているが、これに限らず、水平方向（Ｙ方向）に近づけてもよい。筐体１５５０の開口部の位置や第１の測距装置３４０の配置位置を変更することで、そのセンシングの範囲を設計可能である。
　また、第１の測距装置３４０を含むセンシングシステムを、ユーザがキオスク端末１５００（筐体１５５０の斜面１５７０、または空間浮遊映像３など）に対し十分に近づいたかどうかの検出、あるいは、カメラと合わせてその検出の補助に用いてもよい。また、図２２の（Ａ）の構成で図８のような第１の測距装置３４０と第２の測距装置３４１を設ける場合には、それらを例えば再帰反射部材３３０に対しＸ方向で左右の位置に配置し、測距の光軸を水平面（Ｙ方向）に近づけてもよい。
　キオスク端末１５００は、第１の測距装置３４０を含むセンシングシステムを用いて、空間浮遊映像表示部１５２０の空間浮遊映像３に対するユーザの手指による操作をセンシングする。キオスク端末１５００の制御部１１１０は、そのセンシング結果を含む検出情報に応じて、空間浮遊映像表示部１５２０での空間浮遊映像３の表示内容（コンシェルジュ１５２１や後述の操作メニューなどのユーザインタフェース）を制御する。
　上記の通り、実施の形態１の空間浮遊映像情報表示システムであるキオスク端末によれば、空間浮遊像３を、運動視差を伴う多視点映像として表示することができる。したがって、空間浮遊像３を、平面映像として表示する場合に比較して、キオスク端末などの利用者に対して、より好適な空間浮遊映像によるインタフェースおよび必要な情報を提供できる。実施の形態１のシステムによれば、空間浮遊映像として表示された操作メニューなどのユーザインタフェースの操作が初めてのユーザ、操作に不慣れなユーザ、あるいは高齢のユーザなどであっても、当該ユーザに対し、空間浮遊映像、かつ多視点映像として表示された、親しみやすい人物像としてのコンシェルジュによる操作案内を提供することができる。これにより、空間浮遊映像のインタフェースに対するユーザの誤入力や誤操作を回避または低減でき、より確実な操作を可能とする。
　＜キオスク端末に係わる実施の形態２＞
　図２３は、キオスク端末に係わる他の実施例（実施の形態２とする）の外観構成例を示す。図２３に示すキオスク端末１６００は、図２１に示したキオスク端末とは異なり、液晶表示画面１５１０を備えず、筐体１６５０の斜面１６７０において、概略的に全面に、空間浮遊映像表示部１６２０が備えられている。この空間浮遊映像表示部１６２０による１つの画面は、図２１での空間浮遊映像表示部１５２０の画面よりもサイズが大きい。図２３の実施例では、空間浮遊映像表示部１６２０は、縦長のサイズの１つの画面を有し、１つの空間浮遊映像３が表示される。本例では、この１つの画面の空間浮遊映像３内に、コンシェルジュと操作メニューとの両方が並列で表示され、コンシェルジュが操作メニューの操作についてガイドする。
　空間浮遊映像表示部１６２０では、斜面１６７０に対し手前側に、空間浮遊映像３が表示される。本例では、空間浮遊映像３は、上部にコンシェルジュ１６２１が映し出されており、下部には、操作メニュー１６２２が映し出されている。操作メニュー１６２２には、例えば操作ボタン（丸や三角で示す）などが含まれている。コンシェルジュ１６２１は、操作メニュー１６２２に関する操作方法などを説明、ガイドする。この図２３の構成の場合でも、図２１の場合と同様に、ユーザは、多視点の空間浮遊映像として表示されるコンシェルジュ１６２１によるガイドに従って、キオスク端末１６００、特に操作メニュー１６２２を容易に操作でき、所望のサービスを受けることができる。
　図２３の構成でも、筐体１６５０に、カメラ１６４１，１６４２や、超指向性スピーカ１６５１，１６５２や、人感センサ１６６０を備えており、これらについては、図２１の構成と同様である。
　図２４の（Ａ）は、図２３のキオスク端末１６００の内部構造の一例を示す図であり、キオスク端末１６００を右側面から見た場合の内部透視のＹ－Ｚ断面を示している。このキオスク端末１６００は、筐体１６５０内に、前述の図１３の空間浮遊映像情報表示システム１の構成要素が収容されている。すなわち、筐体１６５０内の上部に、映像表示装置１０、レンチキュラーレンズ１１０３、再帰反射部材３３０などが配置されている。一方、図２４の（Ｂ）は、図２４の座標軸におけるＺ軸方向から見たときのレンチキュラーレンズ１１０３を示す。また、図２４の（Ａ）（Ｂ）の構成により、利用者が空間浮遊像３を、運動視差を伴う多視点映像として視認できる点も、図１３を用いて説明した通りである。
　図２４の（Ａ）の構成では、筐体１６５０内の上部の底面部の上に、映像表示装置１０が略水平面（詳しくは、Ｙ方向に対し奥側がやや上に傾いた状態）に沿って配置されており、映像表示装置１０の光軸Ｊ１は略鉛直上方（Ｚ方向）を向いている。また、筐体１６５０の上部の斜面１６７０には、空間浮遊映像表示部１６２０の開口部（点線で示す）が設けられている。筐体１６５０の上部内で、その開口部に対し近くには、再帰反射部材３３０が所定の角度で配置されている。斜面１６７０は所定の角度ε１を有しており、再帰反射部材３３０は、斜面１６７０に対し所定の角度ε２で配置されている。
　図２４の（Ａ）の構成では、図１３の場合と同様に、映像表示装置１０からの映像光を再帰反射部材３３０に入射し、再帰反射光を映像表示装置１０とは反対側、すなわち斜面１６７０の開口部の方に出射する。これにより、斜面１６７０の空間浮遊映像表示部１６２０における、開口部の外側の所定の位置に、実像である空間浮遊映像３が、多視点映像として生成される。この空間浮遊映像３は、斜面１６７０に対し所定の角度ε２で斜めに配置されている。ユーザは、空間浮遊映像３に対し、斜め上の視点Ｅから、斜め下の視線によって、この空間浮遊映像３を好適に視認できる。
　また、図２４の（Ａ）の構成では、筐体１６５０の上部内の所定の位置、本例では再帰反射部材３３０の上端の付近の位置に、第１の測距装置３４０（ＴＯＦセンサなどを含む）が設置されている。この第１の測距装置３４０の光軸は、空間浮遊映像３の方を向いており、視野角は、空間浮遊映像３の全体をカバーする広さとされている。このキオスク端末１６００に実装されている、第１の測距装置３４０を含むセンシングシステムは、空間浮遊映像表示部１６２０の空間浮遊映像３に対するユーザの手指ＵＨによる操作をセンシングする。
　図２３、図２４に示す実施の形態２では、１つの空間浮遊映像表示部１６２０に、空間浮遊映像３としてのコンシェルジュ１６２１の姿と、空間浮遊映像３としての操作メニュー１６２２との両方が、運動視差を伴う多視点映像として表示される。この時、コンシェルジュ１６２１だけを多視点立体映像として表示し、操作メニュー１６２２は平面映像をして表示してもよい。この場合、空間浮遊映像３を多視点立体映像として表示するか、あるいは、平面映像として表示するかは、レンチキュラーレンズ１１０３を配置した状態であっても、映像表示装置１０に表示する映像を、多視点立体映像とするか、あるいは、平面映像とするかを切り替えるだけで可能となる。
　キオスク端末における空間浮遊映像の表示方法は、これに限らない。変形例としては、空間浮遊映像表示部１６２０の１画面内で、図２３のように、コンシェルジュの表示と操作メニューの表示とを同時に表示するのではなく、コンシェルジュの表示と操作メニューの表示とを、適宜切り替えるようにしてもよい。
　＜キオスク端末の使用シーン＞
　以上、キオスク端末に係る、２つの実施の形態について説明した。次に、実際の利用者によるキオスク端末の使用シーンについて説明する。図２５は、１人の利用者が、実施の形態１の空間浮遊映像情報表示システムとしてのキオスク端末を、使用するシーンを示す図である。図２５において、キオスク端末１５００には、空間浮遊像としての多視点映像であるコンシェルジュ（女性の顔）が表示されている。
　ここで、空間浮遊像としての多視点画像であるコンシェルジュは、キオスク端末１５００の近傍に位置する利用者が、上記コンシェルジュを視認できる範囲内であれば、どの位置にあっても、コンシェルジュが常に自分の（利用者の）方に視線を向けているように視認することが可能である。より具体的には、図２５に示すように、利用者がキオスク端末の斜め左側に立っている場合、コンシェルジュは利用者の立っている方向、すなわち、斜め左の方を向いているように、利用者により視認することができる。一方、利用者がキオスク端末の斜め右側に立っている場合、コンシェルジュは利用者の立っている方向、すなわち、斜め右の方を向いているように、利用者により視認することができる。
　上記のように、空間浮遊像としてのコンシェルジュを表示するためには、図１８に示す「表示形式Ａ」で、多視点画像としてのコンシェルジュを表示すればよい。その結果、利用者が、キオスク端末１５００、すなわち、空間浮遊像に向かって右から順に、カメラＮｏ.１～Ｎｏ.９によるコンシェルジュの映像を、運動視差を伴う９視点の多視点の空間浮遊像として表示することができる。
　また、利用者がキオスク端末１５００に対して、例えば、向かって右側から左側の向きに移動した場合には、利用者は、図１５に示すような多視点画像特有の運動視差を認識することができ、空間浮遊像としてのコンシェルジュを立体画像（または立体映像）として認識することができる。この結果、単に二次元画像として空間浮遊像が表示されている場合と比較して、利用者は、コンシェルジュを実際の人物であるかのように立体的かつ運動視差を伴う多視点映像として視認することができる。さらに、利用者は、キオスク端末１５００の近傍を移動した場合であっても、常にコンシェルジュが自分の（利用者の）方に視線を向けて語りかけているような感覚を得ることができる、というこれまでにない、新たな効果を得ることができる。
　＜キオスク端末に係わる実施の形態３＞
　図２６は、一実施例（実施の形態３とする）として、キオスク端末における空間浮遊映像３の表示の一例を示す。図２６のキオスク端末は、図２１のキオスク端末１５００を例とした構成を示す。図２６のキオスク端末は、空間浮遊映像情報表示システム１により形成される空間浮遊映像３をユーザインタフェースとして適用したキオスク端末である。また、図２７、図２８は、図２６のキオスク端末をユーザが操作する場合の動作フローを示す。
　図２７は、図２６のキオスク端末の起動時に係わる第１動作フローを示す。第１動作フローは基本的な動作を示す。ステップＳ１００で、フロー開始時、キオスク端末は、待機状態（言い換えるとスリープ状態）である。ステップＳ１０１で、キオスク端末は、ユーザがこのキオスク端末に近づいたかどうかを検知する。キオスク端末を利用しようとするユーザが、キオスク端末に近づいてくる、あるいは、ユーザがキオスク端末の近傍の所定の位置に立つ。ユーザがこのキオスク端末に近づいた際には、カメラ１５４１，１５４２による撮像に基づいて、ユーザがこのキオスク端末（特に斜面１５７０の正面）に近づいたことが検知される。もしくは、カメラの代わりに、図２１に示す赤外線を用いた人感センサ１５６０などによって、ユーザがこのキオスク端末１５００に近づいたことを検知してもよい。ユーザがキオスク端末に近づいたことを検知した場合（ＹＥＳ）、ステップＳ１０２で、キオスク端末は、起動状態に遷移する。その後、起動状態で、ユーザは、キオスク端末を使用できる。
　ステップＳ１０３で、キオスク端末は、空間浮遊映像表示部１５２０に、コンシェルジュ１５２１または操作メニュー１５２２を表示して、ユーザに対し、操作方法などをガイドなどしながら、操作メニュー１５２２での操作（言い換えると入力）を受け付け、その操作の検出に応じた所定の処理（アプリケーションやサービスの処理）を行う。具体例では、最初時には、図２６の（Ａ）のように、空間浮遊映像表示部１５２０にコンシェルジュ１５２１が表示され、コンシェルジュ１５２１の映像および音声により、ユーザに対し、あいさつや操作案内を行う。そして、あいさつなどが終わると、自動的に、図２６の（Ｂ）のように、空間浮遊映像表示部１５２０の表示はコンシェルジュ１５２１から操作メニュー１５２２に遷移する。ユーザは操作メニュー１５２２に対し手指で操作を行う。キオスク端末は、センシング技術を用いて操作を検出し、検出した操作に応じた処理を行う。
　なお、コンシェルジュ１５２１の映像は、既に述べたように、運動視差を伴う多視点映像に基づく空間浮遊映像である。多視点映像としては、実際の人を予め多視点から、すなわち視点の数に対応した複数のカメラによって撮影した動画でもよいし、コンピュータでレンダリングにより生成したＣＧに基づく人物像でもよいし、人の姿を表すアニメーションなどでもよい。また、人に限らず、動物やフィクション上のキャラクターなどとしてもよい。
　ステップＳ１０４では、ユーザがこのキオスク端末から離れたかどうかを検知する。ユーザがこのキオスク端末から離れた場合、カメラ１５４１，１５４２による撮像に基づいて、ユーザがこのキオスク端末（特に正面の斜面１５７０）から離れたことが検知される。もしくは、カメラの代わりに、図２１に示す人感センサ１５６０などによって、ユーザがこのキオスク端末から離れたことを検知してもよい。ユーザがキオスク端末から離れたことを検知した場合（Ｙ）、ステップＳ１０５で、キオスク端末は、待機状態に遷移する。
　図２８は、図２６の実施の形態３でのキオスク端末の起動時に係わる第２動作フローを示す。第２動作フローは、第１動作フローよりも詳しい実施例を示す。第２動作フローは、キオスク端末が起動状態となった後の動作として、ユーザの認証などを行う場合の動作フローを示す。
　ステップＳ２００で、フロー開始時、キオスク端末は、待機状態である。ユーザは、キオスク端末の正面に近づいてくる、あるいは、キオスク端末の近傍の所定の位置に立つ。ステップＳ２０１で、キオスク端末は、このキオスク端末（特に斜面１５７０の正面）にユーザが近づいたかどうかを２台のカメラによるステレオ撮影などによって検知する。ユーザを検知した場合（Ｙ）、ステップＳ２０２で、キオスク端末は、空間浮遊映像表示部１５２０に、図２６の（Ａ）のように、まず、コンシェルジュ１５２１を表示し、コンシェルジュ１５２１の映像および音声により、ユーザに対し、例えば「いらっしゃいませ、ご利用ありがとうございます。」などのあいさつを行い、また、あいさつのメッセージも表示する。
　次に、ステップＳ２０３で、キオスク端末は、検知したユーザの認証を行う。この際、キオスク端末は、空間浮遊映像３として、「認証しています」などの、認証中を表すメッセージも表示する。キオスク端末は、認証として、２台のカメラ１５５１，１５５２の撮像画像（特に顔画像）に基づいて、近づいてきた人（すなわち検知したユーザ）の顔認証を行うことで、ユーザを識別・特定してもよい。または、ユーザの目の虹彩画像に基づいた認証が行われてもよい。ここでの認証とは、キオスク端末の正面前方の所定の範囲内に存在しているユーザの顔または虹彩などの部分を、２台のカメラで撮影して得られたステレオ画像に基づいて、ユーザが、予め本システムに登録された、このキオスク端末の正規のユーザであるか否かを判定することである。
　ここで、１台のカメラによる撮影によってもユーザの画像の基づいた認証は可能であるが、２台のカメラ１５５１，１５５２によるステレオ画像を用いることで、１台のカメラ画像による認証と比較して、より精度が高く、不正利用のしにくいユーザ認証が可能となる。例えば、顔を正面からのみ撮影した画像が紙に印刷された顔画像を用いた、不正な認証を、見抜くことが可能となる。
　上記顔認証などに限らず、ユーザの認証の他の方法としては、以下も適用できる。ユーザが所持しているマイナンバーカードなどの本人確認証、運転免許証などの情報を、キオスク端末に読み込ませることで、ユーザ認証する方法も適用可能である。また、ユーザが所持する携帯端末などに記憶されているユーザ情報を、携帯端末とキオスク端末との近距離無線通信で授受することで、ユーザ認証を行う方法も適用できる。
　また、ユーザが所持するスマートフォンなどの携帯端末に、ユーザを特定できる個人情報（例えば氏名、住所、生年月日、キオスク端末の使用履歴など）を含むＱＲコード（登録商標）などのコード情報を表示し、そのコード情報をキオスク端末の空間浮遊映像表示部１５２０に対し提示（例えばカメラ１５５１，１５５２に対しかざす）させる。そして、キオスク端末のカメラ１５５１，１５５２により、上記提示されたユーザの情報を読み込むことで、ユーザ認証を行う方法も適用できる。
　ステップＳ２０４では、キオスク端末は、上記ユーザの認証が成功したかを確認し、成功の場合にはステップＳ２０６へ、失敗の場合にはステップＳ２０５へ進む。ステップＳ２０５では、キオスク端末は、他の認証方法を促し、ステップＳ２０３に戻り、他の認証方法での認証を試みる。上記ユーザの認証のプロセスを経た後、キオスク端末は、空間浮遊映像表示部１５２０に、所定の操作メニュー画面（不特定多数のユーザに対応した操作メニュー）を提示してもよいし、あるいは、認証で特定された個々のユーザに最適なメニュー画面（個人用の操作メニュー）を提示するようにしてもよい。
　具体例では、認証成功後、図２６の（Ａ）、（Ｂ）に示すように、空間浮遊映像表示部１５２０の表示は、コンシェルジュ１５２１から操作メニュー１５２２に変化・遷移する。（Ｂ）の操作メニュー１５２２は、内容例としては、「タッチして項目を選んでください」とメッセージ（文字画像）が表示され、選択肢、項目となる押しボタンとして、例えば、「１ 住民票発行」、「２ チケット購入」、「３ 登録情報」、「４ 別のメニュー」が表示されている。「１ 住民票発行」は、住民票の発行などの行政手続きに係わる項目である。「２ チケット購入」は、コンサートや映画など、または電車などのチケットの購入や受け取りに係わる項目である。「３ 登録情報」は、ユーザに係わる登録情報の確認や変更などに係わる項目である。「４ 別のメニュー」は、別のメニューに遷移するための項目である。ユーザは、目的に応じて、例えば「２ チケット購入」項目のボタンを押す。キオスク端末は、押されたボタンに応じて、次の操作メニューの表示に遷移させる。さらに詳細な例について以下に示す。
　［コンシェルジュによる操作案内］
　図２８のステップＳ２０６で、キオスク端末の空間浮遊映像情報表示システム１は、通信部１１３２（図２）を介して、通信網上のキオスクサーバにアクセスし、上記ユーザ認証の結果情報を通知する。また、キオスク端末は、当該ユーザが過去に当該キオスク端末を使用したことのあるユーザであるか否かを、キオスクサーバ内の利用者データベースから当該ユーザの属性情報などを取得・参照することで判断する。もしくは、キオスク端末は、上記ユーザの携帯端末からのコード情報などに基づいて、ユーザの属性情報などを取得・参照してもよい。ユーザの属性情報には、例えばユーザの性別、年齢、過去のキオスク端末の使用履歴などの情報を含む。
　また、ステップＳ２０６では、キオスク端末は、ユーザの携帯端末から無線通信でユーザ属性情報を含むユーザ情報などを取得してもよい。また、キオスク端末は、ユーザ属性情報のみならず、キオスクサーバなどの外部装置から、当該ユーザおよび操作メニューに係わる他の所定のデータ、例えばチケット予約情報などのユーザが予め入力・登録済みの情報を併せて取得してもよい。また、ステップＳ２０６で、キオスク端末は、カメラ１５４１，１５４２の画像に基づいて、当該ユーザの年齢などの属性を判断してもよい。ステップＳ２０６で取得されたユーザ属性情報は、次のステップＳ２０７の判定で使用される。
　次のステップＳ２０７では、キオスク端末は、ステップＳ２０６で得られた、ユーザの属性情報に基づいて、当該ユーザが、当該キオスク端末を利用する「初めてのユーザ」、あるいは「高齢のユーザ」であるかを判断する。そのような所定の条件に該当するユーザであると判定された場合（ＹＥＳ）にはステップＳ２０８に進み、条件に該当しないユーザであると判定された場合（ＮＯ）にはステップＳ２０９に進む。
　本システムは、ステップＳ２０７の判定結果に応じて、対応を分岐する。ここでは大きく２つの対応に分かれる。一方は、慣れたユーザを想定した第１処理フロー（ステップＳ２０９からのフロー）であり、他方は、不慣れなユーザ（初めてのユーザや高齢のユーザ）を想定した第２処理フロー（ステップＳ２０８からのフロー）である。第１処理フローでは、キオスク端末は、コンシェルジュによる操作ガイドを省略する、または、第２処理フローに比べて簡易化した操作ガイドとする。第２処理フローでは、キオスク端末は、コンシェルジュによる詳しい操作ガイドを行う。
　ステップＳ２０８では、キオスク端末は、空間浮遊映像表示部１５２０において、「コンシェルジュによる音声付操作ガイド」を行う。なお、「コンシェルジュ」とは、「案内人」を意味し、例えば図２６の（Ａ）に示すように、運動視差を伴う多視点画像（または映像）に基づく空間浮遊映像３として、例えば、人物の上半身の映像としてのコンシェルジュ１５２１（図面では模式で図示している）が表示される。コンシェルジュ１５２１は、空間浮遊映像３をユーザインタフェースとして用いたキオスク端末の操作が初めてのユーザ、あるいは、その操作に不慣れな高齢のユーザのために、音声や身振りをまじえて、当該ユーザに対し、操作方法などに関するガイドを行う。コンシェルジュ１５２１は、（Ｂ）のような操作メニュー１５２２の操作に関してユーザがわからない箇所について説明やガイドを行う。
　より具体的には、ステップＳ２０８では、まず、図２６の（Ａ）に示すように、空間浮遊映像表示部１５２０の画面上に、コンシェルジュ１５２１の映像が現れる。コンシェルジュ１５２１は、「私が、操作方法についてご案内させていただきますので、お客様は、私の説明に従って、メニュー操作をしてください。」などの文字映像および音声を出力する。音声は、例えば図２６の（Ａ）の超指向性スピーカ１５５１，１５５２により、当該ユーザにのみ聞き取ることができる方法で提供される。コンシェルジュ１５２１は、キオスク端末および操作メニューの使用方法を、逐次、ユーザに伝えることによって、操作ガイドを行う。
　次に、ステップＳ２０８とステップＳ２０９とのいずれの場合でも、図２６の（Ａ）、（Ｂ）のように、空間浮遊映像３としてのコンシェルジュ１５２１の映像は、空間浮遊映像３としての操作メニュー１５２２の映像に切り替わる。ここで、ステップＳ２０８では、空間浮遊映像３の画面が操作メニュー１５２２に切り替わった後でも、コンシェルジュ１５２１によるガイドが継続する。キオスク端末は、適宜に、空間浮遊映像表示部１５２０でのコンシェルジュ１５２１の表示と操作メニュー１５２２の表示とを切り替える。ユーザは、コンシェルジュ１５２１の操作ガイドに従って、空間浮遊映像表示部１５２０の画面上の操作メニュー１５２２の操作を行う。
　次に、ステップＳ２１０では、ユーザが、キオスク端末の操作メニュー１５２２に対し、所定の一連の操作、例えばチケットを発行するための、暗証番号の入力操作などを行う。キオスク端末は、その操作を検出して処理を行い、チケットを発行する。ユーザは、取り出し口１５３０からチケットを受け取る。ユーザの所望の操作およびそれに対応したキオスク端末の動作、例えばチケット発行が完了した場合（Ｙ）、ステップＳ２１２に移行する。
　ステップＳ２１２では、キオスク端末は、空間浮遊映像表示部１５２０の画面に、再び操作メニュー１６２２（例えば最初のメニュー画面、または、次のメニューがある場合の次のメニュー画面、あるいは、最後のメニュー画面など）を表示する。もしくは、キオスク端末は、空間浮遊映像表示部１５２０での表示を終了する。また、キオスク端末は、表示終了の際には、画面に最後にコンシェルジュ１５２１を表示し、ユーザに対し終了の旨（「ご利用ありがとうございました」など）を出力させてもよい。
　一方、ステップＳ２０９では、キオスク端末は、操作が初めてではなくある程度慣れているユーザを想定した表示を行う。キオスク端末は、空間浮遊映像表示部１５２０の画面の表示を、図２６の（Ｂ）のように、操作メニュー１５２２に切り替える。その後、ユーザは、画面の操作メニュー１６２２に従って、項目の選択などの所望の操作を行う。ステップＳ２１１では、ステップＳ２１０と同様に、所定の一連の操作およびそれに対応する動作（例えばチケット発行）が完了した場合（Ｙ）、ステップＳ２１２に移行する。
　ここで、ステップＳ２０９に進んだ場合でも、ユーザによる操作がうまくいかない可能性を考慮し、ステップＳ２１２が設けられている。ステップＳ２１１で、ユーザの所定の一連の操作が完了しない場合（Ｎ）、ステップＳ２１２に進む。ステップＳ２１２で、キオスク端末は、操作メニュー１５２２において、ユーザの操作がうまくいっているかどうかを判断する。具体例では、キオスク端末は、操作メニュー１５２２において、ユーザによる操作が、所定の時間（例えば３０秒）よりも長い時間、停止（言い換えると入力が無い）しているかどうかを判断する。ユーザは、空間浮遊映像３としての操作メニュー１５２２の操作がよくわからない場合などに操作を停止している可能性がある。キオスク端末は、カメラやセンシング技術などを用いて、その長時間操作停止を検出する。長時間操作停止しているなどと判断された場合（Ｙ）にはステップＳ２０６に進み、そうでない場合（Ｎ）にはステップＳ２０９に進む。
　また、他の例では、ステップＳ２１２で、キオスク端末は、ユーザが空間浮遊映像３の面（操作メニュー１５２２）に対し誤った操作をしているかどうかを判断してもよい。例えば手指が項目のボタンなどから離れた位置でタッチしようとしているなどが判断されてもよい。
　ステップＳ２１２からステップＳ２０８に進んだ場合、キオスク端末は、当該ユーザに対し、空間浮遊映像表示部１５２０にコンシェルジュ１５２１を表示し、コンシェルジュ１５２１による操作ガイドを行う。この際、キオスク端末は、コンシェルジュ１５２１による操作ガイドとして、予め規定された内容による操作ガイドの再生としてもよいが、より好ましくは、ステップＳ２１２で当該ユーザが操作停止した操作メニュー１５２２の箇所についての操作ガイドを行う。例えば、図２６の（Ｂ）の「２.チケット購入」ボタンが押された後の操作メニューでユーザの操作が止まっていた場合には、キオスク端末は、その操作メニュー内で次にどのような操作をすればよいかを、コンシェルジュ１５２１によってガイドする。
　なお、上述した動作例は、図２３の実施例、すなわち１つの空間浮遊映像３の画面内にコンシェルジュ１６２１と操作メニュー１６２２との両方を並列に表示する構成例にも、同様に適用できる。この場合、画面内で、コンシェルジュ１６２１が操作メニュー１６２２を例えば指先で指し示しながら操作ガイドすることなどが可能である。
　実施の形態３によれば、キオスク端末は、ユーザがキオスク端末に近づいたことを契機として、空間浮遊映像３としてコンシェルジュ１５２１を表示し、コンシェルジュ１５２１による操作ガイドを開始する。コンシェルジュ１５２１の映像は、運動視差を伴う多視点画像（または映像）による空間浮遊映像であるので、ユーザは、コンシェルジュ１５２１の映像を立体像として視認することができる。そのため、ユーザは、コンシェルジュ１５２１の映像を、あたかも、実際の人物がそこに存在するかのような感覚を覚えることとなり、キオスク端末を初めて操作するユーザや、操作に不慣れな高齢者などのユーザであっても、コンシェルジュ１５２１による操作ガイドや、超指向性スピーカの音声（他の人には聞こえない操作ガイド）などに従って、所定の操作を確実に行うことができる。
　実施の形態３によれば、認証によりユーザを特定し、ユーザの年齢やシステム利用履歴に基づいて、初めて操作を行うユーザや、操作に不慣れなユーザや、高齢のユーザに対しては、コンシェルジュにより丁寧に操作方法などを説明する。よって、そのようなユーザでも、空間浮遊映像としての操作メニューに対し、確実なキー入力操作などを行うことができる。慣れたユーザに対しては操作ガイドを省略または簡易化することで、効率的なサービスも可能である。
　実施の形態３などの変形例として以下も可能である。図３１は、その変形例での表示例を示す。キオスク端末は、空間浮遊映像表示部１５２０による空間浮遊映像３の１画面内に、操作メニュー１５２２の映像をベースとしてなるべく大きく表示する。キオスク端末は、その操作メニュー１５２２上に、コンシェルジュ１５２１の映像を、相対的に小さいサイズで重畳表示させる。そして、キオスク端末は、そのコンシェルジュ１５２１により操作メニュー１５２２の操作をガイドさせる。コンシェルジュ１５２１は、例えば身振り、手振り、口や目の動きなどをまじえて動き、かつ、運動視差を伴う多視点映像に基づく空間浮遊映像とすると好ましい。キオスク端末は、操作メニュー１５２２の画面内で適宜にコンシェルジュ１５２１の表示有無や表示位置などを変えてもよい。
　＜キオスク端末に係わる実施の形態４＞
　図２９は、他の実施例（実施の形態４とする）として、キオスク端末と、ユーザが保持する携帯端末との連携動作を行う実施例を示す。図２９のキオスク端末１７００は、空間浮遊映像情報表示システム１により形成された空間浮遊映像３をユーザインタフェースとして適用したキオスク端末である。ユーザ１７１０がこのキオスク端末１７００を操作する場合に、キオスク端末１７００と、ユーザ１７１０が所持するスマートフォンなどの携帯端末１７４０との連携を行う。図２９のキオスク端末１７００は、図２３のキオスク端末１６００の構成をベースとしている。
　一例として、ユーザ１７１０がキオスク端末１７００を利用してチケット（例えばあるコンサートのチケット）を購入する手続きを行う場合について説明する。前述の、図２７、図２８に示すフローチャートと同様に、ユーザ１７１０がキオスク端末１７００に近づいた場合、キオスク端末１７００は、ユーザ１７１０の認証を行い、空間浮遊映像表示部１７２０に、コンシェルジュ１７２１や操作メニュー１７２２を表示する。ユーザは、コンシェルジュ１７２１によるガイドなどに従い、操作メニュー１７２２を操作する。例えば図２６の（Ｂ）のような操作メニュー１５２２から、「２ チケット購入」が選択操作される。キオスク端末は、空間浮遊映像表示部１７２０の画面内に、「２ チケット購入」から遷移する操作メニュー１７２２を表示する。ユーザ１７２０は、操作メニュー１７２２で、チケットを購入するための詳細な操作を行う。
　チケットは、例えば紙に印刷された形で発行され、ユーザ１７１０は、その紙のチケットを受け取る。あるいは、チケットの入手方法としては、紙に印刷されたチケットを受け取るだけではなく、いわゆる電子チケット（あるいは「ｅチケット」）の形で受け取ることも可能である。この場合、ユーザ１７１０は、紙に印刷されたチケットの代わりに、紙に印刷されたチケットと同一の情報（すなわち電子チケット）を、ユーザ１７１０が所有する携帯端末１７４０で受信する。本例では、操作メニュー１７２２での操作の際に、携帯端末１７４０とキオスク端末１７００との間で、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの通信インタフェースでの近距離無線通信が行われる。キオスク端末１７００から、ユーザの携帯端末１７４０に、上記電子チケットを直接送信する。この際に、キオスク端末は、コンシェルジュ１７２１により、その通信の操作をガイドする。
　他の例として、図２９に示すように、キオスク端末１７００は、空間浮遊映像表示部１７２０の画面上に、空間浮遊映像３（例えば操作メニュー１７２２の一部）として、上記電子チケットの情報内容を含む、バーコードまたはＱＲコード（登録商標）などのコード情報１７６０（言い換えるとコード映像）を表示する。ユーザ１７１０は、自分の携帯端末１７４０を用いて、そのコード情報を読み取る。例えば、ユーザ１７１０は、コンシェルジュ１７２１によるガイドに従い、操作メニュー１７２２内に表示されたコード情報１７６０を携帯端末１７４０のカメラなどのリーダ機能によって読み取る操作を行う。コンシェルジュ１７２１は、その読み取りの操作をガイドする。携帯端末１７４０は、読み取ったコード情報１７６０に基づいて、電子チケットを取得し、携帯端末１７４０内部のメモリなどに保持する。
　ユーザ１７１０がキオスク端末１７００から受け取ることができるものや情報は、紙のチケットや電子チケットに限らず、例えば買い物に利用できるクーポンやポイントの情報、さらには電子書籍などであってもよい。紙に印刷されたチケットやクーポンは、紛失する可能性があるが、電子チケットやクーポンであれば、携帯端末１７４０の内部に保持されるので、紛失する可能性を低減できる。また、紛失の可能性を低減するのみならず、電子チケットやクーポンを携帯端末１７４０の内部に保持することで、紙に印刷されたチケットやクーポンに比べ、実際にチケットを利用する場合に、携帯端末を提示する、または、携帯端末に保持された電子チケットをチケット発行者が読み取るなどの利用形態が可能である。これにより、ユーザにとっての使い勝手が向上する。
　キオスク端末は、空間浮遊映像３の操作メニューに対するユーザの操作に応じて、ユーザの携帯端末に対し、無線通信で、その操作メニューに関連する情報（例えばアクセス履歴情報、操作履歴情報など）を送信してもよい。
　＜キオスク端末に係わる実施の形態５＞
　図３０は、一実施例（実施の形態５とする）として、前述の空間浮遊映像３に対しユーザが任意の文字や図形を入力・描画できる機能（図１２）に関する詳しい実施例を示す。例えば、図２７、２８に示すフローチャートを用いて説明した一連の手続きによって、ユーザがキオスク端末から紙ベースのチケットまたは電子チケットを受け取った場合に、ユーザが、チケットを受け取ったことをユーザが認めるための「サイン」（署名）を行う。
　図３０のキオスク端末２０００は、図２１や図２３のキオスク端末の構成をベースとした例で、空間浮遊映像表示部２０２０のみを図示している。図３０の（Ａ）は、空間浮遊映像表示部２０２０に、多視点映像である空間浮遊映像３としてコンシェルジュ２０２１が表示された状態を示す。（Ｂ）は、空間浮遊映像３としてサイン入力のためのユーザインタフェースが表示された状態を示す。（Ｃ）は、そのユーザインタフェース内にユーザによりサインが入力され描画された状態を示す。（Ｄ）は、空間浮遊映像３としてサイン入力の終了に応じたコンシェルジュ２０２１が表示された状態を示す。
　キオスク端末がチケットを発行してユーザがそのチケットを受け取った後、キオスク端末は、図３０の（Ａ）に示すように、空間浮遊映像表示部２０２０に、空間浮遊映像３としてのコンシェルジュ２０２１を表示する。コンシェルジュ２０２１は、ユーザに対し、例えば「お客様がチケットをお受け取りになったことを確認するため、最後に、サインをお願い致します」といったメッセージの映像および音声を出力する。これにより、ユーザに対し、空間浮遊映像３に対するサイン（言い換えると受領サイン）を行うことを促す。
　次に、キオスク端末は、コンシェルジュ２０２１の姿の表示を消し、図３０の（Ｂ）に示すように、空間浮遊映像表示部２０２０に、空間浮遊映像３としてのサイン用画面２０２２（言い換えるとサイン入力のユーザインタフェース）を表示する。
　図３０の（Ｂ）の例では、サイン用画面２０２２上に空間浮遊映像３として描かれた文字として「チケット受領サインをお願い致します」といった文言が表示される。その文言の下には、サインをする領域を示す枠線（サイン枠線領域）２０２３が表示される。枠線２０２１は、例えば所定の背景色（例えば黒）をベースに、４辺の枠線が所定の色（例えば緑色）で表示される。枠線２０２１内に指先が差し込まれていない時には、枠線２０２１はその所定の色（例えば緑色）で表示される。
　次に、図３０の（Ｃ）に示すように、ユーザは、自身の手指ＵＨの指先、もしくは所定の導電性のペンを用いて、枠線２０２３内に、サインとして、自分の名前、本例では筆記体で“Ｔоｍ”、を描くように操作を行う。この際、キオスク端末は、前述（図１２）と同様に、センシング技術を用いて、空間浮遊映像３の面での空中操作を検出し、検出した指先の接点位置などに合わせて、空間浮遊映像３の面内（枠線２０２３内）に、リアルタイムで線分を描画する。線分２０２４は、入力・描画されたサイン（“Ｔоｍ”）に相当する一筆書きの線である。線分２０２４は、所定の色で表示される。
　ユーザは、自分の名前をサインとして描き終えると、指先を空間浮遊映像３のサイン枠線領域２０２３から手前に離す。キオスク端末は、指先が離された後、所定の時間（例えば５秒）が経過したことを判断・検出すると、ユーザによるサインの入力が完了したとみなす。そして、キオスク端末は、図３０の（Ｄ）のように、サイン入力終了を表す画面２０２５に遷移させる。この画面２０２５では、例えばコンシェルジュ２０２１の姿と共に、「サインを頂き、ありがとうございました」といった文言が表示および音声出力される。以上で、ユーザがチケットを受け取ったことをユーザ自身が認めるための「サイン」を行う一連の操作が終了する。
　なお、図３０の（Ｃ）に示した、ユーザが自身の指先などを用いて空間浮遊映像３としての枠線２０２３内に自分の名前をサインとして記入する技術は、前述の図１２で説明した技術を同様に適用できる。また、図１２の説明では、ユーザが自身の指先を空間浮遊映像３の面上の任意の位置に対し奥に差し込んだ時に、空間浮遊映像３全体の枠が例えば赤色に変化する例を記載した。これに対し、図３０の（Ｃ）の例では、空間浮遊映像３全体の枠ではなく、空間浮遊映像３内の一部の領域（サイン枠線領域２０２３）のみを、サインを入力し描画するための領域とする。そして、キオスク端末は、その領域内に指先が差し込まれた（言い換えると接触した）ことを検出した時に、その領域の枠線２０２３を、例えば赤色に変化させてもよい。
　また、ユーザが自身の指先を空間浮遊映像３の面上の任意の位置に差し込んだ時、すなわち接触有りの状態の時に、枠線２０２３は、赤色に限らず、別の所定の色、例えば青色に表示されてもよい。また、接触有りの状態の時に、枠線２０２３を点滅させるようにしてもよい。さらに、接触有りの状態の時に、枠線２０２３内の背景領域を、白色に変化させ、その背景領域に書き込まれた線分の色を、別の所定の色、例えば黒色としてもよい。また、枠線２０２３内の背景領域を黒色とし、その背景領域に書き込まれた線分の色を白色としてもよい。すなわち、サイン枠線領域２０２３において、ユーザの指先の動きに従って描かれた文字や図形の線分が、ユーザにとって認識しやすいように、キオスク端末は、サイン枠線領域２０２３での表示を制御する。キオスク端末は、サイン枠線領域２０２３に対する指先の接触有無などの状態に応じて、サイン枠線領域２０２３での表示の態様を変えるように制御する。
　従来の空間浮遊映像表示装置は、空間浮遊映像による操作メニューにおいてユーザが選択肢のボタンから選択する操作を行うことが主である。それに対し、実施の形態５では、空間浮遊映像３に対し、ユーザが手指を動かして任意の文字などをサインとして入力できる機能（空中サイン機能）が提供される。また、この機能では、空間浮遊映像３の面に指先が接触しているか否かに応じて枠線２０２３などの表示が変化するので、ユーザは、自分が空間浮遊映像３の面に指先が接触しているか否かの状態がわかりやすく、サインが入力しやすい。上記例では、空間浮遊映像３に対する入力を、サインに利用する例を示したが、これに限らず、他のアプリケーションにも利用できる。
　＜映像表示装置の第１構成例＞
　次に、図３２～図３４以降を用いて、空間浮遊映像情報表示システム１の詳細構成例を説明する。図３２は、空間浮遊映像情報表示システム１を構成する映像表示装置１０についてのより具体的な構成の一例を示す。図３２の光源装置１３は、例えばプラスチックなどのケース内に、ＬＥＤ、コリメータ、偏光変換素子、合成拡散ブロック、導光体などを収納して構成されている。その光源装置１３の上面には、液晶表示パネル１１が取り付けられている。また、光源装置１３のケースの１つの側面には、半導体光源であるＬＥＤ素子１０２Ａや、ＬＥＤ素子の制御回路を実装したＬＥＤ基板１０２が取り付けられている。それと共に、ＬＥＤ基板１０２の外側面には、ＬＥＤ素子１０２Ａおよび制御回路で発生する熱を冷却するための部材であるヒートシンク（図示せず）が取り付けられる。
　また、ケースの上面に取り付けられた液晶表示パネルフレームには、当該フレームに取り付けられた液晶表示パネル１１と、さらに、液晶表示パネル１１に電気的に接続されたフレキシブル配線基板（Flexible Printed Circuit:ＦＰＣ）などが取り付けられて構成されている。すなわち、液晶表示素子である液晶表示パネル１１は、固体光源であるＬＥＤ素子１０２Ａと共に、電子装置を構成する制御回路からの制御信号に基づいて、透過光の強度を変調することによって、表示映像を生成する。
　＜光源装置の第１構成例＞
　続いて、上記映像表示装置の第１構成例における、ケース内に収納されている光源装置などの光学系の構成例について、図３２と共に、図３３を参照しながら、詳細に説明する。図３２で、光源を構成するＬＥＤ１０２Ａは、コリメータ１５に対し、所定の位置に取り付けられている。なお、図３２では、一断面を図示しているので、１つのＬＥＤ素子やコリメータしか見えていないが、ＬＥＤ基板１０２には複数のＬＥＤ素子が配列されており、それらに対応させて複数のコリメータが配列されている。コリメータ１５は、各々、例えばアクリルなどの透光性の樹脂により形成されている。コリメータ１５は、放物断面を回転して得られる円錐凸形状の外周面１５６を有すると共に、頂部（ＬＥＤ基板１０２に接する側）における中央部に、凸部（すなわち凸レンズ面）１５７が形成された凹部１５３を有する。
　また、コリメータ１５の平面部（上記頂部とは逆の側）の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でもよい）１５４を有している。なお、コリメータ１５の円錐形状の外周面を形成する放物面１５６は、ＬＥＤ素子１０２Ａから周辺方向に出射する光を内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
　また、ＬＥＤ素子１０２Ａ（図３３の（Ａ）ではＬＥＤ素子１４ａ，１４ｂ）は、ＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板１０２は、コリメータ１５に対し、表面上のＬＥＤ素子１０２Ａが、それぞれ、凹部１５３の中央部に位置するように配置されて固定されている。
　かかる構成によれば、上述したコリメータ１５によって、ＬＥＤ１０２Ａから放射される光のうち、特に、中央部分から上方（図面での右方向）に向かって放射される光は、コリメータ１５の外形を形成する２つの凸レンズ面１５７，１５４により集光されて略平行光となる。また、その他の部分から周辺方向に向かって出射される光は、コリメータ１５の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて、略平行光となる。換言すれば、中央部に凸レンズを構成すると共に周辺部に放物面を形成したコリメータ１５によれば、ＬＥＤ素子１０２Ａにより発生された光のほぼすべてを平行光として取り出すことが可能となる。これにより、発生した光の利用効率を向上可能となる。
　なお、コリメータ１５の光の出射側には、偏光変換素子２１（言い換えると偏光変換部材）が設けられている。偏光変換素子２１は、入射された光の偏光特性を変換する素子である。偏光変換素子２１は、図３３の（Ａ）に示すように、断面が平行四辺形である柱状（平行四辺形柱）の透光性部材と、断面が三角形である柱状（三角形柱）の透光性部材とを組み合わせ、コリメータ１５からの平行光の光軸に対して直交する面に平行に、複数、アレイ状に配列して構成されている。さらに、これらアレイ状に配列された隣接する透光性部材間の界面には、交互に、偏光ビームスプリッタ（ＰＢＳ膜）２１１と反射膜２１２とが設けられている。また、偏光変換素子２１へ入射してＰＢＳ膜２１１を透過した光が出射する出射面には、λ/２位相板２１３（言い換えると半波長板）が備えられている。
　偏光変換素子２１の出射面には、さらに、図３３の（Ａ）にも示すように、矩形状の合成拡散ブロック１６が設けられている。ＬＥＤ素子１０２Ａから出射された光は、コリメータ１５の働きにより平行光となって、偏光変換素子２１を通じて偏光特性が変換された後、合成拡散ブロック１６へ入射し、出射側のテクスチャー１６１により拡散された後、導光体１７に到る。
　導光体１７は、図３３の（Ｂ）に示すように、例えばアクリルなどの透光性の樹脂により断面が略三角形の棒状に形成された部材である。そして、導光体１７は、図３２にも示すように、合成拡散ブロック１６の出射面に対し、第１の拡散板１８ａを介して対向する入射面を含んだ導光体光入射部１７１と、斜面を形成する反射面を含んだ導光体光反射部１７２と、第２の拡散板１８ｂを介して液晶表示パネル１１と対向する出射面を含んだ導光体光出射部１７３とを備えている。
　導光体１７の導光体光反射部１７２には、図３３の（Ｂ）にも示すように、多数の反射面１７２ａと連接面１７２ｂとが交互に鋸歯状に形成されている。そして、反射面１７２ａ（図面では右上がりの線分）は、水平面に対して、角度として、αｎ（ｎは自然数であり本例では１～１３０である）を形成している。一例として、ここでは、αｎを４３度以下（ただし０度以上）に設定している。
　導光体入射部１７１は、光源側に傾斜した湾曲の凸形状に形成されている。これによれば、合成拡散ブロック１６の出射面からの平行光は、第１の拡散板１８ａを介して拡散されて入射する。この入射光は、図面からも明らかなように、導光体入射部１７１により上方に僅かに屈曲、偏向しながら、導光体光反射部１７２に達してここで反射される。この反射光は、図面での上方の導光体出射部１７３の出射面から出射して、当該出射面に対し設けられた液晶表示パネル１１に到る。
　以上の映像表示装置１０によれば、光利用効率や均一な照明特性をより向上するとともに、モジュール化されたＳ偏波の光源装置１３を含め、小型かつ低コストで製造可能となる。なお、上記説明では、偏光変換素子２１をコリメータ１５の後に取り付けるものとしたが、これに限定されず、偏光変換素子２１は液晶表示パネル１１に到る光路中に設けられればよい。
　なお、導光体光反射部１７２には、多数の反射面１７２ａと連接面１７２ｂとが交互に鋸歯状に形成されており、照明光束は、各々の反射面１７２ａ上で全反射されて上方に向かう。さらに、導光体光出射部１７３には挟角拡散板を設けて、略平行な拡散光束として指向特性を調整する光方向変換パネル５４に入射し、斜め方向から液晶表示パネル１１へ入射する。本実施例では、光方向変換パネル５４を導光体１７の出射面と液晶表示パネル１１との間に設けたが、光方向変換パネル５４を液晶表示パネル１１の出射面に設けても同様の効果が得られる。
　＜映像表示装置の第２構成例＞
　続いて、図３４を用いて、映像表示装置１０の具体的な構成の他の例を説明する。図３４の映像表示装置１０の光源装置は、前述の例と同様に、ＬＥＤ基板１０２に、光源を構成する複数のＬＥＤ素子が設けられている（ただし断面図であるため１個のみ図示されている）。これらのＬＥＤ素子はコリメータ１５に対し所定の位置に取り付けられている。ＬＥＤ素子からの光（Ｐ偏光とＳ偏光が混在する光）の発散光束を、コリメータ１５により略平行光束に変換し、反射型導光体３０４の反射面により、液晶表示パネル１１に向けて反射する。反射光は、液晶表示パネル１１と反射型導光体３０４との間に配置された反射型偏光板４９に入射する。
　反射型偏光板４９では、特定の偏波（例えばＰ偏光）を透過して、液晶表示パネル１１に入射する。反射型偏光板４９では、他方の偏波（例えばＳ偏光）は反射され、再び反射型導光体３０４へ向かう。反射型偏光板４９は、反射型導光体３０４の反射面からの光の主光線に対して垂直とならないように傾きを持って設置されており、反射型偏光板４９で反射された光の主光線は、反射型導光体３０４の透過面に入射する。
　反射型導光体３０４の透過面に入射した光は、反射型導光体３０４の背面を透過し、位相差板であるλ/４板２７０を透過し、反射板２７１で反射される。反射板２７１で反射された光は、再びλ/４板２７０を透過し、反射型導光体３０４の透過面を透過する。反射型導光体３０４の透過面を透過した光は、再び反射型偏光板４９に入射する。
　この時、反射型偏光板４９に再度入射する光は、λ/４板２７０を２回通過しているため、反射型偏光板４９を透過する偏波（例えばＰ偏光）へ偏光変換されている。よって、偏光変換されている光は、反射型偏光板４９を透過し、液晶表示パネル１１に入射する。なお、偏光変換に係る偏光設計について、上述の説明から、Ｓ偏光とＰ偏光との偏波を逆にする構成としても構わない。
　この結果、光源であるＬＥＤ素子からの光は、特定の偏波（例えばＰ偏光）に揃えられて、液晶表示パネル１１に入射し、映像信号に合わせて輝度変調されて、パネル面に映像を表示する。
　図３４でのコリメータ１５は、各々例えばアクリルなどの透光性の樹脂またはガラスにより形成されている。図３４でのコリメータ１５は、図３２でのコリメータ１５と同様に、放物断面を回転して得られる円錐凸形状の外周面を有してもよく、頂部では、中央部に凸部（すなわち凸レンズ面）を形成した凹部を有してもよい。また、コリメータ１５の「平面部の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でもよい）を有してもよい。コリメータ１５の円錐形状の外周面を形成する放物面は、ＬＥＤから周辺方向に出射する光を内部で全反射可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
　図３４でのＬＥＤ素子は、ＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。ＬＥＤ基板１０２の表面上のＬＥＤは、それぞれ、コリメータ１５に対し、円錐凸形状の頂部の中央部（頂部に凹部が有る場合はその凹部）に位置するように配置されて固定されている。
　かかる構成によれば、コリメータ１５によって、ＬＥＤ素子から放射される光のうち、特に、中央部分から放射される光は、コリメータ１５の外形を形成する凸レンズ面により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、コリメータ１５の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、中央部に凸レンズを構成すると共に、周辺部に放物面を形成したコリメータ１５によれば、ＬＥＤ素子により発生された光のほぼすべてを平行光として取り出すことが可能となり、発生した光の利用効率を向上可能となる。
　以上説明した光源装置１３などの構成は、前述の図１３や図１４などに示した空間浮遊映像情報表示システム１を構成する映像表示装置１０の光源装置１３として適用できる。
　さらに、図３２に示したコリメータ１５により略平行光に変換された光は、反射型導光体３０４で反射される。この反射光のうち、反射型偏光板４９の作用により、特定の偏波の光は、反射型偏光板４９を透過し、反射型偏光板４９の作用により反射された他方の偏波の光は、再度導光体３０４を透過する。この光は、反射型導光体３０４に対し、液晶表示パネル１１とは逆の位置にある反射板２７１で反射される。この時、この光は、位相差板であるλ/４板２７０を２度通過することで偏光変換される。
　反射板２７１で反射した光は、再び導光体３０４を透過して、反対面に設けられた反射型偏光板４９に入射する。この入射光は、偏光変換がなされているので、反射型偏光板４９を透過して、偏光方向を揃えて、液晶表示パネル１１に入射される。この結果、光源の光をすべて利用できるので、光の幾何光学的な利用効率が２倍になる。また、反射型偏光板の偏光度（言い換えると消光比）もシステム全体の消光比に乗せられるので、本実施例の光源装置１３を用いることで、表示装置全体としてのコントラスト比が大幅に向上する。
　なお、反射型導光体３０４の反射面の面粗さおよび反射板２７１の面粗さを調整することで、それぞれの反射面での光の反射拡散角を調整できる。液晶表示パネル１１に入射する光の均一性がより好適になるように、設計ごとに、反射型導光体３０４の反射面の面粗さおよび反射板２７１の面粗さを調整すればよい。
　＜自動販売機に係る実施の形態＞
　次に、図３５を用いて、本発明の他の実施の形態として、空間浮遊映像情報表示システムを、自動販売機に適用した例について説明する。図３５は、例えば、ドリンク類の自動販売機に本発明を適用した場合を示す図である。
　図３５において、自動販売機本体２９００には、空間浮遊映像表示部２９２０が備えられている。この空間浮遊映像表示部２９２０も、図示はしないが、図１３や図１４に示した内部構成を備えており、空間浮遊映像は、映像表示装置１０とレンチキュラーレンズ１１０３による多視点映像に基づき生成される。また、この自動販売機２９００には、自動販売機２９００により販売されているドリンク類を表示するドリンク類ディスプレイ部２９８０、お札を投入するためのお札投入部２９８１、コインを投入するためのコイン投入部２９８２、つり銭を取り出すためのつり銭取り出し口２９８３、利用者によって購入されたドリンクを取り出すためのドリンク取り出し口２９８４が備えられている。
　自動販売機本体２９００には、キオスク端末同様、カメラまたは人感センサ―が備えられており、利用者が近づくと、空間浮遊映像表示部２９２０が起動する。次に、図３５に示すように、空間浮遊映像表示部２９２０には、コンシェルジュ２９２１が表れて、利用者に対して、例えば、「いらっしゃいませ。ご利用ありがとうございます。画面が数字ボタンに変わります。ご希望の商品番号をお選びください。」という音声を発する。その後、空間浮遊映像表示部２９２０は、コンシェルジュ２９２１の姿が消え、続いて、数字ボタン２９２２と決定ボタン２９２３が表示される。この時、図示はしないが、数字ボタン２９２２と決定ボタン２９２３に加えて、取り消しボタンや、戻るボタンが表示されてもよい。
　上記の通り、図３５に示す空間浮遊映像表示部２９２０に表示されるコンシェルジュ２９２１の映像は、運動視差を伴う多視点映像に基づく空間浮遊映像である。これにより、利用者は、コンシェルジュ２９２１の映像を立体像として視認することができる。さらに、利用者が自動販売機本体２９００の周辺を移動した場合には、利用者は、コンシェルジュ２９２１が、利用者の移動に伴い、常に利用者の方に視線を向けて話しかけるように見える。そのため、利用者は、コンシェルジュ２９２１の映像を、あたかも、実際の人物がそこに存在し、しかも、自分一人に向かって話しかけてくれているような感覚を得ることができる、という新たな効果をもたらす。
　利用者が、空間浮遊映像表示部２９２０に表示された数字ボタン２９２２と決定ボタン２９２３を操作することによりドリンクを選択し、所定の金額を、お札投入部２９８１やコイン投入部２９８２に投入することで、当該ドリンクがドリンク取り出し口２９８４から取り出すことができる形で供出される。その後、空間浮遊映像表示部２９２０には、数字ボタンと決定ボタンが消えて、再び、コンシェルジュ２９２１が表れ、例えば、「ありがとうございました。またのご利用をお持ちいたしております。」という音声を発する。この場合でも、キオスク端末同様、音声は、通常のスピーカから発せられてもよいし、超指向性スピーカにより、利用者だけが聞こえるように発せられてもよい。
　上記の一連の操作により、利用者は所望のドリンクを購入することができる。なお、図３５の例では、空間浮遊映像表示部だけの例を示したが、自動販売機においても、キオスク端末の例と同様に、液晶表示装置と空間浮遊映像表示部の両方が備えられていてもよいし、また、空間浮遊映像表示部が1か所ではなく、２か所以上に備えられてもよい。なお、空間浮遊映像表示部が２か所に備えられている場合には、そのうちのいずれか１つの空間浮遊映像表示部には、運動視差を伴う多視点映像としてコンシェルジュが表示され、他の空間浮遊映像表示部には、数字ボタンと決定ボタンが表示されるように構成してもよい。
　また、コンシェルジュ２９２１として、複数の、年齢や性別の異なる、別の人物像やアニメーションによるキャラクターを表示するようにしてもよい。上記複数の、年齢や性別の異なる、別の人物像やアニメーションによるキャラクターを表示するためのデータは、図２の不揮発性メモリ１１０８に格納されており、適宜、それら複数の人物像やアニメーションによるキャラクターのうちの１つが選択されて、コンシェルジュ２９２１として、空間浮遊映像表示部に表示されるようにしてもよい。その場合、利用者の属性（年齢など）に応じて、いずれの人物像またはキャラクターを表示するかを決定するようにしてもよい。
　以上、記載したように、本実施の形態でも、キオスク端末の場合と同様に、運動視差を伴う多視点画像（または映像）に基づく空間浮遊映像表示部を備えているので、利用者は非接触で商品を選択して購入することができる。また、利用者が自動販売機に近づくことを検知して、空間浮遊映像が自動的に表示され、さらに、空間浮遊映像表示部には、運動視差を伴う多視点画像（または映像）表示に基づく、立体像として認識されるコンシェルジュ２９２１としての人物像やキャラクターを表示することができる。その結果、通常の自動販売機に比べて、利用者は、コンシェルジュ２９２１の映像を、あたかも、実際の人物がそこに存在し、しかも、自分がどの位置に移動しても、常に自分に向かって話しかけてくれているような感覚を得ることができる、という効果を得ることができる。従って、上記のようなコンシェルジュ２９２１の表示に関わるもの珍しさから、利用者をより引き付けることができ、自動販売機による商品の売り上げ向上にも資することが期待できる。
　以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。各実施の形態は、必須構成要素を除き、構成要素の追加・削除・置換などが可能である。特に限定しない場合、各構成要素は、単数でも複数でもよい。各実施の形態を組み合わせた形態も可能である。
　実施の形態に係る技術では、空間浮遊映像を高解像度かつ高輝度な映像情報を空間浮遊した状態で表示することにより、例えば、ユーザは感染症の接触感染に対する不安を感じることなく操作を可能にする。不特定多数のユーザが使用するシステムに本実施例に係る技術を用いれば、感染症の接触感染のリスクを低減し、不安を感じることなく使用できる非接触ユーザインタフェースを提供可能にする。このような技術を提供する本発明によれば、国連の提唱する持続可能な開発目標（ＳＤＧｓ:Sustainable Development Goals）の「３すべての人に健康と福祉を」に貢献する。
　また、実施の形態に係る技術では、出射する映像光の発散角を小さくし、さらに特定の偏波に揃えることで、再帰反射部材に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、明るく鮮明な空間浮遊映像を得ることが可能になる。実施の形態に係る技術によれば、消費電力を大幅に低減可能な、利用性に優れた非接触ユーザインタフェースを提供できる。このような技術を提供する本発明によれば、国連の提唱する持続可能な開発目標（ＳＤＧｓ:Sustainable Development Goals）の「９産業と技術革新の基盤をつくろう」および「１１住み続けられるまちづくりを」に貢献する。
　さらに、実施の形態に係る技術では、指向性（直進性）の高い映像光による空間浮遊映像の形成を可能にする。本実施例に係る技術では、いわゆるキオスク端末のような高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示する場合でも、指向性の高い映像光を表示することで、ユーザ以外に空間浮遊映像を覗き込まれる危険性が少ない非接触ユーザインタフェースを提供可能にする。本発明は、以上のような技術を提供することにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ:Sustainable Development Goals）の「１１住み続けられるまちづくりを」に貢献する。
　１…空間浮遊映像情報表示システム、２…再帰反射部材、３…空間浮遊映像、１０…映像表示装置、１１…液晶表示パネル、１３…光源装置、３３０…再帰反射板、１１０３…レンチキュラーレンズ、１４００、１５００、１６００、１７００…キオスク端末、１５１０…液晶表示画面、１５２０、１６２０、１７２０…空間浮遊映像表示部、１５２１、１６２１、１７２１、２９２１…コンシェルジュ、１５２２、１６２２、１７２２…操作メニュー、１５３０…取り出し口、１５４１，１５４２…カメラ、１５５０…筐体、１５５１，１５５２…超指向性スピーカ、１５６０…人感センサ、１５７０…斜面、２９２２…数字ボタン、２９２３…決定ボタン。

Claims (35)

  1. 　空中に空間浮遊映像を形成する空間浮遊映像情報表示システムであって、
    　少なくとも１個のオブジェクトの映像を表示する映像表示装置と、
    　前記映像表示装置の映像光出射側に配置されたレンチキュラーレンズと、
    　前記映像表示装置からの映像光を再帰反射させることで空中に前記空間浮遊映像を形成するための再帰性反射部材と、
    　を備え、
    　前記映像表示装置は、前記オブジェクトとして、複数の視点により撮影またはレンダリングして得られた多視点画像を表示する、
    　空間浮遊映像情報表示システム。
  2. 　請求項１に記載の空間浮遊映像情報表示システムにおいて、
    　前記レンチキュラーレンズは、前記映像表示装置と前記再帰反射部材との間に配置される、
    　空間浮遊映像情報表示システム。
  3. 　請求項１に記載の空間浮遊映像情報表示システムにおいて、
    　前記レンチキュラーレンズは、前記映像表示装置の表示パネルの出射面から所定の距離に配置される、
    　空間浮遊映像情報表示システム。
  4. 　請求項３に記載の空間浮遊映像情報表示システムにおいて、
    　前記レンチキュラーレンズと前記映像表示装置との距離が、前記レンチキュラーレンズの焦点距離により調整される、
    　空間浮遊映像情報表示システム。
  5. 　請求項１に記載の空間浮遊映像情報表示システムにおいて、
    　前記映像表示装置の表示パネルの出射面と、前記レンチキュラーレンズの入射面とが平行である、
    　空間浮遊映像情報表示システム。
  6. 　請求項１に記載の空間浮遊映像情報表示システムにおいて、
    　前記オブジェクトは、人物像としての形状を有する、
    　空間浮遊映像情報表示システム。
  7. 　請求項１に記載の空間浮遊映像情報表示システムにおいて、
    　前記レンチキュラーレンズは、前記映像表示装置と前記再帰反射部材との間に配置され、
    　前記映像表示装置および前記再帰性反射部材を収納する筐体と、
    　所定操作に基づいて所定の処理を実行する制御装置と、を備え、
    　前記オブジェクトは、人物像としての形状を有し、
    　前記多視点画像として表示された人物像は、ユーザの移動に伴って運動視差を有する、
    　空間浮遊映像情報表示システム。
  8. 　請求項７に記載の空間浮遊映像情報表示システムにおいて、
    　前記多視点画像として表示された人物像の顔の向きは、前記ユーザの移動に従って、ユーザの方に向くように移動する、
    　空間浮遊映像情報表示システム。
  9. 　請求項７に記載の空間浮遊映像情報表示システムにおいて、
    　前記人物像は、前記ユーザに対し前記操作をガイドするコンシェルジュである、
    　空間浮遊映像情報表示システム。
  10. 　請求項７に記載の空間浮遊映像情報表示システムにおいて、
    　前記筐体に対し前記ユーザが近づいたことを検知した場合に、前記空間浮遊映像として、最初に、前記オブジェクトとして人物像を表示し、次に、操作メニューを表示する、
    　空間浮遊映像情報表示システム。
  11. 　請求項７に記載の空間浮遊映像情報表示システムにおいて、
    　前記筐体に対し前記ユーザが近づいたことを検知した場合に、前記空間浮遊映像として、前記オブジェクトとしての人物像と操作メニューとの両方を表示する、
    　空間浮遊映像情報表示システム。
  12. 　請求項７に記載の空間浮遊映像情報表示システムにおいて、
    　前記ユーザを撮像する撮像装置を備え、
    　前記撮像装置により取得した前記ユーザが写った画像に基づいて、前記ユーザが近づいたことを検知する、
    　空間浮遊映像情報表示システム。
  13. 　請求項７に記載の空間浮遊映像情報表示システムにおいて、
    　前記制御装置は、前記ユーザの認証を行い、前記認証の結果に基づいて、前記オブジェクトとして前記人物像の表示から前記操作メニューの表示へ遷移させる、
    　空間浮遊映像情報表示システム。
  14. 　請求項７に記載の空間浮遊映像情報表示システムにおいて、
    　前記ユーザを撮像する撮像装置を備え、
    　前記撮像装置により取得した前記ユーザが写った画像に基づいて、前記ユーザの認証を行う、
    　空間浮遊映像情報表示システム。
  15. 　請求項１に記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像として、少なくとも２つ以上の選択肢を含んだ操作メニューを表示する、
    　空間浮遊映像情報表示システム。
  16. 　請求項９に記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像として、前記コンシェルジュと、少なくとも２つ以上の選択肢を含んだ操作メニューとを表示し、
    　前記コンシェルジュの映像および音声により、前記操作メニューに対する操作をガイドする、
    　空間浮遊映像情報表示システム。
  17. 　請求項７に記載の空間浮遊映像情報表示システムにおいて、
    　前記ユーザにのみ聴取可能に音声信号を出力する超指向性スピーカを備える、
    　空間浮遊映像情報表示システム。
  18. 　請求項７に記載の空間浮遊映像情報表示システムにおいて、
    　前記制御装置は、前記ユーザの属性情報を取得し、前記属性情報に基づいて、前記ユーザが前記空間浮遊映像情報表示システムを初めて使用するユーザであるか、所定の年齢以上のユーザであるか、の少なくともいずれかを含む条件を判定し、
    　前記条件を満たすユーザに対し、前記空間浮遊映像として前記コンシェルジュによるガイドを行う、
    　空間浮遊映像情報表示システム。
  19. 　請求項１に記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像に対するユーザによる操作を検出するためのセンサを含むセンシングシステムと、
    　前記映像表示装置および前記再帰性反射部材を備えた筐体と、
    　検出された前記操作に基づいて所定の処理を実行する制御装置と、を備え、
    　前記制御装置は、検出された前記操作に基づいて、書類を発行する処理を実行し、
    　前記筐体の一部に、前記書類の取り出し口を備える、
    　空間浮遊映像情報表示システム。
  20. 　請求項１９に記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像情報表示システムは、前記書類としてチケットまたは行政証書を発行する機能を有するキオスク端末である、
    　空間浮遊映像情報表示システム。
  21. 　請求項７に記載の空間浮遊映像情報表示システムにおいて、
    　前記ユーザの所持する携帯端末との間で無線通信を行う通信部を備える、
    　空間浮遊映像情報表示システム。
  22. 　請求項８に記載の空間浮遊映像情報表示システムにおいて、
    　前記無線通信に基づいて、前記携帯端末から送信された前記ユーザの情報を受信する、
    　空間浮遊映像情報表示システム。
  23. 　請求項２２に記載の空間浮遊映像情報表示システムにおいて、
    　前記制御装置は、検出された前記操作に基づいて、書類を発行する処理を実行し、
    　前記無線通信に基づいて、前記書類の情報を前記携帯端末に送信する、
    　空間浮遊映像情報表示システム。
  24. 　請求項７記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像として、前記ユーザの携帯端末に読み取らせるためのコード情報を表示する、
    　空間浮遊映像情報表示システム。
  25. 　請求項７記載の空間浮遊映像情報表示システムにおいて、
    　前記ユーザを撮像する撮像装置を備え、
    　前記撮像装置により、前記ユーザの携帯端末に表示されたコード情報を読み取る、
    　空間浮遊映像情報表示システム。
  26. 　請求項１記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像に対するユーザによる操作を検出するセンサと、
    　前記映像表示装置および前記再帰性反射部材を収納する筐体と、
    　検出された前記操作に基づいて所定の処理を実行する制御装置と、を備え、
    　前記空間浮遊映像の面に対する前記ユーザの手指または所持物による接触の状態を、センシングシステムを用いて検出し、
    　前記空間浮遊映像の面において前記接触がされた位置に線を前記空間浮遊映像として描画する、
    　空間浮遊映像情報表示システム。
  27. 　請求項２６に記載の空間浮遊映像情報表示システムにおいて、
    　前記制御装置は、前記空間浮遊映像の面において文字や図形として描画された前記線を、前記ユーザによる入力情報として取得する、
    　空間浮遊映像情報表示システム。
  28. 　請求項２６に記載の空間浮遊映像情報表示システムにおいて、
    　前記制御装置は、前記空間浮遊映像の面において文字や図形として描画された前記線を、前記ユーザによるサインとして取得する、
    　空間浮遊映像情報表示システム。
  29. 　請求項２６に記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像の面において描画される前記線は、前記ユーザの氏名または属性に関する情報である、
    　空間浮遊映像情報表示システム。
  30. 　請求項２６に記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像の全体または一部の領域に、枠を表示し、
    　前記制御装置は、前記空間浮遊映像の面における前記一部の領域に対する前記ユーザの手指または所持物による接触の有無に応じて、前記枠の色を変えるように、表示を制御する、
    　空間浮遊映像情報表示システム。
  31. 　請求項２６に記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像の全体または一部の領域に、枠を表示し、
    　前記制御装置は、前記空間浮遊映像の面における前記枠の内側の領域に対する前記ユーザの手指または所持物による接触の有無に応じて、前記枠の内側の領域の背景色を変えるように、表示を制御する、
    　空間浮遊映像情報表示システム。
  32. 　請求項２６に記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像の全体または一部の領域に、枠を表示し、
    　前記制御装置は、前記空間浮遊映像に対し前記線を描画するモードと、前記空間浮遊映像に対し前記線を描画しないモードとの切り替えを制御し、前記線を描画するモードと前記線を描画しないモードとで、前記枠の色を変えるように、表示を制御する、
    　空間浮遊映像情報表示システム。
  33. 　請求項２６に記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像の全体または一部の領域に、枠を表示し、
    　前記制御装置は、前記空間浮遊映像の面に対する前記ユーザの手指または所持物による接触の有無に応じて、前記枠を点滅させるように、表示を制御する、
    　空間浮遊映像情報表示システム。
  34. 　請求項２６に記載の空間浮遊映像情報表示システムにおいて、
    　前記筐体の所定の箇所に、前記空間浮遊映像の面に対する前記操作の検出および前記線の描画を行うモードに移行させるための物理的なボタンを備える、
    　空間浮遊映像情報表示システム。
  35. 　請求項２６に記載の空間浮遊映像情報表示システムにおいて、
    　前記空間浮遊映像の面に対する前記操作の検出および前記線の描画を行うモードに移行させるためのボタンを、前記空間浮遊映像の一部として表示する、
    　空間浮遊映像情報表示システム。
PCT/JP2023/013028 2022-06-16 2023-03-29 空間浮遊映像情報表示システム WO2023243181A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022097620A JP2023183847A (ja) 2022-06-16 2022-06-16 空間浮遊映像情報表示システム
JP2022-097620 2022-06-16

Publications (1)

Publication Number Publication Date
WO2023243181A1 true WO2023243181A1 (ja) 2023-12-21

Family

ID=89192544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013028 WO2023243181A1 (ja) 2022-06-16 2023-03-29 空間浮遊映像情報表示システム

Country Status (2)

Country Link
JP (1) JP2023183847A (ja)
WO (1) WO2023243181A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095743A (ja) * 2009-10-28 2011-05-12 Seiko Epson Corp 画面システムおよび三次元ディスプレイの作成方法
JP2016009396A (ja) * 2014-06-25 2016-01-18 船井電機株式会社 入力装置
US20190094562A1 (en) * 2017-01-05 2019-03-28 Looking Glass Factory, Inc. Advanced retroreflecting aerial displays
WO2022018926A1 (ja) * 2020-07-22 2022-01-27 日本電産サンキョー株式会社 入力装置および入力装置の制御方法
WO2022038918A1 (ja) * 2020-08-20 2022-02-24 株式会社ダイフク 手荷物預け機
JP2022086081A (ja) * 2020-11-30 2022-06-09 マクセル株式会社 空間浮遊映像表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095743A (ja) * 2009-10-28 2011-05-12 Seiko Epson Corp 画面システムおよび三次元ディスプレイの作成方法
JP2016009396A (ja) * 2014-06-25 2016-01-18 船井電機株式会社 入力装置
US20190094562A1 (en) * 2017-01-05 2019-03-28 Looking Glass Factory, Inc. Advanced retroreflecting aerial displays
WO2022018926A1 (ja) * 2020-07-22 2022-01-27 日本電産サンキョー株式会社 入力装置および入力装置の制御方法
WO2022038918A1 (ja) * 2020-08-20 2022-02-24 株式会社ダイフク 手荷物預け機
JP2022086081A (ja) * 2020-11-30 2022-06-09 マクセル株式会社 空間浮遊映像表示装置

Also Published As

Publication number Publication date
JP2023183847A (ja) 2023-12-28

Similar Documents

Publication Publication Date Title
US8272743B2 (en) Projection of images onto tangible user interfaces
CN104054027B (zh) 用于移动设备的透明显示器
JP2016009271A (ja) 映像表示システム
US20180348960A1 (en) Input device
WO2022138297A1 (ja) 空間浮遊映像表示装置
WO2022158209A1 (ja) 空間浮遊映像表示装置
WO2022137940A1 (ja) 空間浮遊映像表示装置
WO2023243181A1 (ja) 空間浮遊映像情報表示システム
Kim et al. MRsionCase: A glasses-free mixed reality showcase for surrounding multiple viewers
WO2023276921A1 (ja) 空中浮遊映像表示装置
WO2023112463A1 (ja) 空間浮遊映像情報表示システム
WO2022113745A1 (ja) 空間浮遊映像表示装置
JP2022097901A (ja) 空間浮遊映像表示装置
WO2016051480A1 (ja) 表示装置およびそれを用いた組込み機器
WO2023162690A1 (ja) 空中浮遊映像表示装置
JP2022129473A (ja) 空中映像表示装置
WO2024062749A1 (ja) 空中浮遊映像表示装置
WO2022270384A1 (ja) 空中浮遊映像表示システム
JP2022089271A (ja) 空間浮遊映像表示装置
WO2023085069A1 (ja) 空中浮遊映像表示装置
KR101708667B1 (ko) 마이크로 미러 어레이 및 그 제조 방법, 그리고 이러한 마이크로 미러 어레이를 포함하는 플로팅 디스플레이
WO2023068021A1 (ja) 空中浮遊映像表示システム
WO2023176159A1 (ja) 空間浮遊映像表示装置
KR101540099B1 (ko) 사용자 인터랙션형 영상 디스플레이 시스템
JP2023006618A (ja) 空間浮遊映像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823485

Country of ref document: EP

Kind code of ref document: A1