WO2020240835A1 - 空中映像表示装置 - Google Patents

空中映像表示装置 Download PDF

Info

Publication number
WO2020240835A1
WO2020240835A1 PCT/JP2019/021772 JP2019021772W WO2020240835A1 WO 2020240835 A1 WO2020240835 A1 WO 2020240835A1 JP 2019021772 W JP2019021772 W JP 2019021772W WO 2020240835 A1 WO2020240835 A1 WO 2020240835A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
sensor
display device
display unit
Prior art date
Application number
PCT/JP2019/021772
Other languages
English (en)
French (fr)
Inventor
好正 齊藤
Original Assignee
堺ディスプレイプロダクト株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 堺ディスプレイプロダクト株式会社 filed Critical 堺ディスプレイプロダクト株式会社
Priority to PCT/JP2019/021772 priority Critical patent/WO2020240835A1/ja
Priority to JP2021522576A priority patent/JPWO2020240835A1/ja
Publication of WO2020240835A1 publication Critical patent/WO2020240835A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Definitions

  • the present invention relates to an aerial image display device.
  • Patent Document 1 describes a display input device in which a camera is arranged at a position where an operator's finger located around a spatial image can be detected.
  • the display input device of Patent Document 1 can detect an operation performed on a spatial image by an operator without being aware of the device.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an aerial image display device capable of improving the detection accuracy of operations.
  • the aerial image display device includes a display unit, a sensor, and a control unit.
  • the display unit displays an image in the air.
  • the sensor detects an operation performed on an image displayed in the air by the display unit.
  • the control unit controls the display unit and the sensor.
  • the display unit can display an image including a visible reference area to which a specific process is not assigned in the air.
  • the display unit can display an image including an operation area to which a specific process is assigned in the air.
  • the sensor detects that the display unit displays an image including the reference area, and the operation is performed on the operation area after the operation is performed on the reference area.
  • the display unit and the sensor are controlled so as to execute the specific process according to the above.
  • FIG. 1 A and (b) are schematic perspective views of the aerial image display device of the first embodiment.
  • FIG. 1 A) to (d) are schematic block diagrams of the aerial image display device of the first embodiment.
  • (A) to (d) are schematic diagrams for explaining the operation flow of the aerial image display device of the first embodiment.
  • (A) to (d) are schematic views for explaining the first modification of the operation flow of the aerial image display device of 1st Embodiment.
  • (A) to (f) are schematic diagrams for explaining a second modification of the operation flow of the aerial image display device of the first embodiment.
  • (A) and (b) are schematic views for explaining the third modification of the operation flow of the aerial image display device of 1st Embodiment.
  • FIG. 1 A) and (b) are schematic diagrams for explaining the operation of the aerial image display device of the second embodiment.
  • (A) and (b) are schematic diagrams for explaining the operation of the aerial image display device of the second embodiment.
  • FIG. 1 is a schematic block diagram of the aerial image display device of the third embodiment
  • (b) is a schematic perspective view of the aerial image display device of the third embodiment
  • (c) is a schematic perspective view.
  • FIG. 1 is a schematic diagram of the sensor in the aerial image display device of the third embodiment, and (b) shows the relationship between the range of the image displayed in the aerial image display device of the third embodiment and the detection range. It is a schematic diagram for demonstrating.
  • (A) to (c) are schematic diagrams for explaining the operation flow of the aerial image display device of the 4th embodiment.
  • FIG. 1A is a schematic view of the aerial image display device 100 of the first embodiment.
  • the aerial image display device 100 displays the image P in the air.
  • the image P spreads in the X direction and the Z direction.
  • the image P displayed by the aerial image display device 100 is changed according to the operation of the operator.
  • the aerial image display device 100 is installed on a horizontal plane.
  • the aerial image display device 100 may be simply referred to as the display device 100.
  • the display unit 110 may include a display serving as an image source and an optical member.
  • the optical member forms an image of the display image at another position in space.
  • the optical member includes, for example, a lenticular lens.
  • the size of the image P displayed in the air by the display unit 110 may be larger or smaller than the image displayed on the display. Alternatively, the size of the image P displayed in the air by the display unit 110 may be equal to the image displayed on the display.
  • the sensor 120 can detect the gesture of the operator.
  • the sensor 120 detects an operation performed on the image P displayed in the air by the display unit 110.
  • the sensor 120 is arranged at a position where the operation performed by the operator can be detected with respect to the image P.
  • the sensor 120 detects the operation of the operator.
  • the sensor 120 may include an image sensor. In this case, the detection range of the sensor 120 is defined by the angle of view of the image sensor. Alternatively, the sensor 120 may include an image pickup device and an emission unit. In this case, the detection range of the sensor 120 is defined by the exit angle of the exit portion and the angle of view of the image sensor.
  • the control unit 130 controls each unit constituting the display device 100. Specifically, the control unit 130 controls the display unit 110 and the sensor 120. The control unit 130 changes the image displayed by the display unit 110 based on the detection result of the sensor 120.
  • the reference area R is arranged in the center of the image P, for example.
  • the center of the image P is included in the reference region R.
  • the outer shell of the reference region R has a rectangular shape.
  • the longitudinal direction of the reference region R is parallel to the longitudinal direction of the image P.
  • the width of the reference region R (length in the X direction) is longer than the height of the reference region R (length in the Z direction).
  • the size of the reference region R is 0.2 m ⁇ 0.1 m.
  • the center position of the reference region R is the same as the center position of the image P.
  • the reference region R is displayed differently from the other regions of the video P.
  • the shape of the outer shell of the reference region R does not necessarily have to be rectangular, and may be, for example, a circle, an ellipse, or a polygon other than a rectangle.
  • the operator operates the video P. Since the image P is displayed in the air, the operator operates the space in which the image P is displayed.
  • the control unit 130 changes the image P displayed by the display unit 110 to a different image according to the operation content.
  • control unit 130 shifts the image P to another image according to the contents operated with respect to the reference area R of the image P displayed by the display unit 110.
  • the sensor 120 detects that the operation has been performed on the reference area R by the operator.
  • the display unit 110 shifts the image P to another image.
  • the display unit 110 displays the image P including the operation area M.
  • the operation area M is assigned a specific process that allows the operator to select the execution.
  • characters, figures, and the like indicating to the operator what the assigned specific process is are displayed.
  • the specific processing includes, for example, display of other information, reproduction of a moving image, rotation of an object in the image P, and the like.
  • the control unit 130 executes the specific process assigned to the operation area M.
  • the display unit 110 displays another video P corresponding to the selected specific process.
  • the operation area M may be a visible area or an invisible area. For example, when the specific process is the rotation of an object in the image P, an invisible operation area M is formed around the object.
  • the application icon is displayed in the operation area M
  • the application is started
  • the display unit 110 displays the image P of the started application in the air.
  • the start button is displayed in the operation area M
  • the operator performs an operation on the operation area M a predetermined operation is started, and the display unit 110 displays the predetermined image P in the air. ..
  • the operation area M shown in FIG. 1B is assigned a specific process
  • the reference area R shown in FIG. 1A is not assigned a specific process. Therefore, when an operation is performed on the operation area M of the video P, the specific process is executed, whereas even if the operation is performed on the reference area R of the video P, the specific process is not executed. ..
  • the image P includes a plurality of operation areas M1 to M4. Different specific processes are assigned to the plurality of operation areas M1 to M4.
  • the operation areas M1 to M4 are arranged apart from each other.
  • the outer shells of the operation areas M1 to M4 are rectangular, and the operation areas M1 to M4 are arranged on all sides of the image P.
  • the operation area M1 is located on the upper left side (-X direction side and + Z direction side) of the image P when viewed from the operator, and the operation area M2 is located on the upper right side (+ X direction side and + Z direction side) of the image P when viewed from the operator.
  • the operation area M3 is located at the lower left (-X direction side and -Z direction side) of the image P when viewed from the operator, and the operation area M4 is located at the lower right (-Z direction side) of the image P when viewed from the operator. It is located on the + X direction side and the -Z direction side).
  • the outer shape of the operation areas M1 to M4 does not necessarily have to be rectangular, and may be, for example, a circle, an ellipse, or a polygon other than a rectangle.
  • the display unit 110 displays the image P including the reference area R and the sensor 120 detects the operation performed on the reference area R of the image P
  • the display unit 110 displays the image P.
  • the image P including the operation area M is displayed, and the sensor 120 detects the operation performed on the operation area M of the image P.
  • the display device 100 can detect the operation of the operation area M by the operator with high accuracy, and can improve the operability of the operator.
  • FIGS. 1 and 2. 2 (a) to 2 (d) are schematic block diagrams of the aerial image display device 100 of the first embodiment.
  • the display device 100 further includes a housing 102 in addition to the display unit 110, the sensor 120, and the control unit 130.
  • the display unit 110 and the control unit 130 are arranged inside the housing 102.
  • the sensor 120 is attached to the surface of the housing 102.
  • the housing 102 has a transmissive surface 102a that transmits light.
  • the transparent surface 102a is arranged so as to correspond to the display unit 110.
  • the display unit 110 displays the image P in the air via the transparent surface 102a.
  • the transmission surface 102a is arranged so as to be inclined obliquely with respect to the vertical direction.
  • a part of the display unit 110 may form a transparent surface 102a.
  • the control unit 130 includes a processing unit 132 and a storage unit 134.
  • the processing unit 132 includes an arithmetic element.
  • the arithmetic element includes a processor.
  • the processor includes a central processing unit (CPU).
  • the processor may include an application specific integrated circuit (ASIC).
  • the storage unit 134 includes a storage element.
  • the storage unit 134 may include a memory such as a semiconductor memory.
  • the storage unit 134 includes a main storage element such as a semiconductor memory and an auxiliary storage element such as a semiconductor memory and / or a hard disk drive.
  • the storage unit 134 may include removable media.
  • the storage unit 134 stores various data.
  • the storage unit 134 stores the control program.
  • the processor of the processing unit 132 executes a computer program stored in the storage element of the storage unit 134 to control each unit constituting the display device 100.
  • Non-temporary computer-readable storage media include ROM (Read Only Memory), RAM (Random Access Memory), CD-ROM, magnetic tape, magnetic disk or optical data storage device.
  • the storage unit 134 stores video data.
  • the processing unit 132 instructs the display unit 110 to display the image P in the air based on the image data stored in the storage unit 134. Further, the processing unit 132 instructs the display unit 110 to change the image P displayed in the air by the display unit 110 based on the detection result of the sensor 120.
  • the display device 100 may further include an audio output unit 142.
  • the voice output unit 142 outputs voice to the operator under the control of the control unit 130.
  • the display device 100 may further include a communication unit 144.
  • the communication unit 144 can communicate with an external communication device under the control of the control unit 130.
  • the communication unit 144 transmits data or information to the external device and receives the data or information from the external device.
  • the external device is, for example, a server.
  • the external device is an information processing terminal of an operator, an administrator of the display device 100, or a maintenance person.
  • the display unit 110 displays the image P in the air.
  • the display unit 110 displays the image P so that the image P is formed above the sensor 120.
  • the sensor 120 has a detection range S.
  • the control unit 130 drives the sensor 120
  • the sensor 120 detects the operation performed within the detection range S. For example, when the operator's finger enters the detection range S of the sensor 120, the sensor 120 detects the movement of the operator's finger.
  • the control unit 130 drives the display unit 110 and the sensor 120
  • the display unit 110 displays the image P in the air
  • the sensor 120 performs an operation performed within the detection range S. Detect. At least a part of the image P overlaps with at least a part of the detection range S of the sensor 120. Therefore, when the operator tries to operate on at least a part of the area of the image P, the sensor 120 can detect the operation by the operator.
  • 3 (a) to 3 (d) are schematic views for explaining an operation flow of the aerial image display device 100 of the first embodiment.
  • the display unit 110 displays the image P including the reference area R.
  • the video P including the reference region R may be referred to as the reference video Pr.
  • the reference area R is arranged in the center of the entire reference image Pr. It is preferable that the reference region R of the reference video Pr is displayed so as to be different from other regions. For example, it is preferable that at least one of the color and the density of the reference region R is different from the other regions. Alternatively, it is preferable that at least one of the color and the density of the outer shell of the reference region R is displayed so as to be different from the inside of the reference region R and the region other than the reference region R in the reference image Pr.
  • the display unit 110 displays an image including the reference area R and the background area G as the reference image Pr.
  • the outer edge of the background area G is equal to the outer edge of the reference image Pr.
  • the reference area R is assigned to a display layer above the display layer of the background area G.
  • the reference region R is arranged in the center of the background region G.
  • the sensor 120 detects the operation of the operator.
  • the display unit 110 of the control unit 130 displays the operation area M (in the figure, the operation area M1).
  • the display unit 110 is controlled so as to display the image P including the M4).
  • the image P including the operation area M may be described as the operation image Pm.
  • the reference video Pr and the operation video Pm are separate video Ps, and after the operation on the reference region R is detected, the video P is switched from the reference video Pr to the operation video Pm.
  • the operation video Pm includes the operation area M and the background area G.
  • the background area G of the operation image Pm is the same as the background area G of the reference image Pr.
  • the operation area M is assigned to a display layer above the display layer of the background area G, and the display layer of the background area G of the operation image Pm remains the display layer of the background area G of the reference image Pr.
  • the control unit 130 executes the specific process assigned to the operation area M3. For example, the control unit 130 causes the display unit 110 to display another image P corresponding to the operation area M3. Typically, the newly displayed image P does not include the background area G of the operation image Pm. However, the newly displayed image P may include the background area G of the operation image Pm. Similarly, when the sensor 120 detects that the operator operates on any of the operation areas M1, M2 and M4, the control unit 130 displays the display unit 110 on any of the operation areas M1, M2 and M4. Display another corresponding video P.
  • control unit 130 executes the specific process assigned to the operation area M.
  • control unit 130 causes the display unit 110 to display the video Ps corresponding to the specific processing.
  • the display device 100 detects the operation of the operator, changes the image P from the reference image Pr to the operation image Pm, and then detects the operator's operation on the operation area M of the operation image Pm. .. Therefore, the operation of the operator with respect to the operation area M can be detected with high accuracy, and the operability of the operator can be improved.
  • the operation for the operation image Pm is performed following the operation for the reference image Pr. Further, the detection result of the operation for the operation video Pm may be calibrated based on the detection result of the operation for the reference video Pr.
  • the type of operation for the reference area R accepted by the display device 100 (the type of operation for transitioning from the reference image Pr to the operation image Pm) is not limited to the touch operation and may be set arbitrarily.
  • the reference image Pr is converted into the operation image Pm in response to a tap operation, a double tap operation, a flick operation, a swipe operation, a pinch-in operation, or a pinch-out operation with respect to the reference area R of the reference image Pr. You may make a transition.
  • the reference image Pr may transition to the operation image Pm according to the operation of crushing the reference area R of the reference image Pr with one or both hands of the operator or rotating the reference image Pr. Good.
  • the type of operation for the operation area M received by the display device 100 is not limited to the touch operation and may be arbitrarily set.
  • a specific process may be executed in response to a tap operation, a double tap operation, a flick operation, a swipe operation, a pinch-in operation, or a pinch-out operation on the operation area M.
  • the specific process may be executed depending on whether the operation area M of the operation image Pm is crushed or rotated by one or both hands of the operator.
  • FIGS. 4 (a) to 4 (d) are schematic views for explaining a first modification of the operation flow of the aerial image display device 100 of the first embodiment.
  • an arbitrary point of the image P displayed by the display device 100 depends on the position in the x direction extending in the horizontal direction and the position in the y direction extending in the vertical direction. expressed.
  • the display unit 110 displays the reference image Pr.
  • the reference region R is arranged at the center of the entire reference video Pr.
  • the center position of the reference region R is indicated by the coordinates (x0, y0).
  • the sensor 120 detects an operation performed on the reference region R of the reference image Pr.
  • the position detected by the sensor 120 is indicated as the coordinates (x1, y1).
  • the coordinates (x1, y1) are equal to the coordinates (x0, y0), but in reality, the coordinates (x1, y1) may not be equal to the coordinates (x0, y0).
  • the center position of the reference area R and the detection position of the operation may deviate from each other.
  • the center position of the reference region R and the center of the operation may deviate from each other.
  • the difference ⁇ x and the difference ⁇ y indicate a deviation of the detection position where the operator's operation with respect to the display of the display unit 110 at least in the center of the image P is detected.
  • the position (coordinates (x1, y1)) detected by the sensor 120 is located within the range of the reference area R, but the position detected by the sensor 120 is the reference area. It may be outside R. Even in this case, the control unit 130 may determine that the operation has been performed on the reference region R.
  • the display unit 110 displays the operation video Pm including the operation regions M1 to m4. To do.
  • the center position of the operation area M3 is shown as coordinates (x2, y2).
  • the sensor 120 detects the operation performed on the operation area M of the operation image Pm.
  • the position (position of the operator's finger) detected by the sensor 120 is indicated as the coordinates (x3, y3).
  • the control unit 130 calibrates the position detected by the sensor 120 based on the difference ⁇ x and the difference ⁇ y. For example, the control unit 130 performs an operation displayed by the display unit 110 as the coordinates (coordinates after calibration) after calibrating the coordinates (x3, y3) indicating the position detected by the sensor 120 based on the difference ⁇ x and the difference ⁇ y. It is determined whether or not an operation has been performed on the operation area M3 based on the coordinates of the outer shell of the area M. For example, when the position indicated by the coordinates after calibration continues to exist in the operation area M for the detection time or longer, the control unit 130 can determine that the operation has been performed on the operation area M. After that, the control unit 130 executes the specific process assigned to the operation area M.
  • control unit 130 may specify the operated position as the coordinates (x3-c ⁇ ⁇ x, y3-c ⁇ ⁇ y) in consideration of the correction coefficient c.
  • the value of the correction coefficient c may be changed according to the distance from the center of the image P.
  • 5 (a) to 5 (f) are schematic views for explaining a second modification of the operation flow of the aerial image display device 100 of the first embodiment.
  • the display unit 110 displays the image P including the reference area R.
  • the reference region R is arranged in the center of the entire image P.
  • the reference region R is shown in a relatively light color.
  • the sensor 120 detects the operator's finger.
  • the operation maintenance region Ra is formed in the reference region R of the image P.
  • the operation maintenance area Ra indicates that the operator continues to detect the operation of the reference area R.
  • the operation maintenance region Ra is formed, for example, at a position in the reference region R where an operation by the operator is detected.
  • the color of the operation maintenance area Ra is displayed so as to be different from the other areas of the reference area R.
  • at least one of the color and density of the operation maintenance region Ra is displayed so as to be different from the other regions and preferably darker than the other regions.
  • the outer shell of the operation maintenance area Ra may be displayed so as to be different from the inside of the operation maintenance area Ra and the area other than the operation maintenance area Ra in the reference area R.
  • the operation maintenance region Ra of the image P is further expanded.
  • a part of the operation maintenance region Ra reaches the outer shell of the reference region R.
  • the operation maintenance region Ra of the image P is further expanded, and the size of the operation maintenance region Ra becomes the reference region R. Reach the same size. At this time, the change of the operation maintenance area Ra ends. It is preferable that the period during which the operation maintenance region Ra changes (the period from the formation of the operation maintenance region Ra to the end of the change of the operation maintenance region Ra) coincides with the detection time. When the period in which the operation maintenance area Ra changes coincides with the detection time, the detection of the operator's operation by the sensor 120 is completed when the change in the operation maintenance area Ra ends.
  • the operator can grasp that his / her own operation is being detected by changing the operation maintenance area Ra until the detection of the operator's operation is completed. Therefore, the display device 100 can detect the operation with respect to the reference region R without putting psychological stress on the operator.
  • the operation maintenance region Ra is formed in the reference region R when operating with respect to the reference region R, but the present embodiment is not limited to this.
  • An operation maintenance area may be formed in the operation area M when operating on the operation area M.
  • the display unit 110 preferably displays in the image P that the sensor 120 has detected the operation of the operator.
  • FIG. 6 (a) and 6 (b) are schematic views for explaining a third modification of the operation flow of the aerial image display device 100 of the first embodiment.
  • the display unit 110 displays the image P, and the sensor 120 starts detecting the operation on the image P in the detection range S.
  • the sensor 120 has not yet detected the operation by the operator. Therefore, the display unit 110 displays the video corresponding to the video data as it is.
  • the control unit 130 adds the detection display area Pd to the image P displayed by the display unit 110 and displays it based on the detection result of the sensor 120.
  • the detection display area Pd is an area in which a display for notifying the operator that the display device 100 has detected an operation on the image P, for example, the characters "in operation" are shown.
  • the control unit 130 synthesizes the video data corresponding to the original video P and the data corresponding to the detection display area Pd to generate new video data. After that, the control unit 130 controls the display unit 110 so that the display unit 110 displays the image P including the detection display area Pd based on the new image data.
  • the detection display area Pd may be displayed when displaying the reference image Pr and the operation image Pm. Alternatively, the detection display area Pd may be displayed when displaying only one of the reference image Pr and the operation image Pm.
  • the operation video Pm is displayed after being manipulated with respect to the reference video Pr, but the present invention is not limited to this.
  • the operation image Pm may be displayed at the same time as the reference image Pr.
  • FIGS. 1 to 3, 7 and 8. 7 (a) to 8 (b) are schematic views for explaining the aerial image display device 100 of the second embodiment.
  • the display device 100 of the present embodiment is the same as the display device 100 of the first embodiment except that the reference area R and the operation area M are simultaneously displayed in the same image P, in order to avoid redundancy. The description duplicated in is omitted.
  • the display unit 110 displays the image P including the reference area R and the operation area M.
  • the operation area M is arranged at a position different from the reference area R.
  • the reference area R is arranged approximately in the center of the image P.
  • the reference area R is displayed as a part of the operation image Pm.
  • the operation area M includes the operation areas M1 to M4.
  • the outer shells of the operation areas M1 to M4 are rectangular, and the operation areas M1 to M4 are arranged on all sides of the image P.
  • the operation areas M1 to M4 are located in different areas of the image P.
  • the operation area M1 is located at the upper left with respect to the reference area R
  • the operation area M2 is located at the upper right with respect to the reference area R
  • the operation area M3 is located at the lower left with respect to the reference area R.
  • M4 is located at the lower right with respect to the reference region R.
  • the sensor 120 After the sensor 120 detects the operation on the reference area R, the sensor 120 detects the operation on the operation area M. When an operation on the operation area M is detected, the display unit 110 displays another image P showing the result after the operation. Therefore, the sensor 120 can detect the operation of the image P by the operator with respect to the operation area M with high accuracy, and can improve the operability of the operator.
  • the sensor 120 may invalidate the detection result and stop the transition of the image. Further, when the display unit 110 displays the image P including the reference area R and the operation area M, it is preferable that the operator is guided so that the reference area R is operated before the operation on the operation area M. ..
  • the reference area R is displayed blinking.
  • the operator can be guided to operate on the reference area R before the operation on the operation area M.
  • the display unit 110 displays the area other than the reference area R in the operation image Pm darker than the reference area R.
  • the operator can be guided to preferentially operate the reference area R.
  • the audio output unit 142 (see FIG. 2) operates on the reference area R. Output audio to. By voice, the operator can be guided to operate on the reference area R before the operation on the operation area M.
  • the display unit 110 displays the image P including the reference area R and the operation area M
  • the image P is further displayed in the reference area R prior to the operation on the operation area M.
  • the operator can be guided to operate on the reference area R before the operation on the operation area M.
  • the present embodiment is not limited to this.
  • the display unit 110 displays the reference area R but does not display the operation area M, the operation is performed on the reference area R. May be guided to.
  • FIG. 9A is a schematic block diagram of the aerial image display device 100 of the third embodiment
  • FIG. 9B is a schematic perspective view of the aerial image display device 100 of the third embodiment. is there.
  • the display device 100 includes a display unit 110, a sensor 120, and a control unit 130.
  • the display unit 110 includes a display 112 and an optical plate 114.
  • the display 112 displays an image on a flat surface.
  • the display 112 includes a liquid crystal display or an organic EL display. The image displayed on the display 112 is imaged in the air via the optical plate 114.
  • FIG. 9C is a schematic perspective view of the optical plate 114.
  • the optical plate 114 includes a first panel 114a and a second panel 114b.
  • the optical plate 114 is formed by laminating a first panel 114a and a second panel 114b.
  • the first panel 114a is formed by arranging a plurality of plate-shaped members B via an adhesive layer in one of two directions orthogonal to each other in a plane perpendicular to the stacking direction.
  • the plate-shaped member B has a transparent member Ba arranged in the arrangement direction and a reflective member Bb formed on at least one of two opposing surfaces of the transparent member Ba arranged in the arrangement direction.
  • the second panel 114b is formed by arranging a plurality of plate-shaped members C via an adhesive layer in the other direction of two directions orthogonal to each other in a plane perpendicular to the stacking direction. ..
  • Each plate-shaped member C has a transparent member Ca arranged in the arrangement direction and a reflective member Cb formed on at least one of two opposing surfaces of the transparent member Ca arranged in the arrangement direction. ..
  • the light from the display 112 enters the optical plate 114 and is reflected by the plurality of reflecting surfaces of the optical plate 114 (the reflecting member Bb of the first panel 114a and the reflecting member Cb of the second panel 114b), and then the optical plate 114. It is guided to the air on the opposite side of the light from the incident side. As a result, the image displayed on the display surface of the display 112 is imaged in the air as the image P.
  • the optical plate 114 is not limited to the above two-layer structure.
  • the optical plate 114 may have a one-layer structure in which reflective surfaces (V-shaped (L-shaped) in a plan view) orthogonal to each other are arranged in an array on the same plane.
  • the detection range S of the sensor 120 covers the entire image P displayed by the display unit 110.
  • the detection range S of the sensor 120 may cover at least a part of the image P without covering the entire image P displayed by the display unit 110.
  • the reference area R and the operation area M in the image P are preferably located within the area covered by the detection range S of the sensor 120.
  • FIG. 10A is a schematic view of the sensor 120 in the aerial image display device 100 of the third embodiment
  • FIG. 10B is a diagram of the image P displayed in the aerial image display device 100 of the third embodiment. It is a schematic diagram for demonstrating the relationship between the range and the detection range S of a sensor 120.
  • the sensor 120 detects the operation performed by the operator on the image in the air. Typically, the sensor 120 detects the movement of the operation performed by the operator's finger on the image.
  • the senor 120 includes an exit unit 122 and an image pickup unit 124.
  • the imaging unit 124 includes a first imaging unit 124a and a second imaging unit 124b.
  • the first imaging unit 124a, the emitting unit 122, and the second imaging unit 124b are arranged in order in a row.
  • the imaging unit 124 can three-dimensionally identify the position of the operator's finger.
  • the emitting unit 122 emits infrared rays.
  • the emission direction of the emission unit 122 is arranged parallel to the vertical direction.
  • the first imaging unit 124a and the second imaging unit 124b detect the movement of the operation performed by the operator's finger on the image.
  • the first imaging unit 124a and the second imaging unit 124b may be infrared cameras. In this case, the first imaging unit 124a and the second imaging unit 124b image the infrared rays emitted from the emitting unit 122 and reflected by the operator's finger.
  • the detection range S of the sensor 120 may cover only a part of the image P.
  • a part of the image P overlaps the detection range S of the sensor 120, while the other part of the image P does not overlap the detection range S of the sensor 120.
  • the operation area M in the image P is arranged at a position overlapping the detection range S of the sensor 120. Therefore, the operator can change the image P by operating the image P while visually recognizing the relatively large image P.
  • the operation area M in the image P is arranged at a position overlapping the detection range S of the sensor 120, but the present invention is not limited to this. It is preferable that the reference region R in the image P is also arranged at a position overlapping the detection range S of the sensor 120.
  • the operation area M is assigned to a part of the operation image Pm, but the present embodiment is not limited to this.
  • the operation area M may be allocated to the entire operation video Pm.
  • 11 (a) to 11 (c) are schematic views for explaining the operation flow of the aerial image display device 100 of the fourth embodiment.
  • the display device 100 of the present embodiment is the same as the display device 100 of the first embodiment except that the operation area M is allocated to the entire operation image Pm, and the description is duplicated in order to avoid redundancy. Omit.
  • the operator operates so as to partially enlarge and display the Japanese map displayed by the display device 100.
  • the display unit 110 displays the image P in which the reference region R is arranged in the center.
  • the operator operates on the reference area R of the reference image Pr.
  • the display unit 110 shifts the image P from the reference image Pr to the operation image Pm, and displays the Japanese map as the operation image Pm.
  • the entire operation video Pm is assigned as the operation area M.
  • the operator performs an operation so as to partially enlarge and display the Shikoku region of the image P. Specifically, when the operator operates on the Shikoku region of the Japanese map included in the operation video Pm, the sensor 120 detects that the operation has been performed on the Shikoku region.
  • the display unit 110 displays an image P showing the Shikoku region. After that, the operator performs an operation so as to select a specific area of the Shikoku region included in the video P. For example, when the operator operates Kochi prefecture in the Shikoku region, the sensor 120 detects that the operation has been performed on Kochi prefecture. In this case, the display unit 110 enlarges and displays Kochi prefecture as the operation image Pm.
  • the operation area M may be allocated to the entire operation video Pm. In this case, even if the operation is performed at an arbitrary position of the operation image Pm, the display unit 110 displays the transitioned operation image.
  • the display device 100 may be used for guidance purposes.
  • the display device 100 may be used as a guide device for facilities such as a station or a department store.
  • the display device 100 may be used for various transactions or various application purposes.
  • the display device 100 may be used as part of an automated teller machine (ATM).
  • ATM automated teller machine
  • the display device 100 may be used as an application input device for various administrative applications.
  • the senor 120 is arranged vertically below the image P displayed by the display unit 110, but the present invention is not limited to this.
  • the sensor 120 may be arranged at another location.
  • the display unit 110, the sensor 120, and the control unit 130 are integrally arranged, but the present invention is not limited to this.
  • the display unit 110, the sensor 120, and the control unit 130 may be arranged separately.
  • the sensor 120 may be arranged separately from the display unit 110 and the control unit 130.
  • the present invention is useful in the field of aerial image display devices.
  • Aerial video display device 110 Display unit 120 Sensor 130 Control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

空中映像表示装置（１００）は、表示部（１１０）と、センサー（１２０）と、制御部（１３０）とを備える。表示部（１１０）は、空中に映像Ｐを表示する。センサー（１２０）は、表示部（１１０）が空中に表示した映像Ｐに対して行われる操作を検知する。制御部（１３０）は、表示部（１１０）およびセンサー（１２０）を制御する。制御部（１３０）は、表示部（１１０）が基準領域（Ｒ）を含む映像を表示し、基準領域（Ｒ）に対して操作が行われた後に操作領域（Ｍ）に対して操作が行われたことをセンサー（１２０）が検知したことに応じて特定処理を実行するように表示部（１１０）およびセンサー（１２０）を制御する。

Description

空中映像表示装置
　本発明は、空中映像表示装置に関する。
　従来から、実像を空中に結像させる空中映像表示装置が種々提案されている。空中映像表示装置と観察者の目との間の空中に実像を結像させることにより、あたかも空中に物体が浮遊しているような映像を表示できる。
　このような空中映像表示装置に対する操作者の操作を、非接触入力センサー（入力検知部）で検知することも検討されている（例えば、特許文献１参照）。特許文献１には、空間像の周囲に位置する操作者の指を検出可能な位置にカメラを配設した表示入力装置が記載されている。特許文献１の表示入力装置では、操作者が装置を意識することなく空間像に対して行った操作を検出できる。
特開２０１３－２４２８５０号公報
　しかしながら、空中映像表示装置に対する操作を精度よく検知できないことがある。例えば、特許文献１の表示入力装置では、操作者が映像を操作しようとしても、カメラが操作者の操作位置を精度よく検知できないため、操作者の意図にしたがって空中映像表示装置の表示を操作できないことがある。
　本発明は、上記課題に鑑みてなされたものであり、その目的は、操作の検知精度を向上できる空中映像表示装置を提供することである。
　本発明による空中映像表示装置は、表示部と、センサーと、制御部とを備える。前記表示部は、空中に映像を表示する。前記センサーは、前記表示部が空中に表示した映像に対して行われる操作を検知する。前記制御部は、前記表示部および前記センサーを制御する。前記表示部は、特定処理の割り当てられていない視認可能な基準領域を含む映像を空中に表示可能である。前記表示部は、特定処理の割り当てられた操作領域を含む映像を空中に表示可能である。前記制御部は、前記表示部が前記基準領域を含む映像を表示し、前記基準領域に対して操作が行われた後に前記操作領域に対して操作が行われたことを前記センサーが検知したことに応じて前記特定処理を実行するように前記表示部および前記センサーを制御する。
　本発明によれば、空中映像表示装置に対する操作の検知精度を向上できる。
（ａ）および（ｂ）は、第１実施形態の空中映像表示装置の模式的な斜視図である。 （ａ）～（ｄ）は、第１実施形態の空中映像表示装置の模式的なブロック図である。 （ａ）～（ｄ）は、第１実施形態の空中映像表示装置の動作フローを説明するための模式図である。 （ａ）～（ｄ）は、第１実施形態の空中映像表示装置の動作フローの第１変形例を説明するための模式図である。 （ａ）～（ｆ）は、第１実施形態の空中映像表示装置の動作フローの第２変形例を説明するための模式図である。 （ａ）および（ｂ）は、第１実施形態の空中映像表示装置の動作フローの第３変形例を説明するための模式図である。 （ａ）および（ｂ）は、第２実施形態の空中映像表示装置の動作を説明するための模式図である。 （ａ）および（ｂ）は、第２実施形態の空中映像表示装置の動作を説明するための模式図である。 （ａ）は、第３実施形態の空中映像表示装置の模式的なブロック図であり、（ｂ）は、第３実施形態の空中映像表示装置の模式的な斜視図であり、（ｃ）は、光学プレートの模式的な斜視図である。 （ａ）は、第３実施形態の空中映像表示装置におけるセンサーの模式図であり、（ｂ）は、第３実施形態の空中映像表示装置において表示される映像の範囲と検知範囲との関係を説明するための模式図である。 （ａ）～（ｃ）は、第４実施形態の空中映像表示装置の動作フローを説明するための模式図である。
　以下、図面を参照して本発明による空中映像表示装置の実施形態を説明する。ただし、本発明は以下の実施形態に限定されない。なお、本願明細書では、発明の理解を容易にするため、互いに直交するＸ方向、Ｙ方向およびＺ方向を記載することがある。Ｘ方向およびＹ方向は水平方向に平行であり、Ｚ方向は鉛直方向に平行である。
　［第１実施形態］
　図１を参照して、本発明による空中映像表示装置１００の第１実施形態を説明する。図１（ａ）は、第１実施形態の空中映像表示装置１００の模式図である。
　空中映像表示装置１００は、空中に映像Ｐを表示する。ここでは、映像Ｐは、Ｘ方向およびＺ方向に広がる。操作者が空中に表示された映像Ｐに対して操作を行うと、空中映像表示装置１００によって表示される映像Ｐは、操作者の操作に応じて変更される。典型的には、空中映像表示装置１００は、水平面上に設置される。なお、本明細書において、空中映像表示装置１００を単に表示装置１００と記載することがある。
　表示装置１００は、表示部１１０と、センサー１２０と、制御部１３０とを備える。表示部１１０は、空中に映像Ｐを表示する。表示部１１０は、映像Ｐを空中で結像することにより、操作者の前に映像Ｐを表示する。表示部１１０によって表示される映像Ｐは、動画であってもよく、静止画であってもよい。
　表示部１１０は、像源となるディスプレイと、光学部材とを備えてもよい。光学部材は、ディスプレイの映像を空間上の別の位置に結像する。光学部材は、例えば、レンチキュラーレンズを含む。なお、表示部１１０によって空中に表示される映像Ｐの大きさは、ディスプレイにおいて表示される映像よりも大きくてもよく、小さくてもよい。あるいは、表示部１１０によって空中に表示される映像Ｐの大きさは、ディスプレイにおいて表示される映像と等しくてもよい。
　センサー１２０は、操作者のジェスチャーを検知できる。センサー１２０は、表示部１１０によって空中に表示された映像Ｐに対して行われる操作を検知する。センサー１２０は、映像Ｐに対して操作者の行った操作を検知できる位置に配置される。操作者が空中に表示された映像Ｐに対して操作を行うと、センサー１２０は、操作者の操作を検知する。
　本実施形態では、操作者が空中に表示された映像Ｐに対してタッチ操作を行うと、センサー１２０は、操作者の操作を検知する。例えば、操作者の操作オブジェクトが映像Ｐの表示されている対象領域内の所定の位置に所定の検知時間以上存在する場合に、センサー１２０は、操作者がタッチ操作を行ったことを検知する。典型的には、操作者によって操作される操作オブジェクトは、操作者自身の指である。ここでは、センサー１２０は、表示部１１０によって表示される映像Ｐの鉛直下方に配置される。例えば、センサー１２０は、操作者の指の動きを検知する。
　センサー１２０は、撮像素子を備えてもよい。この場合、センサー１２０の検知範囲は、撮像素子の画角によって規定される。あるいは、センサー１２０は、撮像素子と出射部とを備えてもよい。この場合、センサー１２０の検知範囲は、出射部の出射角と撮像素子の画角によって規定される。
　制御部１３０は、表示装置１００を構成する各部を制御する。詳細には、制御部１３０は、表示部１１０およびセンサー１２０を制御する。制御部１３０は、センサー１２０の検知結果に基づいて、表示部１１０によって表示される映像を変更する。
　図１（ａ）に示すように、表示部１１０は、視認可能な基準領域Ｒを含む映像Ｐを表示する。ここでは、映像Ｐの外郭は矩形状である。映像Ｐの幅（Ｘ方向の長さ）は、映像Ｐの高さ（Ｚ方向の長さ）よりも長い。例えば、映像Ｐの大きさは０．８ｍ×０．５ｍである。なお、映像Ｐの大きさはこれに限定されない。映像Ｐの高さは幅よりも大きくてもよい。また、映像Ｐの高さおよび幅のうちの一方は、１ｍ以上であってもよい。
　基準領域Ｒは、例えば映像Ｐの中央に配置される。映像Ｐの中心は、基準領域Ｒ内に含まれる。例えば、基準領域Ｒの外郭は矩形状である。基準領域Ｒの長手方向は、映像Ｐの長手方向と同じと平行である。基準領域Ｒの幅（Ｘ方向の長さ）は、基準領域Ｒの高さ（Ｚ方向の長さ）よりも長い。例えば、基準領域Ｒの大きさは、０．２ｍ×０．１ｍである。基準領域Ｒの中心位置は、映像Ｐの中心位置と同じである。典型的には、基準領域Ｒは、映像Ｐのうちの他の領域とは異なるように表示される。なお、基準領域Ｒの外郭の形状は、必ずしも矩形でなくてもよく、例えば、円形、楕円形、または、矩形以外の多角形でもよい。
　操作者は、映像Ｐに対して操作を行う。なお、映像Ｐは空中に表示されているため、操作者は、映像Ｐの表示されている空間に対して操作を行う。センサー１２０が操作者の操作を検知すると、制御部１３０は、操作内容に従って表示部１１０によって表示される映像Ｐを異なる映像に変更する。
　例えば、制御部１３０は、表示部１１０によって表示される映像Ｐの基準領域Ｒに対して操作した内容に従って、映像Ｐを別の映像に遷移させる。一例では、図１（ａ）に示すように、表示部１１０が基準領域Ｒを含む映像Ｐを表示する場合、センサー１２０が操作者によって基準領域Ｒに対して操作が行われたことを検知すると、表示部１１０は、映像Ｐを別の映像に遷移させる。
　図１（ｂ）に示すように、表示部１１０は、操作領域Ｍを含む映像Ｐを表示する。操作領域Ｍには、操作者にその実行を選択させる特定処理が割り当てられている。操作領域Ｍには、割り当てられている特定処理が何であるかを操作者に示す文字、図形等が表示される。特定処理は、例えば、他の情報の表示、動画の再生、映像Ｐ中のオブジェクトの回転等である。操作領域Ｍに対して操作が行われたことをセンサー１２０が検知すると、制御部１３０は、操作領域Ｍに割り当てられた特定処理を実行する。例えば、表示部１１０は、選択された特定処理に対応する別の映像Ｐを表示する。操作領域Ｍは、視認可能な領域であってもよいし、視認できない領域であってもよい。例えば、特定処理が映像Ｐ中のオブジェクトの回転である場合は、当該オブジェクトの周囲に視認できない操作領域Ｍが形成される。
　例えば、操作領域Ｍにアプリケーションのアイコンが表示されている場合、操作者が操作領域Ｍに対して操作を行うと、アプリケーションが起動し、表示部１１０は、起動したアプリケーションの映像Ｐを空中に表示する。あるいは、操作領域Ｍに開始ボタンが表示されている場合、操作者が操作領域Ｍに対して操作を行うと、所定の動作が開始し、表示部１１０は、所定の映像Ｐを空中に表示する。
　なお、図１（ｂ）に示した操作領域Ｍには、特定処理が割り当てられているのに対して、図１（ａ）に示した基準領域Ｒには、特定処理が割り当てられていない。このため、映像Ｐの操作領域Ｍに対して操作が行われると、特定処理が実行されるのに対して、映像Ｐの基準領域Ｒに対して操作が行われても、特定処理は実行されない。
　図１（ｂ）において、映像Ｐは、複数の操作領域Ｍ１～Ｍ４を含む。複数の操作領域Ｍ１～Ｍ４には、それぞれ異なる特定処理が割り当てられている。操作領域Ｍ１～Ｍ４は、互いに離れて配置される。操作領域Ｍ１～Ｍ４の外郭は矩形状であり、操作領域Ｍ１～Ｍ４は映像Ｐの四方に配置される。操作領域Ｍ１は、操作者から見て映像Ｐの左上（－Ｘ方向側および＋Ｚ方向側）に位置し、操作領域Ｍ２は、操作者から見て映像Ｐの右上（＋Ｘ方向側および＋Ｚ方向側）に位置し、操作領域Ｍ３は、操作者から見て映像Ｐの左下（－Ｘ方向側および－Ｚ方向側）に位置し、操作領域Ｍ４は、操作者から見て映像Ｐの右下（＋Ｘ方向側および－Ｚ方向側）に位置する。なお、操作領域Ｍ１～Ｍ４の外郭の形状は、必ずしも矩形でなくてもよく、例えば、円形、楕円形、または、矩形以外の多角形でもよい。
　本実施形態の表示装置１００において、表示部１１０が基準領域Ｒを含む映像Ｐを表示し、センサー１２０が映像Ｐの基準領域Ｒに対して行われた操作を検知した後で、表示部１１０が操作領域Ｍを含む映像Ｐを表示し、センサー１２０が映像Ｐの操作領域Ｍに対して行われた操作を検知する。このように、最初に基準領域Ｒを操作者に操作させることで、操作領域Ｍに対する操作の前に操作者の指を映像Ｐの平面上に位置させることができる。これにより、その後の操作者の指の移動（操作領域Ｍまでの移動）を高い確率で映像Ｐの平面上で行わせることができるようになる。このため、表示装置１００は、操作者による操作領域Ｍに対する操作を高精度に検知でき、操作者の操作性を向上できる。
　次に、図１および図２を参照して、第１実施形態の空中映像表示装置１００を説明する。図２（ａ）～図２（ｄ）は、第１実施形態の空中映像表示装置１００の模式的なブロック図である。
　図２（ａ）に示すように、表示装置１００は、表示部１１０、センサー１２０および制御部１３０に加えて、筐体１０２をさらに備える。表示部１１０および制御部１３０は、筐体１０２の内部に配置される。センサー１２０は、筐体１０２の表面に取り付けられる。
　筐体１０２は、光を透過する透過面１０２ａを有する。透過面１０２ａは、表示部１１０に対応して配置される。表示部１１０は、透過面１０２ａを介して映像Ｐを空中に表示する。ここでは、透過面１０２ａは、鉛直方向に対して斜めに傾いて配置される。なお、表示部１１０の一部が透過面１０２ａを構成してもよい。
　制御部１３０は、処理部１３２と、記憶部１３４とを備える。処理部１３２は、演算素子を含む。演算素子は、プロセッサーを含む。一例では、プロセッサーは、中央処理演算機（ＣＰＵ）を含む。プロセッサーは、特定用途集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）を含んでもよい。
　記憶部１３４は、記憶素子を含む。記憶部１３４は、半導体メモリーのようなメモリーを備えてもよい。記憶部１３４は、半導体メモリーのような主記憶素子と、半導体メモリーおよび／またはハードディスクドライブのような補助記憶素子とを含む。記憶部１３４は、リムーバブルメディアを含んでいてもよい。
　記憶部１３４は、種々のデータを記憶する。例えば、記憶部１３４は、制御プログラムを記憶する。詳細には、処理部１３２のプロセッサーは、記憶部１３４の記憶素子の記憶しているコンピュータープログラムを実行して、表示装置１００を構成する各部を制御する。
　例えば、コンピュータープログラムは、非一時的コンピューター読取可能記憶媒体に記憶される。非一時的コンピューター読取可能記憶媒体は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、磁気テープ、磁気ディスクまたは光データ記憶装置を含む。
　また、記憶部１３４は、映像データを記憶する。処理部１３２は、記憶部１３４に記憶された映像データに基づいて表示部１１０が空中に映像Ｐを表示するように表示部１１０に指示する。また、処理部１３２は、センサー１２０の検知結果に基づいて、表示部１１０によって空中に表示される映像Ｐを変更するように表示部１１０に指示する。
　なお、表示装置１００は、音声出力部１４２をさらに備えてもよい。音声出力部１４２は、制御部１３０の制御により、操作者に音声を出力する。
　また、表示装置１００は、通信部１４４をさらに備えてもよい。通信部１４４は、制御部１３０の制御により、通信部１４４は、外部の通信機器と通信可能である。通信部１４４は、外部機器にデータまたは情報を送信し、外部機器からのデータまたは情報を受信する。外部機器は、例えば、サーバーである。あるいは、外部機器は、操作者、表示装置１００の管理者または保守者の情報処理端末である。
　図２（ｂ）に示すように、制御部１３０が表示部１１０を駆動すると、表示部１１０は、空中に映像Ｐを表示する。ここでは、表示部１１０は、センサー１２０の上方において映像Ｐが結像するように映像Ｐを表示する。
　図２（ｃ）に示すように、センサー１２０は、検知範囲Ｓを有する。制御部１３０がセンサー１２０を駆動すると、センサー１２０は、検知範囲Ｓ内において行われた操作を検知する。例えば、操作者の指がセンサー１２０の検知範囲Ｓに進入すると、センサー１２０は、操作者の指の動きを検知する。
　図２（ｄ）に示すように、制御部１３０が表示部１１０およびセンサー１２０を駆動すると、表示部１１０は空中に映像Ｐを表示し、センサー１２０は、検知範囲Ｓ内において行われた操作を検知する。なお、映像Ｐの少なくとも一部は、センサー１２０の検知範囲Ｓの少なくとも一部と重なる。このため、操作者が映像Ｐの少なくとも一部の領域に対して操作しようとすると、センサー１２０は、操作者による操作を検知できる。
　次に、図１～図３を参照して、第１実施形態の空中映像表示装置１００の動作フローを説明する。図３（ａ）～図３（ｄ）は、第１実施形態の空中映像表示装置１００の動作フローを説明するための模式図である。
　図３（ａ）に示すように、表示部１１０は、基準領域Ｒを含む映像Ｐを表示する。なお、本明細書において、基準領域Ｒを含む映像Ｐを基準映像Ｐｒと記載することがある。
　ここでは、基準領域Ｒは、基準映像Ｐｒの全体の中央に配置される。基準映像Ｐｒのうちの基準領域Ｒは、他の領域とは異なるように表示されることが好ましい。例えば、基準領域Ｒの色および濃度の少なくとも一方は、他の領域とは異なることが好ましい。あるいは、基準領域Ｒの外郭の色および濃度の少なくとも一方は、基準領域Ｒの内側および基準映像Ｐｒのうちの基準領域Ｒ以外の領域とは異なるように表示されることが好ましい。
　表示部１１０は、基準映像Ｐｒとして基準領域Ｒと背景領域Ｇとを含む映像を表示する。背景領域Ｇの外縁は、基準映像Ｐｒの外縁と等しい。基準領域Ｒは、背景領域Ｇの表示レイヤーよりも上の表示レイヤーに割り当てられる。基準領域Ｒは、背景領域Ｇの中央に配置される。
　図３（ｂ）に示すように、操作者が基準映像Ｐｒの基準領域Ｒに対して操作を行うと、センサー１２０は、操作者の操作を検知する。
　図３（ｃ）に示すように、基準領域Ｒに対して操作が行われたことをセンサー１２０が検知した後、制御部１３０は、表示部１１０が操作領域Ｍ（同図では、操作領域Ｍ１～Ｍ４）を含む映像Ｐを表示するように表示部１１０を制御する。本明細書において、操作領域Ｍを含む映像Ｐを操作映像Ｐｍと記載することがある。本実施形態では、基準映像Ｐｒと操作映像Ｐｍとは別々の映像Ｐであり、基準領域Ｒに対する操作が検知された後、映像Ｐが基準映像Ｐｒから操作映像Ｐｍに切り替わる。
　このとき、操作映像Ｐｍは、操作領域Ｍと背景領域Ｇとを含む。例えば、操作映像Ｐｍの背景領域Ｇは、基準映像Ｐｒの背景領域Ｇと同じである。また、操作領域Ｍは、背景領域Ｇの表示レイヤーよりも上の表示レイヤーに割り当てられ、操作映像Ｐｍの背景領域Ｇの表示レイヤーは、基準映像Ｐｒの背景領域Ｇの表示レイヤーのままである。
　操作者が例えば操作領域Ｍ３に対して操作したことをセンサー１２０が検知すると、制御部１３０は、操作領域Ｍ３に割り当てられた特定処理を実行する。例えば、制御部１３０は、表示部１１０に操作領域Ｍ３に対応する別の映像Ｐを表示させる。典型的には、新たに表示された映像Ｐは、操作映像Ｐｍの背景領域Ｇを含まない。ただし、新たに表示された映像Ｐは、操作映像Ｐｍの背景領域Ｇを含んでもよい。同様に、操作者が操作領域Ｍ１、Ｍ２およびＭ４のいずれかに対して操作を行うことをセンサー１２０が検知すると、制御部１３０は、表示部１１０に操作領域Ｍ１、Ｍ２およびＭ４のいずれかに対応する別の映像Ｐを表示させる。
　図３（ｄ）に示すように、操作領域Ｍに対して操作が行われたことをセンサー１２０が検知した後、制御部１３０は、操作領域Ｍに割り当てられた特定処理を実行する。典型的には、制御部１３０は、特定処理に対応する映像Ｐｓを表示部１１０に表示させる。
　以上のようにして、表示装置１００では、操作者の操作を検知して基準映像Ｐｒから操作映像Ｐｍに映像Ｐが変化し、その後、操作映像Ｐｍの操作領域Ｍに対する操作者の操作を検知する。このため、操作領域Ｍに対する操作者の操作を高精度に検知でき、操作者の操作性を向上できる。
　表示装置１００において、操作映像Ｐｍに対する操作は、基準映像Ｐｒに対する操作に続けて行われることが好ましい。また、基準映像Ｐｒに対する操作の検知結果に基づいて、操作映像Ｐｍに対する操作の検知結果を較正してもよい。
　なお、表示装置１００が受け付ける基準領域Ｒに対する操作の種類（基準映像Ｐｒから操作映像Ｐｍに遷移させるための操作の種類）は、タッチ操作に限られず任意に設定されてもよい。例えば、基準映像Ｐｒは、基準映像Ｐｒの基準領域Ｒに対して、タップ操作、ダブルタップ操作、フリック操作、スワイプ操作、ピンチイン操作またはピンチアウト操作が行われたことに応じて、操作映像Ｐｍに遷移してもよい。あるいは、基準映像Ｐｒは、操作者の一方の手または両手で基準映像Ｐｒの基準領域Ｒをつぶすように、または、回転するように操作されたことに応じて、操作映像Ｐｍに遷移してもよい。
　同様に、表示装置１００が受け付ける操作領域Ｍに対する操作の種類は、タッチ操作に限られず任意に設定されてもよい。例えば、操作領域Ｍに対して、タップ操作、ダブルタップ操作、フリック操作、スワイプ操作、ピンチイン操作またはピンチアウト操作が行われたことに応じて、特定処理が実行されてもよい。あるいは、操作者の一方の手または両手で操作映像Ｐｍの操作領域Ｍをつぶすように、または、回転するように操作されたことに応じて、特定処理が実行されてもよい。
　次に、図１～図４を参照して、第１実施形態の空中映像表示装置１００の動作フローの第１変形例を説明する。図４（ａ）～図４（ｄ）は、第１実施形態の空中映像表示装置１００の動作フローの第１変形例を説明するための模式図である。なお、図４（ａ）～図４（ｄ）において、表示装置１００によって表示される映像Ｐの任意の点は、水平方向に延びたｘ方向における位置および鉛直方向に延びたｙ方向における位置によって表される。
　図４（ａ）に示すように、表示部１１０は、基準映像Ｐｒを表示する。ここでは、基準領域Ｒは、基準映像Ｐｒの全体の中央に配置される。基準領域Ｒの中心位置は座標（ｘ０、ｙ０）で示される。
　図４（ｂ）に示すように、センサー１２０は、基準映像Ｐｒの基準領域Ｒに対して行われた操作を検知する。ここでは、センサー１２０によって検知された位置（センサー１２０が基準領域Ｒに対して行われた操作を検知したときの操作者の指の位置）を座標（ｘ１、ｙ１）と示す。
　理想的には、座標（ｘ１、ｙ１）は、座標（ｘ０、ｙ０）と等しいが、実際には、座標（ｘ１、ｙ１）は、座標（ｘ０、ｙ０）とは等しくならないことがある。例えば、操作者が基準映像Ｐｒを正面視していない場合、基準領域Ｒの中心位置と操作の検知位置とがずれることがある。一例では、操作者の身長が、操作者の想定される身長と比べて大きく異なる場合、基準領域Ｒの中心位置と操作の中心とがずれることがある。
　この場合、制御部１３０は、座標（ｘ１、ｙ１）と座標（ｘ０、ｙ０）との間のｘ方向の差分Δｘ（＝ｘ１－ｘ０）およびｙ方向の差分Δｙ（＝ｙ１－ｙ０）を特定する。差分Δｘおよび差分Δｙは、映像Ｐの少なくとも中央における表示部１１０の表示に対する操作者の操作を検知した検知位置のズレを示す。
　なお、図４（ｂ）では、センサー１２０によって検知された位置（座標（ｘ１、ｙ１））は、基準領域Ｒの範囲内に位置しているが、センサー１２０によって検知された位置は、基準領域Ｒの外であってもよい。この場合でも、制御部１３０は、基準領域Ｒに対して操作が行われたと判定してもよい。
　図４（ｃ）に示すように、センサー１２０によって基準映像Ｐｒの基準領域Ｒに対して操作されたことが検知されると、表示部１１０は、操作領域Ｍ１～ｍ４を含む操作映像Ｐｍを表示する。ここでは、操作領域Ｍ３の中心位置を座標（ｘ２、ｙ２）と示す。
　図４（ｄ）に示すように、センサー１２０は、操作映像Ｐｍの操作領域Ｍに対して行われた操作を検知する。ここでは、センサー１２０によって検知された位置（操作者の指の位置）を座標（ｘ３、ｙ３）と示す。
　この場合、制御部１３０は、センサー１２０によって検知された位置を差分Δｘおよび差分Δｙに基づいて較正する。例えば、制御部１３０は、センサー１２０によって検知された位置を示す座標（ｘ３、ｙ３）を差分Δｘおよび差分Δｙに基づき較正した後の座標（較正後の座標）と表示部１１０によって表示される操作領域Ｍの外郭の座標とに基づいて、操作領域Ｍ３に対して操作が行われたか否かを判定する。例えば、較正後の座標によって示される位置が操作領域Ｍ内に存在することが検知時間以上継続されたときに、制御部１３０は、当該操作領域Ｍに対して操作が行われたと判定できる。その後、制御部１３０は、操作領域Ｍに割り当てられた特定処理を実行する。
　あるいは、制御部１３０は、補正係数ｃを考慮して、操作された位置を座標（ｘ３－ｃ×Δｘ、ｙ３－ｃ×Δｙ）と特定してもよい。例えば、補正係数ｃの値は、映像Ｐの中心からの距離に応じて変更されてもよい。
　なお、操作者が映像Ｐの領域に対して操作する場合、操作者の操作は、センサー１２０の検知が完了するまで同一領域で維持されることが好ましい。
　次に、図１～図３および図５を参照して、第１実施形態の空中映像表示装置１００の動作フローの第２変形例を説明する。図５（ａ）～図５（ｆ）は、第１実施形態の空中映像表示装置１００の動作フローの第２変形例を説明するための模式図である。
　図５（ａ）に示すように、表示部１１０は、基準領域Ｒを含む映像Ｐを表示する。基準領域Ｒは、映像Ｐの全体の中央に配置される。ここでは、基準領域Ｒは、比較的薄い色で示される。
　図５（ｂ）に示すように、操作者の指が映像Ｐの基準領域Ｒに進入すると、センサー１２０は、操作者の指を検知する。
　図５（ｃ）に示すように、操作者の指が基準領域Ｒに位置し続けると、映像Ｐの基準領域Ｒにおいて、操作維持領域Ｒａが形成される。ここでは、操作維持領域Ｒａは、操作者による基準領域Ｒの操作の検知が継続していることを示す。操作維持領域Ｒａは、例えば基準領域Ｒのうち操作者による操作を検知した位置に形成される。
　操作維持領域Ｒａの色は、基準領域Ｒの他の領域とは異なるように表示される。例えば、操作維持領域Ｒａの色および濃度の少なくとも一方は、他の領域とは異なるように、好ましくは他の領域よりも濃くなるように表示される。あるいは、操作維持領域Ｒａの外郭が、操作維持領域Ｒａの内側および基準領域Ｒのうちの操作維持領域Ｒａ以外の領域とは異なるように表示されてもよい。
　図５（ｄ）に示すように、操作者の指がさらに基準領域Ｒに位置し続けると、映像Ｐの操作維持領域Ｒａはさらに拡大する。
　図５（ｅ）に示すように、操作者の指がさらに基準領域Ｒに位置し続けると、映像Ｐの操作維持領域Ｒａはさらに拡大する。ここでは、操作維持領域Ｒａの一部は、基準領域Ｒの外郭にまで達する。
　図５（ｆ）に示すように、操作者の指がさらに基準領域Ｒに位置し続けると、映像Ｐの操作維持領域Ｒａはさらに拡大して、操作維持領域Ｒａの大きさが基準領域Ｒと同じ大きさに達する。このとき、操作維持領域Ｒａの変化が終了する。なお、操作維持領域Ｒａが変化する期間（操作維持領域Ｒａが形成されてから操作維持領域Ｒａの変化が終了するまでの期間）は、検知時間に一致していることが好ましい。操作維持領域Ｒａが変化する期間が検知時間に一致している場合、操作維持領域Ｒａの変化が終了したときに、センサー１２０による操作者の操作の検知が完了する。
　図５を参照して上述したように、操作者の操作の検知が完了するまで操作維持領域Ｒａが変化することにより、操作者は、自身の操作が検知されつつあることを把握することができるため、表示装置１００は、操作者に心理的なストレスを掛けることなく、基準領域Ｒに対する操作を検知できる。
　なお、図５を参照して上述した説明では、基準領域Ｒに対して操作する際に基準領域Ｒ内に操作維持領域Ｒａが形成されたが、本実施形態はこれに限定されない。操作領域Ｍに対して操作する際に操作領域Ｍ内に操作維持領域が形成されてもよい。
　なお、本実施形態の表示装置１００では、操作者は、空中の映像Ｐに対して操作するため、操作者は、自身の操作が検知されているか確信を持ちにくい。このため、操作者の操作がセンサー１２０によって検知されていることが視覚化されることが好ましい。例えば、センサー１２０が操作者の操作を検知する場合、表示部１１０は、センサー１２０が操作者の操作を検知していることを映像Ｐ中に表示することが好ましい。
　次に、図６を参照して、第１実施形態の空中映像表示装置１００の動作フローの第３変形例を説明する。図６（ａ）および図６（ｂ）は、第１実施形態の空中映像表示装置１００の動作フローの第３変形例を説明するための模式図である。
　図６（ａ）に示すように、表示部１１０は映像Ｐを表示し、センサー１２０は検知範囲Ｓにおいて映像Ｐに対する操作の検知を開始する。ここでは、センサー１２０は、未だ操作者による操作を検知していない。このため、表示部１１０は、映像データに対応する映像をそのまま表示する。
　図６（ｂ）に示すように、操作者が映像Ｐに対して操作を行うと、センサー１２０は、映像Ｐに対する操作を検知する。この場合、制御部１３０は、センサー１２０の検知結果に基づいて、表示部１１０によって表示される映像Ｐに検知表示領域Ｐｄを追加して表示する。ここで、検知表示領域Ｐｄは、表示装置１００が映像Ｐに対する操作を検知していることを操作者に知らせるための表示、例えば「操作中」の文字が示される領域である。
　この場合、制御部１３０は、元の映像Ｐに対応する映像データおよび検知表示領域Ｐｄに対応するデータを合成して新たな映像データを生成する。その後、制御部１３０は、表示部１１０が新たな映像データに基づき、検知表示領域Ｐｄを含む映像Ｐを表示するように表示部１１０を制御する。なお、検知表示領域Ｐｄは、基準映像Ｐｒおよび操作映像Ｐｍを表示する際に表示されてもよい。あるいは、検知表示領域Ｐｄは、基準映像Ｐｒおよび操作映像Ｐｍの一方のみを表示する際に表示されてもよい。
　なお、図１～図６を参照した上述した説明では、操作映像Ｐｍは、基準映像Ｐｒに対して操作された後に表示されたが、本発明はこれに限定されない。操作映像Ｐｍは、基準映像Ｐｒと同時に表示されてもよい。
　［第２実施形態］
　次に、図１～図３、図７および図８を参照して、本発明による空中映像表示装置１００の第２実施形態を説明する。図７（ａ）～図８（ｂ）は、第２実施形態の空中映像表示装置１００を説明するための模式図である。なお、本実施形態の表示装置１００は、同一の映像Ｐ内に基準領域Ｒおよび操作領域Ｍを同時に表示する点を除いて、第１実施形態の表示装置１００と同様であり、冗長を避けるために重複する記載を省略する。
　図７（ａ）に示すように、表示部１１０は、基準領域Ｒおよび操作領域Ｍを含む映像Ｐを表示する。操作領域Ｍは、基準領域Ｒとは異なる位置に配置される。
　基準領域Ｒは、映像Ｐのほぼ中央に配置される。ここでは、操作映像Ｐｍの一部として、基準領域Ｒが表示されている。
　操作領域Ｍは、操作領域Ｍ１～Ｍ４を含む。操作領域Ｍ１～Ｍ４の外郭は矩形状であり、操作領域Ｍ１～Ｍ４は映像Ｐの四方に配置される。操作領域Ｍ１～Ｍ４は、映像Ｐのうちの異なる領域に位置する。操作領域Ｍ１は、基準領域Ｒに対して左上に位置し、操作領域Ｍ２は、基準領域Ｒに対して右上に位置し、操作領域Ｍ３は、基準領域Ｒに対して左下に位置し、操作領域Ｍ４は、基準領域Ｒに対して右下に位置する。
　センサー１２０が、基準領域Ｒに対する操作を検知した後、センサー１２０は、操作領域Ｍに対する操作を検知する。操作領域Ｍに対する操作が検知されると、表示部１１０は、操作後の結果を示す別の映像Ｐを表示する。このため、センサー１２０は、操作者による映像Ｐの操作領域Ｍに対する操作を高精度に検知でき、操作者の操作性を向上できる。
　なお、操作者が基準領域Ｒに対して操作する前に操作領域Ｍに対して操作した場合、センサー１２０は、検知結果を無効処理して、映像の遷移を中止してもよい。また、表示部１１０が基準領域Ｒおよび操作領域Ｍを含む映像Ｐを表示する場合、基準領域Ｒが、操作領域Ｍに対する操作よりも先に操作されるように操作者は誘導されることが好ましい。
　図７（ａ）では、基準領域Ｒは点滅して表示される。基準領域Ｒを点滅して表示することにより、操作領域Ｍに対する操作よりも先に基準領域Ｒに対して操作するように操作者を誘導できる。
　図７（ｂ）では、表示部１１０は、操作映像Ｐｍのうち基準領域Ｒ以外の領域を基準領域Ｒよりも暗く表示する。基準領域Ｒを明るく、基準領域Ｒ以外の領域を暗く表示することにより、基準領域Ｒに対して優先的に操作するように操作者を誘導できる。
　図８（ａ）に示すように、表示部１１０は、基準領域Ｒおよび操作領域Ｍを含む映像Ｐを表示する場合、音声出力部１４２（図２参照）が基準領域Ｒに対して操作するように音声を出力する。音声により、操作領域Ｍに対する操作よりも先に基準領域Ｒに対して操作するように操作者を誘導できる。
　図８（ｂ）に示すように、表示部１１０は、基準領域Ｒおよび操作領域Ｍを含む映像Ｐを表示する場合、映像Ｐは、さらに、操作領域Ｍに対する操作よりも先に基準領域Ｒに対して操作するようにメッセージを含む。映像Ｐの表示により、操作領域Ｍに対する操作よりも先に基準領域Ｒに対して操作するように操作者を誘導できる。
　なお、図７および図８を参照した上述の説明では、表示部１１０が基準領域Ｒおよび操作領域Ｍを含む映像Ｐを同時に表示する場合に、基準領域Ｒが操作されるように誘導されたが、本実施形態はこれに限定されない。例えば、図３（ａ）または図４（ａ）に示したように、表示部１１０が基準領域Ｒを表示するが操作領域Ｍを表示しない場合でも、基準領域Ｒに対して操作が行われるように誘導されてもよい。
　［第３実施形態］
　次に、図９および図１０を参照して、本発明による空中映像表示装置１００の第３実施形態を説明する。図９（ａ）は、第３実施形態の空中映像表示装置１００の模式的なブロック図であり、図９（ｂ）は、第３実施形態の空中映像表示装置１００の模式的な斜視図である。
　図９（ａ）および図９（ｂ）に示すように、表示装置１００は、表示部１１０と、センサー１２０と、制御部１３０とを備える。表示部１１０は、ディスプレイ１１２と、光学プレート１１４とを含む。ディスプレイ１１２は、平面上に映像を表示する。例えば、ディスプレイ１１２は、液晶ディスプレイまたは有機ＥＬディスプレイを含む。ディスプレイ１１２に表示された映像は、光学プレート１１４を介して空中で結像される。
　図９（ｃ）は、光学プレート１１４の模式的な斜視図である。図９（ｃ）に示すように、光学プレート１１４は、第１パネル１１４ａと、第２パネル１１４ｂとを含む。光学プレート１１４は、第１パネル１１４ａおよび第２パネル１１４ｂを積層して構成される。
　第１パネル１１４ａは、積層方向に対して垂直な面内で互いに直交する２方向のうちの一方向に、接着層を介して複数の板状部材Ｂを配列して形成される。板状部材Ｂは、配列方向に並べられた透明部材Ｂａと、配列方向に並べられた透明部材Ｂａの対向する２面のうちの少なくとも一方に形成される反射部材Ｂｂとを有している。
　同様に、第２パネル１１４ｂは、積層方向に対して垂直な面内で互いに直交する２方向のうちの他の方向に、接着層を介して複数の板状部材Ｃを配列して形成される。各板状部材Ｃは、配列方向に並べられた透明部材Ｃａと、配列方向に並べられた透明部材Ｃａの対向する２面のうちの少なくとも一方に形成される反射部材Ｃｂとを有している。
　ディスプレイ１１２からの光は、光学プレート１１４に入射し、光学プレート１１４の複数の反射面（第１パネル１１４ａの反射部材Ｂｂおよび第２パネル１１４ｂの反射部材Ｃｂ）で反射された後、光学プレート１１４に対して光の入射側とは反対側の空中に導かれる。これにより、ディスプレイ１１２の表示面に表示された映像が映像Ｐとして空中に結像される。
　なお、光学プレート１１４は、上記の２層構造に限定されない。光学プレート１１４は、互いに直交する反射面（平面視でＶ字型（Ｌ字型））を同一面上にアレイ状に並べた１層構造のものであってもよい。
　なお、センサー１２０の検知範囲Ｓは、表示部１１０によって表示される映像Ｐの全体をカバーすることが好ましい。ただし、センサー１２０の検知範囲Ｓは、表示部１１０によって表示される映像Ｐの全体をカバーすることなく映像Ｐの少なくとも一部をカバーしてもよい。ただし、映像Ｐのうちの基準領域Ｒおよび操作領域Ｍは、センサー１２０の検知範囲Ｓによってカバーされる領域内に位置することが好ましい。
　次に、図１０を参照して、第３実施形態の空中映像表示装置１００におけるセンサー１２０を説明する。図１０（ａ）は、第３実施形態の空中映像表示装置１００におけるセンサー１２０の模式図であり、図１０（ｂ）は、第３実施形態の空中映像表示装置１００において表示される映像Ｐの範囲とセンサー１２０の検知範囲Ｓとの関係を説明するための模式図である。上述したように、センサー１２０は、操作者が空中の映像に対して行う操作を検知する。典型的には、センサー１２０は、操作者の指が映像に対して行う操作の動きを検知する。
　図１０（ａ）に示すように、センサー１２０は、出射部１２２と、撮像部１２４とを含む。ここでは、撮像部１２４は、第１撮像部１２４ａと、第２撮像部１２４ｂとを含む。第１撮像部１２４ａ、出射部１２２および第２撮像部１２４ｂは一列に順番に配列されている。撮像部１２４が、異なる場所に配置された第１撮像部１２４ａおよび第２撮像部１２４ｂを含むことにより、操作者の指の位置を３次元的に特定できる。
　例えば、出射部１２２は、赤外線を出射する。例えば、出射部１２２の出射方向は、鉛直方向に平行に配置される。
　第１撮像部１２４ａおよび第２撮像部１２４ｂは、操作者の指が映像に対して行う操作の動きを検知する。第１撮像部１２４ａおよび第２撮像部１２４ｂは、赤外線カメラであってもよい。この場合、第１撮像部１２４ａおよび第２撮像部１２４ｂは、出射部１２２から出射され操作者の指によって反射された赤外線を撮像する。
　図１０（ｂ）に示すように、センサー１２０の検知範囲Ｓは、映像Ｐの一部のみをカバーしてもよい。映像Ｐの一部が、センサー１２０の検知範囲Ｓと重なる一方で、映像Ｐの他の一部は、センサー１２０の検知範囲Ｓと重ならない。ただし、映像Ｐのうちの操作領域Ｍは、センサー１２０の検知範囲Ｓと重なる位置に配置されている。このため、操作者は、比較的大きい映像Ｐを視認しながら、映像Ｐに対して操作することで映像Ｐを変更できる。
　なお、図１０（ｂ）では、映像Ｐのうちの操作領域Ｍは、センサー１２０の検知範囲Ｓと重なる位置に配置されたが、本発明はこれに限定されない。映像Ｐのうちの基準領域Ｒも、センサー１２０の検知範囲Ｓと重なる位置に配置されることが好ましい。
　また、第１実施形態～第３実施形態の表示装置１００では、操作領域Ｍは、操作映像Ｐｍの一部に割り当てられたが、本実施形態はこれに限定されない。操作領域Ｍは、操作映像Ｐｍの全体に割り当てられてもよい。
　［第４実施形態］
　次に、図１～図３および図１１を参照して、本発明による空中映像表示装置１００の第４実施形態を説明する。図１１（ａ）～図１１（ｃ）は、第４実施形態の空中映像表示装置１００の動作フローを説明するための模式図である。なお、本実施形態の表示装置１００は、操作領域Ｍが操作映像Ｐｍの全体に割り当てられる点を除いて、第１実施形態の表示装置１００と同様であり、冗長を避けるために重複する記載を省略する。ここでは、操作者は、表示装置１００によって表示された日本地図を部分的に拡大して表示するように操作する。
　図１１（ａ）に示すように、表示部１１０は、中央に基準領域Ｒの配置された映像Ｐを表示する。操作者は、基準映像Ｐｒの基準領域Ｒに対して操作を行う。
　図１１（ｂ）に示すように、表示部１１０は、基準映像Ｐｒから操作映像Ｐｍに映像Ｐを遷移させて、操作映像Ｐｍとして日本地図を表示する。なお、ここでは、操作映像Ｐｍの全体が操作領域Ｍとして割り当てられている。操作者は、映像Ｐの四国地方を部分的に拡大して表示するように操作を行う。詳細には、操作者が、操作映像Ｐｍに含まれる日本地図のうちの四国地方に対して操作を行うと、センサー１２０は、四国地方に対して操作が行われたことを検知する。
　図１１（ｃ）に示すように、表示部１１０は、四国地方を示す映像Ｐを表示する。その後、操作者は、映像Ｐに含まれる四国地方の特定の地域を選択するように操作を行う。例えば、操作者が、四国地方の高知県に対して操作を行うと、センサー１２０は、高知県に対して操作が行われたことを検知する。この場合、表示部１１０は、操作映像Ｐｍとして高知県を拡大して表示する。
　以上のように、操作領域Ｍは、操作映像Ｐｍの全体に割り当てられてもよい。この場合、操作映像Ｐｍの任意の位置に対して操作が行われても、表示部１１０は、遷移した操作映像を表示する。
　なお、図１１を参照した説明では、表示装置１００は、地図の表示に用いられたが、本発明はこれに限定されない。表示装置１００は、エンターテインメント用途で用いられてもよい。例えば、表示装置１００は、アミューズメントパークで用いられてもよい。
　または、表示装置１００は、案内用途で用いられてもよい。一例では、表示装置１００は、駅または百貨店等の施設の案内装置として用いられてもよい。
　あるいは、表示装置１００は、各種取引または各種申請用途で用いられてもよい。一例では、表示装置１００は、現金自動預払い機（Ａｕｔｏｍａｔｅｄ　Ｔｅｌｌｅｒ　Ｍａｃｈｉｎｅ：ＡＴＭ）の一部として用いられてもよい。あるいは、表示装置１００は、行政の各種申請のための申請入力装置として用いられてもよい。
　以上、図面を参照して本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施形態として実施することが可能である。また、上記の実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の個数等は、図面作成の都合から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素は一例であって、特に限定されるものではなく、本発明の効果を実質的に逸脱しない範囲で種々の変更が可能である。
　例えば、図１～図１１を参照して上述した表示装置１００では、センサー１２０は、表示部１１０によって表示される映像Ｐの鉛直下方に配置されていたが、本発明はこれに限定されない。センサー１２０は、別の場所に配置されてもよい。
　また、図１～図１１を参照して上述した表示装置１００では、表示部１１０、センサー１２０および制御部１３０は一体的に配置されていたが、本発明はこれに限定されない。表示部１１０、センサー１２０および制御部１３０は分離して配置されてもよい。例えば、センサー１２０は、表示部１１０および制御部１３０とは別の場所に分離して配置されてもよい。
　本発明は、空中映像表示装置の分野に有用である。
　　１００　　空中映像表示装置
　　１１０　　表示部
　　１２０　　センサー
　　１３０　　制御部

Claims (8)

  1. 　空中に映像を表示する表示部と、
    　前記表示部が空中に表示した映像に対して行われる操作を検知するセンサーと、
    　前記表示部および前記センサーを制御する制御部と
    を備え、
    　前記表示部は、特定処理の割り当てられていない視認可能な基準領域を含む映像を空中に表示可能であり、
    　前記表示部は、特定処理の割り当てられた操作領域を含む映像を空中に表示可能であり、
    　前記制御部は、前記表示部が前記基準領域を含む映像を表示し、前記基準領域に対して操作が行われた後に前記操作領域に対して操作が行われたことを前記センサーが検知したことに応じて前記特定処理を実行するように前記表示部および前記センサーを制御する、空中映像表示装置。
  2. 　前記表示部は、前記基準領域を含むが前記操作領域を含まない映像を表示し、前記センサーによって前記基準領域に対する操作が検知された後に、前記操作領域を含むが前記基準領域を含まない映像を表示する、請求項１に記載の空中映像表示装置。
  3. 　前記表示部は、前記基準領域および前記操作領域を含む映像を表示する、請求項１に記載の空中映像表示装置。
  4. 　前記制御部は、前記表示部による前記基準領域の表示位置と前記基準領域に対して行われた操作を前記センサーによって検知した位置との差分を特定し、
    　前記制御部は、前記差分に基づいて、前記操作領域を含む映像に対して行われた操作を前記センサーによって検知した位置を較正する、請求項１から３のいずれかに記載の空中映像表示装置。
  5. 　前記表示部は、前記基準領域を含む映像の中央に前記基準領域を表示する、請求項１から４のいずれかに記載の空中映像表示装置。
  6. 　前記センサーは、前記表示部が空中に表示した映像に対する操作者の指の動きを検知する、請求項１から５のいずれかに記載の空中映像表示装置。
  7. 　前記制御部は、前記基準領域に対して操作が行われるように操作者を誘導する、請求項１から６のいずれかに記載の空中映像表示装置。
  8. 　前記表示部は、前記基準領域に対する操作の継続期間に応じて前記基準領域の表示を変更し、および／または、前記操作領域に対する操作の継続期間に応じて前記操作領域の表示を変更する、請求項１から７のいずれかに記載の空中映像表示装置。
PCT/JP2019/021772 2019-05-31 2019-05-31 空中映像表示装置 WO2020240835A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/021772 WO2020240835A1 (ja) 2019-05-31 2019-05-31 空中映像表示装置
JP2021522576A JPWO2020240835A1 (ja) 2019-05-31 2019-05-31

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/021772 WO2020240835A1 (ja) 2019-05-31 2019-05-31 空中映像表示装置

Publications (1)

Publication Number Publication Date
WO2020240835A1 true WO2020240835A1 (ja) 2020-12-03

Family

ID=73553701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/021772 WO2020240835A1 (ja) 2019-05-31 2019-05-31 空中映像表示装置

Country Status (2)

Country Link
JP (1) JPWO2020240835A1 (ja)
WO (1) WO2020240835A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003862A1 (ja) * 2016-06-28 2018-01-04 株式会社ニコン 制御装置、表示装置、プログラムおよび検出方法
JP2018005815A (ja) * 2016-07-08 2018-01-11 大日本印刷株式会社 入力システム及びその入力装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP6729166B2 (ja) * 2016-08-16 2020-07-22 富士ゼロックス株式会社 情報処理装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003862A1 (ja) * 2016-06-28 2018-01-04 株式会社ニコン 制御装置、表示装置、プログラムおよび検出方法
JP2018005815A (ja) * 2016-07-08 2018-01-11 大日本印刷株式会社 入力システム及びその入力装置

Also Published As

Publication number Publication date
JPWO2020240835A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
US10478717B2 (en) Augmented reality and physical games
TWI679575B (zh) 驅動可攜式資料處理裝置的方法
US9436275B2 (en) Transmissive display apparatus and operation input method
KR20230031272A (ko) 전자 장치 및 전자 장치의 디스플레이 제어 방법
JP4294668B2 (ja) 点図ディスプレイ装置
KR102059359B1 (ko) 디스플레이 장치, 디스플레이 장치의 동작 방법 및 제조 방법
US9274605B2 (en) Information processing device, information processing method, and program
US20150084994A1 (en) Touch-enabled field-sequential color (fsc) display using a light guide with light turning features
JP6236691B1 (ja) 端末装置、及びプログラム
EP3465398B1 (en) Privacy user interactive apparatus, electronic apparatus having the same, and user interactive method for protecting privacy
CN113302551B (zh) 包括显示器的电子设备
KR20160146735A (ko) 대화형 디스플레이 스크린들에 대한 압력, 회전 및 스타일러스 기능
JP2010055266A (ja) ３次元表示時における指示位置設定装置および方法並びにプログラム
US20170102791A1 (en) Virtual Plane in a Stylus Based Stereoscopic Display System
JP2010026064A (ja) 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
TW200844809A (en) Display apparatus
JP2018010702A (ja) 端末装置、及びプログラム
US20100007602A1 (en) Image display device
JP2018005517A (ja) 端末装置、及びプログラム
JP7119384B2 (ja) 情報処理装置、情報処理システム及びプログラム
US9607427B2 (en) Computerized systems and methods for analyzing and determining properties of virtual environments
WO2020240835A1 (ja) 空中映像表示装置
US8441523B2 (en) Apparatus and method for drawing a stereoscopic image
CN104850383A (zh) 一种信息处理方法和电子设备
US10412353B2 (en) Processing apparatus and image projecting method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19931093

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021522576

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19931093

Country of ref document: EP

Kind code of ref document: A1