WO2022113687A1 - 空中操作装置 - Google Patents

空中操作装置 Download PDF

Info

Publication number
WO2022113687A1
WO2022113687A1 PCT/JP2021/040651 JP2021040651W WO2022113687A1 WO 2022113687 A1 WO2022113687 A1 WO 2022113687A1 JP 2021040651 W JP2021040651 W JP 2021040651W WO 2022113687 A1 WO2022113687 A1 WO 2022113687A1
Authority
WO
WIPO (PCT)
Prior art keywords
button
display
aerial
sensor
determination unit
Prior art date
Application number
PCT/JP2021/040651
Other languages
English (en)
French (fr)
Inventor
隆義 望月
和輝 ▲高▼林
由 安本
Original Assignee
株式会社村上開明堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社村上開明堂 filed Critical 株式会社村上開明堂
Publication of WO2022113687A1 publication Critical patent/WO2022113687A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Definitions

  • the present disclosure relates to an aerial operating device that operates on a display surface displayed as a virtual image in the air.
  • This application claims priority based on Japanese Application No. 2020-198732 of November 30, 2020, and incorporates all the contents described in the Japanese application.
  • Japanese Unexamined Patent Publication No. 2018-206149 describes an input device that recognizes that the user is bringing an indicator such as a finger close to an image formed in space and notifies the user to that effect. ..
  • the input device includes a stereoscopic image display unit, a position detection sensor for detecting the position of the indicator, a light emitting unit, a diffuser plate, a sound output unit, and a control unit.
  • the stereoscopic image display unit forms an image of a stereoscopic image visually recognized by the user in a space without a screen.
  • the control unit includes a distance calculation unit and a notification control unit.
  • the distance calculation unit calculates the distance between the position of the indicator detected by the position detection sensor and the position detection sensor.
  • the notification control unit controls the light emitting unit and the sound output unit to change the notification method to the user according to the distance between the indicator and the position detection sensor calculated by the distance calculation unit.
  • the light emitting unit is arranged at the bottom of the stereoscopic image displayed by the stereoscopic image display unit. The stereoscopic image is displayed brightly as the light emitting part emits light.
  • the notification control unit outputs an instruction to the light emitting unit so that the shorter the distance between the indicator and the stereoscopic image displayed by the stereoscopic image display unit, the higher the brightness of the light.
  • the notification control unit outputs an instruction to the sound output unit so that the shorter the distance between the indicator and the stereoscopic image, the louder the sound is output. It is possible to notify the user that the indicator is approaching the stereoscopic image by using the light projected from the light emitting unit or the sound output from the sound output unit. As a result, the user can recognize that the input device recognizes the input operation via the indicator.
  • the shorter the distance between the indicator and the stereoscopic image the louder the light or sound that is output.
  • the light or sound gradually changes according to the distance, there may be a problem that it is difficult for the user to grasp whether or not the stereoscopic image is correctly pressed.
  • the stereoscopic image that receives the light from the light emitting unit is displayed brighter. Therefore, it may be necessary to prevent the operation input from being seen from the surroundings. As a result, the operation by the user can be complicated, and there is room for improvement in terms of operability.
  • the present disclosure aims to provide an aerial operation device capable of improving operability.
  • the aerial operation device includes a display device that irradiates light to display information, and an aerial connection that reflects light from the display device multiple times to display a display surface with a button as a virtual image in the air. It is an aerial operation device including an image device and a sensor that detects the position of an object approaching a button. The aerial operation device outputs a control signal to a device outside the aerial operation device and a determination unit for determining whether or not the button is pressed based on the position of the object detected by the sensor, and operates the device. It includes a signal output unit for control and a notification unit for notifying the user of the aerial operation device of the determination result of the determination unit.
  • the notification unit controls the display device to change the display mode of the button to the first mode.
  • the signal output unit outputs a control signal to the device.
  • the aerial imaging device displays a display surface with a button as a virtual image in the air, and the sensor detects the position of an object such as a finger approaching the button.
  • the determination unit determines whether or not the button is pressed based on the position of the object detected by the sensor.
  • the notification unit notifies the user of the aerial operation device of the determination result of the determination unit. Therefore, since the user can grasp whether or not the button has been pressed, the operability of the button can be improved.
  • the notification unit changes the display mode of the button to the first mode when the determination unit determines that the position of the object detected by the sensor is the first position. By changing the display mode of the button, the user can grasp that the position of the object has reached the first position.
  • the signal output unit outputs a control signal to the device. Therefore, the device can be operated when the user pushes the object to the second position rather than the first position. In this way, by changing the display mode of the button when the object is in the first position, it is possible to give the user a sense of security that the button is pressed, and the device when the object is in the second position. Can be operated. Therefore, the operability of the button can be improved.
  • the notification unit controls the display device to change the display mode of the button to the second mode different from the first mode. You may.
  • the device can be operated and the display mode of the button can be changed from the first mode to the second mode. Therefore, since the display mode of the button changes as the device is operated, the user can grasp that the button is pressed correctly and the device is operating.
  • the aerial operation device includes a display device that irradiates light to display information, and an aerial device that reflects light from the display device multiple times to display a display surface with a button as a virtual image in the air. It is an aerial operation device including an imaging device and a sensor that detects the position of an object approaching a button. The position of the user who operates the aerial operation device is predetermined.
  • the aerial imaging device displays the display surface so as to face the user located at a predetermined position.
  • the display surface is visible only from a position that is equal to or less than the viewing angle, which is an angle with respect to a virtual straight line that passes through the center of the display surface and is orthogonal to the display surface.
  • the aerial imaging device displays the display surface so that the display surface faces the user at a predetermined position. Therefore, since the display surface with buttons can be displayed toward the user in an easily visible manner, the operability of the buttons can be improved.
  • the display surface is visible only from a position that is equal to or less than the viewing angle, which is an angle with respect to a virtual straight line that passes through the center of the display surface and is orthogonal to the display surface. Therefore, since the display surface cannot be visually recognized from a position at an angle exceeding the viewing angle, it is possible to prevent a person other than the user from visually recognizing the display surface from the surroundings. Therefore, it is possible to give the user a sense of security that the operation input cannot be seen from the surroundings, and it is possible to improve the operability.
  • the above-mentioned viewing angle may be 20 ° or less. In this case, the possibility that the display surface is visually recognized from the surroundings can be further reduced, so that the user can be further relieved.
  • the above-mentioned aerial operation device has a determination unit that determines whether or not a button has been pressed based on the position of an object detected by a sensor, and a notification that notifies the user of the aerial operation device of the determination result of the determination unit.
  • a unit and may be provided.
  • the notification unit may control the display device to change the display mode of the button. In this case, the display mode of the button is changed when it is determined that the position of the object is the position of the button. Therefore, it is possible to notify the user that the button is pressed correctly, so that the operability of the button can be improved.
  • the above-mentioned aerial operation device includes a position detection unit that detects the position of the user, and a rotating unit that rotates the aerial imaging device so that the display surface displayed by the aerial imaging device faces the user. You may. In this case, even if the user is not at a predetermined position, the position detection unit detects the user's position and the rotating unit rotates the aerial imaging device to display the display surface. It is possible to face up to. Therefore, it contributes to further improvement of operability.
  • the aerial operation device includes a display device that irradiates light to display information, and an aerial device that reflects light from the display device multiple times to display a display surface with a button as a virtual image in the air. It is an aerial operation device including an imaging device and a sensor that detects the position of an object approaching a button.
  • the aerial operation device includes a determination unit that determines whether or not a button has been pressed based on the position of an object detected by the sensor, and a notification unit that notifies the user of the aerial operation device of the determination result of the determination unit. , Equipped with.
  • the notification unit controls the display device to change the display mode of the button to the first mode.
  • the notification unit controls the display device to display the button in a different mode from the first mode. Change to 2 mode.
  • the determination unit determines whether or not the button has been pressed, and the notification unit notifies the user of the aerial operation device of the determination result by the determination unit.
  • the notification unit changes the display mode of the button to the first mode when the position of the object detected by the sensor is inside the outer edge of the button. Therefore, the user can know that the button has been correctly pressed by seeing that the display mode of the button has been changed to the first mode, so that the operability of the button can be improved.
  • the notification unit changes the display mode of the button to the second mode when the position of the object detected by the sensor is outside the outer edge or the outer edge of the button.
  • the display mode of the button is changed to the second mode, so that the user can be notified that the button is not pressed correctly. Therefore, it is possible to urge the user to press the button correctly, which contributes to further improvement of operability.
  • FIG. 1 is a plan view showing an application example of the aerial operation device 1 as an example according to the embodiment.
  • FIG. 2 is a perspective view showing the aerial operation device 1.
  • the aerial operation device 1 as an example is provided attached to an automated teller machine A (ATM).
  • ATM automated teller machine A
  • the position P of the user M of the aerial operation device 1 is determined in advance, and the aerial operation device 1 is arranged toward the position P.
  • the aerial operation device 1 is arranged diagonally forward to the right when viewed from the user M located at the position P.
  • the aerial operation device 1 can be easily operated with the right hand, which contributes to further improvement of operability.
  • the aerial operation device 1 displays the display surface 10 which is a virtual image toward the user M.
  • the display surface 10 has a viewing angle ⁇ which is an angle with respect to a virtual straight line L extending from the center O of the display surface 10 in the front direction (direction orthogonal to the display surface 10) of the user M.
  • the display surface 10 is visible only from a position having a viewing angle ⁇ or less.
  • the display surface 10 cannot be visually recognized from a position exceeding the viewing angle ⁇ . Therefore, it is possible to prevent the display surface 10 from being peeped from the person N behind the user M.
  • the viewing angle ⁇ is, for example, 20 °.
  • FIG. 2 is a perspective view showing the aerial operation device 1.
  • FIG. 3 is a vertical sectional view schematically showing the internal structure of the aerial operation device 1. As shown in FIGS. 2 and 3, the aerial operating device 1 as an example exhibits a columnar shape. The aerial operating device 1 extends in the first direction D1, the second direction D2, and the third direction D3.
  • the first direction D1 corresponds to the depth direction (front-back direction) of the aerial operation device 1.
  • the second direction D2 corresponds to the width direction of the aerial operation device 1.
  • the third direction D3 corresponds to the height direction of the aerial operating device 1.
  • the length (height) of the third direction D3 of the aerial operating device 1 is the length (depth) of the first direction D1 of the aerial operating device 1 and the length of the second direction D2 of the aerial operating device 1. Longer than (width). This makes it possible to further improve the visibility of the display surface 10 to the user M.
  • the relationship between the length of the first direction D1 of the aerial operating device 1, the length of the second direction D2 of the aerial operating device 1, and the length of the third direction D3 of the aerial operating device 1 is limited to the above example. It is not particularly limited.
  • the direction toward the user M side when viewed from the aerial operation device 1 is the front or front side
  • the direction toward the opposite side of the user M when viewed from the aerial operation device 1 is the rear or rear side.
  • the side sometimes referred to as the side.
  • these directions are for convenience of explanation and do not limit the arrangement of parts and the like.
  • the aerial operation device 1 includes a housing 2 constituting the outer surface of the aerial operation device 1.
  • the housing 2 has, for example, an upper surface 2b, a pair of side surfaces 2c, a front surface 2d, a back surface 2f, and a lower surface 2g.
  • the upper surface 2b faces vertically upward, and the pair of side surfaces 2c are arranged along the second direction D2.
  • the front surface 2d faces one side of the first direction D1, and the back surface 2f faces the other side of the first direction D1.
  • the lower surface 2g faces vertically downward.
  • the housing 2 has an inclined surface 2h located above the front surface 2d.
  • the inclined surface 2h is formed with, for example, a rectangular opening in which the aerial imaging device 14, which will be described in detail later, is exposed.
  • the inclined surface 2h is directed diagonally upward, for example.
  • the display surface 10 imaged by the aerial imaging device 14 is displayed at a position closer to the user M than the inclined surface 2h. Therefore, the visibility of the display surface 10 can be improved.
  • the aerial operation device 1 displays a display surface 10 with a button 11 in the air.
  • the button 11 on the display surface 10 is a button for operating the automatic teller machine A.
  • the display surface 10 with the button 11 is an aerial floating image displayed so as to stand out in the air. That is, the display surface 10 with the button 11 is displayed as a virtual image in the air. Therefore, the user M of the aerial operation device 1 does not have to directly touch the touch panel or the like, so that the automatic teller machine A can be operated hygienically.
  • the display surface 10 includes a plurality of buttons 11. It is possible for the user M to operate the automatic teller machine A by operating the plurality of buttons 11.
  • a sensor 3 for detecting an object F approaching the button 11 is embedded in the housing 2.
  • the "object” refers to an object that operates a device such as an automated teller machine A by operating a button 11.
  • the "object” is, for example, the finger of the user M.
  • the aerial operation device 1 includes, for example, a plurality of sensors 3.
  • the sensor 3 is provided, for example, corresponding to the button 11.
  • Each button 11 is displayed diagonally above the sensor 3.
  • the number of buttons 11 and sensors 3 is 12.
  • the display surface 10 is displayed at a position closer to the user M than the aerial imaging device 14, and is displayed diagonally above the aerial imaging device 14. As a result, the display surface 10 can be easily visually displayed for the user M.
  • the display surface 10 may be illuminated. In this case, the display surface 10 can be easily visually recognized regardless of the brightness of the surroundings.
  • the display surface 10 has a shape that extends vertically, for example. As an example, the display surface 10 is displayed in a rectangular shape. The vertical length of the display surface 10 is longer than the horizontal length of the display surface 10. However, the shape and size of the display surface 10 are not limited to the above examples and are not particularly limited.
  • the display surface 10 may display something other than the button 11.
  • the display surface 10 may include a plurality of buttons 11 and character information.
  • the character information may include at least one of date information and time information.
  • buttons 11 are displayed so as to be arranged in a grid pattern.
  • the plurality of buttons 11 are displayed as a numeric keypad. In this case, by pressing the button 11 of the aerial operation device 1, it is possible to specify the withdrawal amount, the deposit amount, the transfer amount or the password to the automatic teller machine A.
  • the shape of the button 11 is, for example, a square shape (as an example, a rectangular shape with rounded corners). However, the shape of the button 11 may be circular, oval, or polygonal, and is not particularly limited.
  • the button 11 may include at least one of an enter button and a back button. In this case, the enter button corresponds to the button for deciding the operation, and the back button corresponds to the button to return before the operation.
  • the type of the button 11 is not limited to each of the above examples and is not particularly limited.
  • the aerial operation device 1 includes an aerial imaging device 14 for displaying a display surface 10 with a button 11, a display device 15 arranged inside the housing 2, and a control unit 20.
  • the aerial imaging device 14 and the display device 15 correspond to a virtual image display unit that displays the display surface 10 as a virtual image in the air.
  • the aerial imaging device 14 is, for example, a retroreflective member (retroreflective mirror) fixed to an opening formed in the inclined surface 2h of the housing 2.
  • the display device 15 is arranged diagonally with respect to the aerial imaging device 14.
  • the display device 15 is a liquid crystal display (LCD).
  • the display device 15 is arranged at a position behind the aerial imaging device 14 inside the housing 2.
  • the display device 15 has a screen for displaying an image.
  • the screen of the display device 15 irradiates, for example, light C as an image diagonally downward toward the aerial imaging device 14.
  • the aerial imaging device 14 reflects the light C from the display device 15 a plurality of times (for example, twice) inside the aerial imaging device 14.
  • the aerial imaging device 14 forms an image of the display surface 10 in a space in front of the aerial imaging device 14 when viewed from the user M.
  • the sensor 3 may be exposed so as to face diagonally upward on the inclined surface 2h of the housing 2, for example.
  • the sensor 3 is a depth sensor.
  • the sensor 3 is provided on a virtual straight line extending from the button 11, that is, in a position in front of the button 11 which is a virtual image.
  • the sensor 3 acquires distance image data including information on the position (two-dimensional position) of the object F on a plane perpendicular to the virtual straight line and information on the distance K from the sensor 3 to the object F.
  • the sensor 3 acquires, for example, distance image data.
  • the sensor 3 outputs the acquired distance image data to the control unit 20 at a predetermined cycle (for example, 1/30 second).
  • the sensor 3 irradiates each point on the object existing in the photographing region including the object F with a light ray (or infrared ray), and receives the light ray reflected from each point on the object.
  • the sensor 3 measures the distance between the sensor 3 and each point on the object based on the received light beam, and outputs the measured distance for each pixel.
  • the distance between the sensor 3 and each point on the object may be measured by, for example, the Light Coding method.
  • the sensor 3 irradiates each point on the object existing in the photographing region including the object F with a light ray in a random dot pattern.
  • the sensor 3 receives light rays reflected from each point on the object and detects the distortion of the pattern of the reflected light rays to measure the distance between the sensor 3 and each point on the object.
  • the sensor 3 detects the information on the two-dimensional position of each point on the object and the information on the distance from the sensor 3 to each point on the object as a plurality of pixels, and outputs the detected plurality of pixels to the control unit 20. do.
  • the control unit 20 is capable of communicating with each of the sensor 3 and the display device 15.
  • the control unit 20 includes, for example, a CPU (Central Processing Unit) for executing a program, a storage unit including a ROM (ReadOnlyMemory) and a RAM (RandomAccessMemory), an input / output unit, and a driver.
  • a CPU Central Processing Unit
  • ROM ReadOnlyMemory
  • RAM RandomAccessMemory
  • Each function of the control unit 20 is realized by operating the input / output unit under the control of the CPU and reading or writing data in the storage unit.
  • the form and location of the control unit 20 are not particularly limited.
  • FIG. 4 is a functional block diagram of the control unit 20.
  • the control unit 20 has, as functional components, an image output unit 21, an object detection unit 22, a position detection unit 23, a determination unit 24, and a signal output unit 25. And a rotating unit 26, and a notification unit 27.
  • the image output unit 21 outputs a control signal of image data of an image to be displayed on the display device 15 to the display device 15.
  • the display device 15 can display various types of images based on the control signal of the image data from the image output unit 21.
  • the object detection unit 22 detects the object F based on the distance image data output from the sensor 3.
  • the position detection unit 23 generates position data indicating the position of the object F detected by the object detection unit 22.
  • the position detection unit 23 detects the position of the user M by detecting the position of the object F approaching the button 11.
  • the position detection unit 23 outputs the generated position data to the determination unit 24.
  • the determination unit 24 determines whether or not the button 11 is pressed by the object F based on the position of the object F detected by the object detection unit 22. Specifically, the determination unit 24 determines whether or not the distance K between the sensor 3 and the object F is equal to or less than the threshold value Y. When the determination unit 24 determines that the distance K is equal to or less than the threshold value Y, the determination unit 24 determines that the object F has reached the virtual pressing determination surface Z and the button 11 has been pressed.
  • the pressing determination surface Z is a virtual surface formed on a portion where the distance from the sensor 3 is constant.
  • the pressing determination surface Z is provided at a position close to the button 11.
  • the position of the pressing determination surface Z may be the same as the position of the button 11, or may be a position separated from the button 11 by a predetermined distance.
  • the signal output unit 25 When the determination unit 24 determines that the button 11 has been pressed, the signal output unit 25 generates a control signal based on the operation of pressing the button 11. The signal output unit 25 outputs the generated control signal to an external device of the aerial operation device 1. The signal output unit 25 operates the device by outputting a control signal to a device (for example, an automatic teller machine A) outside the aerial operation device 1.
  • a device for example, an automatic teller machine A
  • the rotating unit 26 outputs a control signal to the rotating device 30 located outside the aerial operating device 1 to rotate the aerial operating device 1.
  • the rotating device 30 rotates the aerial operating device 1 around the axis X that passes through the center G of the upper surface 2b of the housing 2 and extends in the third direction D3.
  • the rotating unit 26 rotates the aerial imaging device 14 so that the display surface 10 faces the position of the user M detected by the position detecting unit 23. Even if the user M is at a position different from the predetermined position P, the display surface 10 is directed toward the user M, which contributes to further improvement of the visibility of the display surface 10.
  • the notification unit 27 receives an operation signal from the determination unit 24 when the determination unit 24 determines that the button 11 has been pressed.
  • the notification unit 27 is a notification means for notifying the user M that the button 11 has been operated when the determination unit 24 determines that the button 11 has been operated.
  • the notification unit 27 has, for example, a voice output unit 27b and a color change unit 27c.
  • the audio output unit 27b is a speaker.
  • the voice output unit 27b outputs voice when the determination result is received from the determination unit 24.
  • the user M hears the voice from the voice output unit 27b, the user M can grasp that the button 11 has been operated.
  • the color changing unit 27c generates a color changing signal when receiving an operation signal from the determination unit 24, and outputs the color changing signal to the display device 15.
  • the display device 15 When the display device 15 receives the color change signal from the color change unit 27c, for example, the display device 15 changes the color of the button 11 pressed by the user M. When the user M visually recognizes that the color of the button 11 has been changed, the user M can grasp that the button 11 has been pressed.
  • the display device 15 may change the color of a portion other than the button 11 when the color change signal is received from the color change unit 27c.
  • the user M can grasp that the button 11 has been pressed.
  • at least one of the voice output unit 27b and the color change unit 27c may be omitted.
  • the notification unit 27 may notify the user M that the button 11 has been pressed in a manner different from the voice output by the voice output unit 27b or the color change by the color change unit 27c.
  • the above-mentioned pressing determination surface Z may include the first position S1 and the second position S2.
  • the first position S1 is a surface provided at a position closer to the user M than the display surface 10
  • the second position S2 is a surface provided at a position farther from the user M than the display surface 10.
  • the notification unit 27 controls the display device 15 to display the approach target button 11. To the first mode.
  • Changing the display mode of the button means, for example, changing the approach target button 11 of the object F to a color different from that of the other buttons 11. It indicates at least one of changing the size of the button 11 to be approached by F to a size different from that of the other buttons 11 (increasing the size as an example) and outputting voice.
  • the signal output unit 25 is an external device of the aerial operation device 1. Outputs a control signal to. As a result, an external device of the aerial operation device 1 operates.
  • the notification unit 27 controls the display device 15 to display the approach target button 11. Is changed to a second mode different from the first mode.
  • Changing the display mode of the button to the second mode means, for example, changing the color of the button 11 to be approached to a color different from that of the first mode, and changing the size of the button 11 to be approached to the first mode. Indicates at least one of changing to a different size and outputting a sound different from that of the first mode.
  • FIG. 6 is a diagram for explaining an example different from that of FIG.
  • the notification unit 27 may change the content of the notification to the user M according to the position of the display surface 10 to which the object F approaches.
  • the determination unit 24 determines that the position of the object F detected by the sensor 3 is inside the outer edge of the button 11, the notification unit 27 controls the display device 15 to display the button 11 to be approached. The aspect is changed to the first mode.
  • the notification unit 27 may change the color of the approaching target button 11 to a bluish color.
  • the notification unit 27 may change the button 11 at the position of the object F to a bluish color. In this case, the user M can grasp that the target button 11 is correctly pressed.
  • the notification unit 27 controls the display device 15 to display the button 11 when the determination unit 24 determines that the position of the object F detected by the sensor 3 is the outer edge of the button 11 or the outer edge of the button 11.
  • the aspect is changed to a second mode different from the first mode.
  • the notification unit 27 changes the color of the approaching button 11 to a reddish color or a yellowish color. May be changed to.
  • the notification unit 27 changes the button 11 at the position of the object F to a reddish color or a yellowish color. You may. In this case, the user M can grasp that the target button 11 is not pressed correctly, and can warn the user M to press the button 11 correctly.
  • FIG. 7 shows a button 11 having a different arrangement from that of FIG. In FIG. 7, a plurality of buttons 11 are arranged so as to come into contact with each other. Even in the case of FIG. 7, when it is determined that the position of the object F is the position a, the position c, or the position e, the notification unit 27 changes the button 11 at the position of the object F to a bluish color. When it is determined that the position of the object F is the position b, the position d, or the position f, the notification unit 27 changes the button 11 at the position of the object F to a reddish color or a yellowish color. As a result, the same effect as in the case of FIG. 6 can be obtained.
  • the aerial imaging device 14 displays a display surface 10 with a button 11 as a virtual image in the air.
  • the sensor 3 detects the position of an object F such as a finger approaching the button 11.
  • the determination unit 24 determines whether or not the button 11 is pressed based on the position of the object F detected by the sensor 3.
  • the notification unit 27 notifies the user M of the aerial operation device 1 of the determination result of the determination unit 24. Therefore, since the user M can grasp whether or not the button 11 has been pressed, the operability of the button 11 can be improved.
  • the notification unit 27 sets the display mode of the button 11 to the first mode when the determination unit 24 determines that the position of the object F detected by the sensor 3 is the first position S1. change. Therefore, the user M can grasp that the position of the object F has reached the first position S1 by changing the display mode of the button 11. Therefore, it is possible to give the user a sense of security that the button 11 can be pressed correctly.
  • the signal output unit 25 When the position of the object F detected by the sensor 3 is at the second position S2 closer to the sensor 3 than the first position S1, the signal output unit 25 outputs a control signal to the device. Therefore, the device can be operated when the user M pushes the object F into the second position S2 rather than the first position S1. In this way, by changing the display mode of the button 11 when the object F is in the first position S1, it is possible to give the user M a sense of security that the button 11 is pressed. The device can be operated when the object F is in the second position S2. Therefore, the operability of the button 11 can be improved.
  • the notification unit 27 controls the display device 15 to set the display mode of the button 11 as the first mode. May be changed to a different second mode.
  • the device can be operated and the display mode of the button 11 can be changed from the first mode to the second mode. Therefore, since the display mode of the button 11 changes as the device is operated, the user M can grasp that the button 11 is correctly pressed and the device is operating.
  • the aerial imaging device 14 displays the display surface 10 so that the display surface 10 faces the user M at the predetermined position P. Therefore, since the display surface 10 with the button 11 can be displayed toward the user M in an easily visible manner, the operability of the button 11 can be improved.
  • the display surface 10 is visible only from a position that is equal to or less than the viewing angle ⁇ , which is an angle with respect to the virtual straight line L that passes through the center O of the display surface 10 and is orthogonal to the display surface 10. Therefore, since the display surface 10 cannot be visually recognized from a position at an angle exceeding the viewing angle ⁇ , it is possible to prevent a person N other than the user M from visually recognizing the display surface 10 from the surroundings. Therefore, it is possible to give the user M a sense of security that the operation input cannot be seen from the surroundings, and it is possible to improve the operability.
  • the viewing angle ⁇ may be 20 ° or less. In this case, since the possibility that the display surface 10 is visually recognized from the surroundings can be further reduced, the user M can be given a further sense of security.
  • the aerial operation device 1 uses the determination unit 24 for determining whether or not the button 11 is pressed based on the position of the object F detected by the sensor 3, and the determination result of the determination unit 24 for the aerial operation device 1.
  • a notification unit 27 for notifying the person M may be provided. Even if the notification unit 27 controls the display device 15 to change the display mode of the button 11 when the determination unit 24 determines that the position of the object F detected by the sensor 3 is the position of the button 11. good. In this case, when it is determined that the position of the object F is the position of the button 11, the display mode of the button 11 is changed. Therefore, since it is possible to notify the user M that the button 11 is correctly pressed, the operability of the button 11 can be improved.
  • the aerial operation device 1 rotates the aerial imaging device 14 so that the position detection unit 23 for detecting the position of the user M and the display surface 10 displayed by the aerial imaging device 14 face the user M.
  • a unit 26 may be provided. In this case, even if the user M is not at the predetermined position P, the position detecting unit 23 detects the position of the user M and the rotating unit 26 rotates the aerial imaging device 14. This makes it possible to make the display surface 10 face the user M. Therefore, it contributes to further improvement of operability.
  • the determination unit 24 determines whether or not the button 11 is pressed, and the notification unit 27 uses the aerial operation device 1 to notify the determination result by the determination unit 24. Notify person M.
  • the notification unit 27 changes the display mode of the button 11 to the first mode when the position of the object F detected by the sensor 3 is inside the outer edge of the button 11. Therefore, the user M can grasp that the button 11 has been correctly pressed by seeing that the display mode of the button 11 has been changed to the first mode, and can improve the operability of the button 11. can.
  • the notification unit 27 changes the display mode of the button 11 to the second mode when the position of the object F detected by the sensor 3 is outside the outer edge or the outer edge of the button 11. Therefore, when the outer edge of the button 11 or the outer edge of the outer edge of the button 11 is pressed, the display mode of the button 11 is changed to the second mode. This makes it possible to notify the user M that the button 11 has not been pressed correctly. Therefore, the user M can be urged to press the button 11 correctly, which contributes to further improvement of operability.
  • the aerial operation device according to the present disclosure has been described above.
  • the aerial operation device according to the present disclosure is not limited to the above-described embodiment, and may be modified or applied to other objects without changing the gist described in each claim. good.
  • the configuration, shape, size, number, material, and arrangement mode of each part of the aerial operation device can be appropriately changed without changing the above-mentioned gist.
  • the sensor 3 may measure the distance between the sensor 3 and each point on the object by a TOF (Time Of Flight) method.
  • TOF Time Of Flight
  • the sensor 3 calculates the flight time (delay time) of the light beam until it reaches the sensor 3 by reflecting the light beam at each point on the object, and the sensor is based on the calculated flight time and the speed of the light. Measure the distance between 3 and each point on the object. Even in such a form, the same effect as that of the above-described embodiment can be obtained.
  • the type of sensor is not limited to the depth sensor. That is, an infrared sensor, an ultrasonic sensor, or the like may be provided instead of the sensor 3 which is a depth sensor.
  • the type of sensor can be changed as appropriate.
  • an example in which the display device 15 and the aerial imaging device 14 display the display surface 10 having a plurality of buttons 11 constituting the numeric keypad has been described.
  • the layout of the buttons and the like on the display surface is not limited to the above example and can be changed as appropriate.
  • FIG. 8 is a perspective view showing the aerial operation device 41 according to the modified example.
  • FIG. 9 is a perspective view showing a state in which the aerial operation device 41 is displaying the display surface 50 with the button 51 in the air.
  • the aerial operation device 41 is provided in the toilet T.
  • the button 51 on the display surface 50 is a button for operating each part of the toilet T.
  • the display surface 50 with the button 51 is an aerial floating image displayed so as to float in the air, similar to the display surface 10 described above. Therefore, the user of the aerial operation device 41 does not have to directly touch the button or the like, so that each part of the toilet T can be operated hygienically.
  • the toilet T includes a toilet bowl B and a wall portion W adjacent to the toilet bowl B.
  • the wall portion W is provided on the right side when viewed from the user seated on the toilet bowl B.
  • An aerial operation device 41 and toilet paper E are fixed to the exemplary wall portion W, and a washbasin R may be provided.
  • the toilet bowl B has, for example, a washlet (registered trademark), and the washlet of the toilet T can be operated from the button 51 on the display surface 50.
  • the display surface 50 includes a plurality of buttons 51. It is possible for the user to operate each part of the washlet by operating a plurality of buttons 51.
  • the aerial operation device 41 is fixed to the wall portion W, for example.
  • the aerial operation device 41 may be embedded in the wall portion W or may be detachable from the wall portion W.
  • the aerial operation device 41 includes a housing 42 and a protruding portion 43 protruding from the lower part of the housing 42.
  • a plurality of sensors 52 for detecting an object F approaching the button 51 are embedded in the protrusion 43.
  • the sensor 52 is provided corresponding to the button 51.
  • Each button 51 is displayed diagonally above each sensor 52.
  • the number of buttons 51 and sensors 3 is 7.
  • the display surface 50 is displayed so as to be directed diagonally upward with respect to both the vertical direction A1 of the aerial operation device 41 and the projecting direction A3 from the wall portion W. This makes it easier for the user to visually recognize the display surface 50.
  • the display surface 50 has a shape that extends long in the left-right direction A2, for example. As an example, the display surface 50 is displayed in a rectangular shape.
  • the vertical length Z1 of the display surface 50 is shorter than the horizontal length Z2 of the display surface 50. Assuming that the aspect ratio of the length Z1 and the length Z2 is 1: X (X is a real number), for example, the value of X is 2 or more and 10 or less.
  • the lower limit of the value of X may be 3, and the upper limit of the value of X may be 5, 6, 7, 8 or 9.
  • the value of X above may be 4, and the aspect ratio of the length Z1 and the length Z2 may be 1: 4.
  • the button 51 has a rectangular shape, for example.
  • the button 51 may have a square shape.
  • the length of one side of the button 51 is, for example, 18 mm or more and 24 mm or less.
  • the shape and size of the button 51 can be changed as appropriate.
  • the display surface 50 may display something other than a plurality of buttons 51.
  • the display surface 50 may include a plurality of buttons 51 and character information 53.
  • the character information 53 may include at least one of date information, time information, temperature information, temperature information, and barometric pressure information.
  • a plurality of buttons 51 are displayed so as to be arranged in the horizontal direction on the lower side of the display surface 50.
  • Character information 53 may be displayed above the plurality of buttons 51.
  • the button 51 may be arranged so that the center 51b is located at a position deviated from the center 50b of the display surface 50.
  • each of the plurality of buttons 51 is displayed at a position offset from the reference line V extending in the longitudinal direction (lateral direction) of the display surface 50 while passing through the center 50b.
  • FIG. 10 is a vertical cross-sectional view showing the housing 42 and the protrusion 43.
  • the housing 42 has a horizontally elongated box shape.
  • the housing 42 has a front surface 42b, a pair of left and right side surfaces 42c, an upper surface 42d, and a lower surface 42f.
  • the front surface 42b extends in the vertical direction A1 and the horizontal direction A2 in a state of being attached to the wall portion W
  • the side surface 42c extends in the vertical direction A1 and the projecting direction A3 from the wall portion W.
  • the upper surface 42d extends in the left-right direction A2 and the protruding direction A3, and the lower surface 42f faces the opposite side of the upper surface 42d.
  • the protruding portion 43 has a rectangular plate shape, for example.
  • the protrusion 43 has a main surface 43b, an end surface 43c, and a back surface 43d.
  • the main surface 43b protrudes from the lower side of the front surface 42b and is directed upward, and the end surface 43c faces the left-right direction A2 or the protruding direction A3.
  • the back surface 43d faces the opposite side of the main surface 43b.
  • the sensor 52 is built in the protrusion 43. This makes it easier for the sensor 52 to detect the object F.
  • the aerial operation device 41 includes an aerial imaging device 54 that displays a display surface 50 with a button 51, a display device 55 arranged inside the housing 42, and a control unit 60.
  • Each of the aerial imaging device 54, the display device 55, and the control unit 60 is the same as, for example, the above-mentioned aerial imaging device 14, the display device 15, and the control unit 20.
  • the aerial imaging device 54 is, for example, a retroreflective mirror fixed to an opening 42g located inside the front surface 42b of the housing 42.
  • the opening 42g is defined by, for example, a pair of first plate portions 42h constituting the front surface 42b of the housing 42 and a pair of second plate portions 42j fixed to the inside of the housing 42 of the first plate portion 42h. Will be done.
  • the first plate portion 42h and the second plate portion 42j are provided in a pair of upper and lower plates.
  • the aerial imaging device 54 is fixed to the housing 42 in a state of being sandwiched between the first plate portion 42h and the second plate portion 42j.
  • the aerial imaging device 54 has, for example, a rectangular shape having a long side extending in the left-right direction A2 and a short side extending in the vertical direction A1. Each of one long side and the other long side of the aerial imaging device 54 is sandwiched between the first plate portion 42h and the second plate portion 42j.
  • the display device 55 is arranged obliquely with respect to the aerial imaging device 54.
  • the display device 55 is arranged diagonally above the aerial imaging device 54 inside the housing 42.
  • the screen of the display device 55 irradiates, for example, light C as an image diagonally downward toward the aerial imaging device 54.
  • the aerial imaging device 54 reflects the light C from the display device 55 a plurality of times (for example, twice) inside.
  • the aerial imaging device 54 forms an image of the display surface 50 in a space in front of the aerial imaging device 54 when viewed from the operator.
  • the sensor 52 may be exposed on the main surface 43b of the protrusion 43, for example.
  • the sensor 52 is provided on a virtual straight line extending from the button 51, that is, in a position in front of the button 51 which is a virtual image.
  • the configuration and function of the sensor 52 are the same as the configuration and function of the sensor 3 described above.
  • the aerial operation device 41 of the modified example provided in the toilet T has been described.
  • the same effect as that of the aerial operation device 1 can be obtained from the aerial operation device 41.
  • the operation input device according to the present disclosure can be further modified with respect to the aerial operation device 41 according to the modification.
  • the aerial operation device 41 provided in the toilet T has been described.
  • the aerial operation device according to the present disclosure may be provided in a kitchen, a water supply, a hospital, a public institution, a station, an airport, or the like.
  • the display surface with buttons is displayed as a virtual image in the air, so that the cooking application can be operated without directly touching the display with a finger or the like to which ingredients are attached. That is, in the past, in order to touch the display of a mobile terminal or the like, the cooking application displayed on the display was operated after washing the hands.
  • the display surface with buttons is displayed as a virtual image in the air, the cooking application can be operated by operating the buttons in the air. Therefore, since the cooking application can be operated without having to bother to wash the hands, the operation input device can be made with high operability.
  • a display surface with a button is displayed as a virtual image in the air, so that the ATM or the display can be displayed without direct contact with the shared display. It is possible to operate reception machines at hospitals or airports. Therefore, it is possible to eliminate the need for finger contact with the shared display, and the operation can be performed hygienically.
  • N ... person, O ... center, P ... position, R ... washstand, S1 ... first 1 position, S2 ... 2nd position, T ... toilet, V ... reference line, W ... wall, X ... axis, Y ... threshold, Z ... pressing determination surface, ⁇ ... viewing angle.

Abstract

一実施形態に係る空中操作装置は、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを判定する判定部と、空中操作装置の外部の機器に制御信号を出力して機器の動作を制御する信号出力部と、判定部の判定結果を空中操作装置の使用者に通知する通知部と、を備える。通知部は、センサによって検出された対象物の位置が第１位置であると判定部が判定したときに、表示装置を制御してボタンの表示態様を第１モードに変更する。センサによって検出された対象物の位置が第１位置よりもセンサ寄りの第２位置であると判定部が判定したときに、信号出力部が機器に制御信号を出力する。

Description

空中操作装置
　本開示は、空中に虚像として表示された表示面に対する操作が行われる空中操作装置に関する。
　本出願は、２０２０年１１月３０日の日本出願第２０２０－１９８７３２号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
　特開２０１８－２０６１４９号公報には、空間に結像された画像に対してユーザが指等の指示体を近づけていることを認識し、その旨をユーザに通知する入力装置が記載されている。入力装置は、立体画像表示部と、指示体の位置を検出する位置検出センサと、発光部と、拡散板と、音出力部と、制御部とを備える。立体画像表示部は、ユーザにより視認される立体画像をスクリーンがない空間に結像する。
　制御部は、距離算出部と、報知制御部とを備える。距離算出部は、位置検出センサによって検出された指示体の位置と位置検出センサとの距離を算出する。報知制御部は、距離算出部によって算出された指示体と位置検出センサとの距離に応じて発光部及び音出力部によるユーザに対する報知方法を変化させる制御を行う。発光部は、立体画像表示部によって表示される立体画像の下部に配置される。発光部の発光に伴って立体画像が明るく表示される。
　報知制御部は、指示体と立体画像表示部によって表示される立体画像との距離が短いほど、より輝度が高い光を投射するように発光部に対して指示を出力する。報知制御部は、指示体と当該立体画像との距離が短いほどより大きな音量の音を出力するように音出力部に対して指示を出力する。発光部から投射された光、又は音出力部から出力された音を用いて、指示体が立体画像に近づいていることをユーザに報知することが可能となっている。その結果、指示体を介した入力操作を入力装置が認識していることをユーザが認識することが可能となる。
特開２０１８－２０６１４９号公報
　前述した入力装置では、指示体と立体画像との距離が短いほど出力される光又は音が大きくなる。しかしながら、光又は音は当該距離に応じて徐々に変化するものであるため、使用者は、立体画像を正しく押せているかどうかを把握しづらいという問題が生じうる。発光部の発光が強くなると、当該発光部からの光を受ける立体画像がより明るく表示される。このため、周囲から操作入力を見られないようにする必要がある場合がある。その結果、使用者による操作が煩雑となりうるため、操作性の点で改善の余地がある。
　本開示は、操作性を向上させることができる空中操作装置を提供することを目的とする。
　本開示の一側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置である。空中操作装置は、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを判定する判定部と、空中操作装置の外部の機器に制御信号を出力して機器の動作を制御する信号出力部と、判定部の判定結果を空中操作装置の使用者に通知する通知部と、を備える。通知部は、センサによって検出された対象物の位置が第１位置であると判定部が判定したときに、表示装置を制御してボタンの表示態様を第１モードに変更する。センサによって検出された対象物の位置が第１位置よりもセンサ寄りの第２位置であると判定部が判定したときに、信号出力部が機器に制御信号を出力する。
　空中操作装置では、空中結像デバイスが空中に虚像としてボタン付きの表示面を表示し、センサがボタンに接近する指等の対象物の位置を検出する。判定部はセンサによって検出された対象物の位置に基づいてボタンが押されたか否かを判定する。通知部は判定部の判定結果を空中操作装置の使用者に通知する。従って、使用者は、ボタンが押されたか否かを把握することができるので、ボタンの操作性を向上させることができる。通知部は、センサによって検出された対象物の位置が第１位置であると判定部が判定したときにボタンの表示態様を第１モードに変更する。ボタンの表示態様が変更されることによって対象物の位置が第１位置に到達したことを使用者が把握できる。よって、ボタンを正しく押せているという安心感を使用者に与えることができる。更に、センサによって検出された対象物の位置が第１位置よりもセンサ寄りの第２位置にあるときに信号出力部が機器に制御信号を出力する。よって、使用者が第１位置よりも対象物を第２位置に押し込んだときに機器を動作させることができる。このように、対象物が第１位置にあるときにボタンの表示態様を変更することでボタンが押された安心感を使用者に与えることができ、対象物が第２位置にあるときに機器を動作させることができる。従って、ボタンの操作性を向上させることができる。
　通知部は、センサによって検出された対象物の位置が第２位置であると判定部が判定したときに、表示装置を制御してボタンの表示態様を第１モードとは異なる第２モードに変更してもよい。この場合、対象物が第１位置から第２位置まで押し込まれたときに、機器を動作させると共に、ボタンの表示態様を第１モードから第２モードに変更することができる。従って、機器を動作させると共にボタンの表示態様が変わるので、使用者はボタンが正しく押されており機器が動作していることを把握できる。
　本開示の別の側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置である。空中操作装置を操作する使用者の位置が予め定められている。空中結像デバイスは、予め定められた位置に位置する使用者に正対するように表示面を表示する。表示面は、表示面の中心を通り且つ表示面に直交する仮想直線に対する角度である視野角以下である位置からのみ視認可能とされている。
　空中操作装置では、表示面が予め定められた位置にいる使用者に正対するように空中結像デバイスが表示面を表示する。従って、視認しやすい態様でボタン付きの表示面を使用者に向けて表示できるので、ボタンの操作性を向上させることができる。表示面は、表示面の中心を通り且つ表示面に直交する仮想直線に対する角度である視野角以下である位置からのみ視認可能とされている。従って、視野角を超える角度の位置からは表示面を視認することができないので、使用者以外の人が周囲から表示面を視認することを抑制することができる。よって、周囲から操作入力を見られないという安心感を使用者に与えることができるので、操作性を向上させることができる。
　前述した視野角が２０°以下であってもよい。この場合、周囲から表示面が視認される可能性をより低減できるので、使用者に更なる安心感を与えることができる。
　前述した空中操作装置は、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを判定する判定部と、判定部の判定結果を空中操作装置の使用者に通知する通知部と、を備えてもよい。通知部は、センサによって検出された対象物の位置がボタンの位置であると判定部が判定したときに、表示装置を制御してボタンの表示態様を変更してもよい。この場合、対象物の位置がボタンの位置であると判定されたときにボタンの表示態様が変更される。従って、ボタンが正しく押されていることを使用者に通知することができるので、ボタンの操作性を向上させることができる。
　前述した空中操作装置は、使用者の位置を検出する位置検出部と、空中結像デバイスによって表示される表示面が使用者に正対するように空中結像デバイスを回転させる回転部と、を備えてもよい。この場合、仮に予め定められた位置に使用者がいなかった場合であっても、位置検出部が使用者の位置を検出し回転部が空中結像デバイスを回転させることにより、表示面を使用者に正対させることが可能となる。従って、更なる操作性の向上に寄与する。
　本開示の別の側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置である。空中操作装置は、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを判定する判定部と、判定部の判定結果を空中操作装置の使用者に通知する通知部と、を備える。通知部は、センサによって検出された対象物の位置がボタンの外縁よりも内側であると判定部が判定したときに、表示装置を制御してボタンの表示態様を第１モードに変更する。センサによって検出された対象物の位置がボタンの外縁又は外縁よりも外側であると判定部が判定したときに、通知部が表示装置を制御してボタンの表示態様を第１モードとは異なる第２モードに変更する。
　空中操作装置では、ボタンが押されたか否かを判定部が判定し、判定部による判定結果を通知部が空中操作装置の使用者に通知する。通知部は、センサによって検出された対象物の位置がボタンの外縁よりも内側であるときにボタンの表示態様を第１モードに変更する。従って、使用者は、ボタンの表示態様が第１モードに変更されたことを見てボタンが正しく押されたことを把握することができるので、ボタンの操作性を向上させることができる。通知部は、センサによって検出された対象物の位置がボタンの外縁又は外縁よりも外側であるときにボタンの表示態様を第２モードに変更する。よって、ボタンの外縁又は外縁よりも外側が押されたときにボタンの表示態様が第２モードに変更されることにより、ボタンが正しく押されていないことを使用者に通知することができる。従って、ボタンを正しく押すよう使用者に促すことができるので、更なる操作性の向上に寄与する。
　本開示によれば、操作性を向上させることができる。
実施形態に係る空中操作装置の適用例を模式的に示す平面図である。 実施形態に係る空中操作装置を示す斜視図である。 実施形態に係る空中操作装置の内部構造を模式的に示す縦断面図である。 実施形態に係る空中操作装置の機能を示すブロック図である。 対象物が第１位置にある場合、及び対象物が第２位置にある場合、のそれぞれのボタンの表示態様を模式的に示す図である。 ボタンの外縁の内側、外縁、及び外縁の外側の例を説明する図である。 ボタンの外縁の内側、外縁、及び外縁の外側の別の例を説明する図である。 変形例に係る空中操作装置の適用例を示す斜視図である。 変形例に係る空中操作装置がボタン付きの表示面を表示している状態を示す斜視図である。 変形例に係る空中操作装置の縦断面図である。
　以下では、本開示に係る空中操作装置の種々の実施形態について図面を参照しながら説明する。図面の説明において同一又は相当する要素には同一の符号を付し、重複する説明を適宜省略する。図面は、理解の容易化のため、一部を簡略化又は誇張して描いている場合があり、寸法比率及び角度等は図面に記載のものに限定されない。
　図１は、実施形態に係る一例としての空中操作装置１の適用例を示す平面図である。図２は、空中操作装置１を示す斜視図である。図１及び図２に示されるように、一例としての空中操作装置１は、現金自動預け払い機Ａ（ＡＴＭ：Automated teller Machine）に付属して設けられる。
　本実施形態では、予め空中操作装置１の使用者Ｍの位置Ｐが定められており、空中操作装置１は位置Ｐに向けて配置されている。例えば、空中操作装置１は、位置Ｐに位置する使用者Ｍから見て右斜め前に配置される。これにより、右手で簡単に空中操作装置１を操作できるので更なる操作性の向上に寄与する。
　空中操作装置１は、虚像である表示面１０を使用者Ｍに向けて表示する。表示面１０は、表示面１０の中心Ｏから使用者Ｍの正面方向（表示面１０に直交する方向）に延びる仮想直線Ｌに対する角度である視野角θを有する。表示面１０は、視野角θ以下である位置からのみ視認可能とされている。視野角θを超える位置からは表示面１０を視認することができない。従って、使用者Ｍの後方にいる人Ｎからの表示面１０ののぞき見を防止することができる。視野角θは、例えば、２０°である。
　図２は、空中操作装置１を示す斜視図である。図３は、空中操作装置１の内部構造を模式的に示す縦断面図である。図２及び図３に示されるように、一例としての空中操作装置１は、柱状を呈する。空中操作装置１は、第１方向Ｄ１、第２方向Ｄ２及び第３方向Ｄ３に延在する。
　第１方向Ｄ１は空中操作装置１の奥行方向（前後方向）に相当する。第２方向Ｄ２は空中操作装置１の幅方向に相当する。第３方向Ｄ３は空中操作装置１の高さ方向に相当する。一例として、空中操作装置１の第３方向Ｄ３の長さ（高さ）は、空中操作装置１の第１方向Ｄ１の長さ（奥行）、及び空中操作装置１の第２方向Ｄ２の長さ（幅）よりも長い。これにより使用者Ｍに対する表示面１０の視認性を一層高めることが可能となる。しかしながら、空中操作装置１の第１方向Ｄ１の長さ、空中操作装置１の第２方向Ｄ２の長さ、及び空中操作装置１の第３方向Ｄ３の長さ、の関係は上記の例に限られず特に限定されない。
　以降では、説明の便宜のため、空中操作装置１から見て使用者Ｍ側に向けられる方向を前又は前側、空中操作装置１から見て使用者Ｍの反対側に向けられる方向を後又は後側と称することがある。しかしながら、これらの方向は、説明の便宜上のものであり、部品の配置等を限定するものではない。
　空中操作装置１は、空中操作装置１の外面を構成する筐体２を備える。筐体２は、例えば、上面２ｂと、一対の側面２ｃと、前面２ｄと、背面２ｆと、下面２ｇとを有する。上面２ｂは鉛直上方を向き、一対の側面２ｃは第２方向Ｄ２に沿って並ぶ。前面２ｄは第１方向Ｄ１の一方側を向き、背面２ｆは第１方向Ｄ１の他方側を向く。下面２ｇは鉛直下方を向く。更に、筐体２は、前面２ｄの上側に位置する傾斜面２ｈを有する。
　傾斜面２ｈには、例えば、後に詳述する空中結像デバイス１４が露出する矩形状の開口が形成されている。傾斜面２ｈは、例えば、斜め上方に向けられている。空中結像デバイス１４によって結像される表示面１０は、傾斜面２ｈよりも使用者Ｍ寄りの位置に表示される。よって、表示面１０の視認性を高めることができる。
　空中操作装置１は、空中にボタン１１付きの表示面１０を表示する。例えば、表示面１０のボタン１１は、現金自動預け払い機Ａを操作するためのボタンである。ボタン１１付きの表示面１０は、空中に浮き出るように表示される空中浮遊像である。すなわち、ボタン１１付きの表示面１０は、空中に虚像として表示される。よって、空中操作装置１の使用者Ｍは、直接タッチパネル等に触れなくて済むため衛生的に現金自動預け払い機Ａを操作することが可能である。
　例えば、表示面１０は、複数のボタン１１を備える。使用者Ｍが複数のボタン１１を操作することによって現金自動預け払い機Ａを操作することが可能である。筐体２には、例えば、ボタン１１に接近する対象物Ｆを検出するセンサ３が埋め込まれている。本開示において、「対象物」とは、ボタン１１を操作して現金自動預け払い機Ａ等の機器を動作させるものを示している。「対象物」は、例えば、使用者Ｍの指である。
　空中操作装置１は、例えば、複数のセンサ３を備える。センサ３は、例えば、ボタン１１に対応して設けられている。各ボタン１１はセンサ３の斜め上方に表示される。一例として、ボタン１１及びセンサ３の数は１２である。表示面１０は、空中結像デバイス１４よりも使用者Ｍ寄りの位置に表示され、且つ空中結像デバイス１４の斜め上方に表示される。これにより、使用者Ｍにとって表示面１０を視認しやすく表示することができる。
　例えば、表示面１０は光って表示されてもよい。この場合、周囲の明るさにかかわらず容易に表示面１０を視認することができる。表示面１０は、例えば、縦に長く延びる形状を呈する。一例として、表示面１０は矩形状に表示される。表示面１０の縦方向の長さは表示面１０の横方向の長さよりも長い。しかしながら、表示面１０の形状及び大きさは上記の例に限られず特に限定されない。表示面１０は、ボタン１１以外のものを表示してもよい。例えば、表示面１０は，複数のボタン１１と文字情報とを含んでもよい。文字情報は、一例として、日付情報及び時刻情報の少なくともいずれかを含んでもよい。
　表示面１０では、例えば、複数のボタン１１が格子状に配列されるように表示される。一例として、複数のボタン１１は、テンキーとして表示される。この場合、空中操作装置１のボタン１１を押すことによって、現金自動預け払い機Ａに対して引き落としの金額、預け入れの金額、振込金額又は暗証番号を指定することが可能となる。
　ボタン１１の形状は、例えば、四角形状（一例として隅丸長方形状）である。しかしながら、ボタン１１の形状は、円形状、長円形状、又は多角形状であってもよく、特に限定されない。例えば、ボタン１１として、決定ボタン及び戻るボタンの少なくともいずれかが含まれていてもよい。この場合、決定ボタンは操作を決定させるボタンに相当し、戻るボタンは操作の前に戻るボタンに相当する。しかしながら、ボタン１１の種類は、上記の各例に限られず特に限定されない。
　空中操作装置１は、ボタン１１付きの表示面１０を表示する空中結像デバイス１４と、筐体２の内部に配置された表示装置１５と、制御部２０とを備える。空中結像デバイス１４及び表示装置１５は、表示面１０を虚像として空中に表示する虚像表示部に相当する。空中結像デバイス１４は、例えば、筐体２の傾斜面２ｈに形成された開口に固定されている再帰反射部材（再帰反射鏡）である。
　表示装置１５は、空中結像デバイス１４に対して斜めに配置されている。一例として、表示装置１５は液晶ディスプレイ（ＬＣＤ）である。表示装置１５は、筐体２の内部における空中結像デバイス１４の後方位置に配置されている。表示装置１５は、画像を表示するスクリーンを有する。表示装置１５のスクリーンは、例えば、空中結像デバイス１４に向けて斜め下方に画像としての光Ｃを照射する。空中結像デバイス１４は、表示装置１５からの光Ｃを空中結像デバイス１４の内部において複数回（例えば２回）反射する。空中結像デバイス１４は、使用者Ｍから見て空中結像デバイス１４よりも手前側の空間に表示面１０を結像する。
　センサ３は、例えば、筐体２の傾斜面２ｈにおいて斜め上方を向くように露出していてもよい。一例として、センサ３は、深度センサである。例えば、センサ３は、ボタン１１から延びる仮想直線上、すなわち、虚像であるボタン１１に対して正面位置に設けられる。センサ３は、当該仮想直線に対して垂直な面における対象物Ｆの位置（２次元位置）の情報と、センサ３から対象物Ｆまでの距離Ｋの情報とを含む距離画像データを取得する。
　センサ３は、例えば、距離画像データを取得する。センサ３は、例えば、取得した距離画像データを所定の周期（例えば１／３０秒）で制御部２０に出力する。具体例として、センサ３は、対象物Ｆを含む撮影領域内に存在する物体上の各点に光線（又は赤外線）を照射し、物体上の各点から反射した光線を受光する。センサ３は、受光した光線に基づいてセンサ３と物体上の各点との距離を測定し、測定した距離を画素毎に出力する。センサ３と物体上の各点との距離は、例えばＬｉｇｈｔ　Ｃｏｄｉｎｇ方式によって測定されてもよい。
　Ｌｉｇｈｔ　Ｃｏｄｉｎｇ方式では、センサ３は、対象物Ｆを含む撮影領域内に存在する物体上の各点にランダムドットパターンで光線を照射する。センサ３は、物体上の各点から反射した光線を受光し、反射した光線のパターンの歪みを検出することによって、センサ３と物体上の各点との距離を測定する。センサ３は、物体上の各点の２次元位置の情報と、センサ３から物体上の各点までの距離の情報とを複数の画素として検出し、検出した複数の画素を制御部２０に出力する。
　制御部２０は、センサ３及び表示装置１５のそれぞれと通信可能とされている。制御部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む記憶部と、入出力部と、ドライバとを含む。制御部２０の各機能は、ＣＰＵの制御の下で入出力部を動作させ、記憶部におけるデータの読み出し又は書き込みを行うことによって実現される。制御部２０の形態及び配置場所については特に限定されない。
　図４は、制御部２０の機能ブロック図である。図３及び図４に示されるように、制御部２０は、機能的構成要素として、画像出力部２１と、対象物検出部２２と、位置検出部２３と、判定部２４と、信号出力部２５と、回転部２６と、通知部２７とを有する。画像出力部２１は、表示装置１５に表示させる画像の画像データの制御信号を表示装置１５に出力する。表示装置１５は、画像出力部２１からの画像データの制御信号に基づいて、様々な種類の画像を表示することが可能である。
　対象物検出部２２は、センサ３から出力される距離画像データに基づいて対象物Ｆを検出する。位置検出部２３は、対象物検出部２２によって検出された対象物Ｆの位置を示す位置データを生成する。例えば、位置検出部２３はボタン１１に接近する対象物Ｆの位置を検出することによって使用者Ｍの位置を検出する。位置検出部２３は、生成した位置データを判定部２４に出力する。
　判定部２４は、対象物検出部２２によって検出された対象物Ｆの位置に基づいて、対象物Ｆによってボタン１１が押されたかどうかを判定する。具体的には、判定部２４は、センサ３と対象物Ｆとの距離Ｋが閾値Ｙ以下であるか否かを判定する。判定部２４は、距離Ｋが閾値Ｙ以下であると判定したときに、対象物Ｆが仮想の押下判定面Ｚに到達し、ボタン１１が押されたと判定する。
　押下判定面Ｚは、センサ３からの距離が一定である部位に形成された仮想の面である。例えば、押下判定面Ｚは、ボタン１１の近接位置に設けられる。押下判定面Ｚの位置は、ボタン１１の位置と一致していてもよいし、ボタン１１から所定距離だけ離間した位置であってもよい。
　信号出力部２５は、ボタン１１が押されたと判定部２４が判定したときに、ボタン１１の押下操作に基づく制御信号を生成する。信号出力部２５は、生成した制御信号を空中操作装置１の外部の機器に出力する。信号出力部２５は、制御信号を空中操作装置１の外部の機器（例えば現金自動預け払い機Ａ）に出力することによって当該機器を動作させる。
　回転部２６は、空中操作装置１の外部に位置する回転装置３０に制御信号を出力して空中操作装置１を回転させる。例えば、回転装置３０は、筐体２の上面２ｂの中心Ｇを通ると共に第３方向Ｄ３に延びる軸線Ｘを中心として空中操作装置１を回転させる。回転部２６は、位置検出部２３が検出した使用者Ｍの位置に表示面１０が正対するように空中結像デバイス１４を回転させる。使用者Ｍが予め定められた位置Ｐとは異なる位置にいたとしても、表示面１０が使用者Ｍの方に向けられるので、表示面１０の更なる視認性の向上に寄与する。
　通知部２７は、ボタン１１が押下されたと判定部２４が判定したときに判定部２４から操作信号を受信する。通知部２７は、ボタン１１が操作されたと判定部２４が判定したときに、ボタン１１が操作されたことを使用者Ｍに通知する通知手段である。通知部２７は、例えば、音声出力部２７ｂと、色彩変更部２７ｃとを有する。
　一例として、音声出力部２７ｂは、スピーカである。音声出力部２７ｂは、判定部２４から判定結果を受信したときに音声を出力する。音声出力部２７ｂからの音声を使用者Ｍが聞くことにより、使用者Ｍはボタン１１が操作されたことを把握可能となる。色彩変更部２７ｃは、例えば、判定部２４から操作信号を受信したときに色彩変更信号を生成し、色彩変更信号を表示装置１５に出力する。
　表示装置１５は、色彩変更部２７ｃから色彩変更信号を受信すると、例えば、使用者Ｍが押したボタン１１の色彩を変更する。ボタン１１の色彩が変更されたことを使用者Ｍが視認することにより、使用者Ｍはボタン１１が押されたことを把握可能となる。なお、表示装置１５は、色彩変更部２７ｃから色彩変更信号を受信したときに、ボタン１１以外の箇所の色彩を変更してもよい。
　以上の通知部２７を備えることにより、使用者Ｍはボタン１１が押されたことを把握できる。しかしながら、通知部２７では、音声出力部２７ｂ及び色彩変更部２７ｃの少なくともいずれかが省略されてもよい。通知部２７は、音声出力部２７ｂによる音声出力、又は色彩変更部２７ｃによる色彩変更、とは異なる態様でボタン１１が押されたことを使用者Ｍに通知してもよい。
　図５に示されるように、前述した押下判定面Ｚは第１位置Ｓ１と第２位置Ｓ２とを含んでもよい。例えば、第１位置Ｓ１は表示面１０よりも使用者Ｍ寄りの位置に設けられた面であり、第２位置Ｓ２は表示面１０よりも使用者Ｍから離れた位置に設けられた面である。例えば、通知部２７は、センサ３によって検出された対象物Ｆの位置が第１位置Ｓ１であると判定部２４が判定したときに、表示装置１５を制御して接近対象のボタン１１の表示態様を第１モードに変更する。
　「ボタンの表示態様を（第１モード又は後述する第２モードに）変更」とは、例えば、対象物Ｆの接近対象のボタン１１を他のボタン１１とは異なる色彩に変更すること、対象物Ｆの接近対象のボタン１１を他のボタン１１とは異なる大きさに変更する（一例として大きくする）こと、及び、音声を出力すること、の少なくともいずれかを示している。このように接近対象のボタン１１の表示態様を通知部２７が変更することにより、使用者Ｍは自分が押そうとしているボタン１１を把握でき、安心してボタン１１の操作を行うことができる。
　センサ３によって検出された対象物Ｆの位置が第１位置Ｓ１よりもセンサ３寄りの第２位置Ｓ２であると判定部２４が判定したときに信号出力部２５が空中操作装置１の外部の機器に制御信号を出力する。これにより、空中操作装置１の外部の機器が動作する。センサ３によって検出された対象物Ｆの位置が第２位置Ｓ２であると判定部２４が判定したときに、例えば、通知部２７は、表示装置１５を制御して接近対象のボタン１１の表示態様を上記第１モードとは異なる第２モードに変更する。
　「ボタンの表示態様を第２モードに変更」とは、例えば、接近対象のボタン１１の色彩を第１モードとは異なる色彩に変更すること、接近対象のボタン１１の大きさを第１モードとは異なる大きさに変更すること、及び、第１モードとは異なる音声を出力すること、の少なくともいずれかを示している。このように接近対象のボタン１１の表示態様が第２モードに変更されることにより、狙いのボタン１１を確実に押せていることを使用者Ｍが把握できると共に機器を操作することができる。
　図６は、図５とは別の例を説明するための図である。図６に示されるように、通知部２７は、対象物Ｆが接近する表示面１０の位置に応じて使用者Ｍへの通知の内容を変更してもよい。通知部２７は、センサ３によって検出された対象物Ｆの位置がボタン１１の外縁よりも内側であると判定部２４が判定したときに、表示装置１５を制御して接近対象のボタン１１の表示態様を第１モードに変更する。
　一例として、対象物Ｆの位置がボタン１１の外縁よりも内側であると判定部２４が判定したときに、通知部２７は接近対象のボタン１１の色彩を青系色に変更してもよい。具体例として、対象物Ｆの位置が位置ａ、位置ｃ又は位置ｅであると判定されたときに、通知部２７は対象物Ｆの位置のボタン１１を青系色に変更してもよい。この場合、使用者Ｍは正しく狙いのボタン１１を押せていることを把握できる。
　通知部２７は、センサ３によって検出された対象物Ｆの位置がボタン１１の外縁又は当該外縁よりも外側であると判定部２４が判定したときに、表示装置１５を制御してボタン１１の表示態様を第１モードとは異なる第２モードに変更する。例えば、対象物Ｆの位置がボタン１１の外縁上又は当該外縁よりも外側であると判定部２４が判定したときに、通知部２７は接近対象のボタン１１の色彩を赤系色又は黄系色に変更してもよい。具体例として、対象物Ｆの位置が位置ｂ、位置ｄ又は位置ｆであると判定されたときに、通知部２７は対象物Ｆの位置のボタン１１を赤系色又は黄系色に変更してもよい。この場合、使用者Ｍは狙いのボタン１１を正しく押せていないことを把握することができ、使用者Ｍに正しくボタン１１を押すように警告することができる。
　図７は、図６とは異なる配置とされたボタン１１を示している。図７では、複数のボタン１１が互いに接触するように配置されている。この図７の場合でも、対象物Ｆの位置が位置ａ、位置ｃ又は位置ｅであると判定されたときに、通知部２７は対象物Ｆの位置のボタン１１を青系色に変更する。対象物Ｆの位置が位置ｂ、位置ｄ又は位置ｆであると判定されたときに、通知部２７は対象物Ｆの位置のボタン１１を赤系色又は黄系色に変更する。これにより、図６の場合と同様の作用効果が得られる。
　次に、本実施形態に係る空中操作装置１から得られる作用効果について詳細に説明する。図１～図３に示されるように、空中操作装置１では、空中結像デバイス１４が空中に虚像としてボタン１１付きの表示面１０を表示する。センサ３がボタン１１に接近する指等の対象物Ｆの位置を検出する。判定部２４はセンサ３によって検出された対象物Ｆの位置に基づいてボタン１１が押されたか否かを判定する。通知部２７は判定部２４の判定結果を空中操作装置１の使用者Ｍに通知する。従って、使用者Ｍは、ボタン１１が押されたか否かを把握することができるので、ボタン１１の操作性を向上させることができる。
　図５に示されるように、通知部２７は、センサ３によって検出された対象物Ｆの位置が第１位置Ｓ１であると判定部２４が判定したときにボタン１１の表示態様を第１モードに変更する。従って、ボタン１１の表示態様が変更されることによって対象物Ｆの位置が第１位置Ｓ１に到達したことを使用者Ｍが把握できる。よって、ボタン１１を正しく押せているという安心感を使用者に与えることができる。
　センサ３によって検出された対象物Ｆの位置が第１位置Ｓ１よりもセンサ３寄りの第２位置Ｓ２にあるときに信号出力部２５が機器に制御信号を出力する。よって、使用者Ｍが第１位置Ｓ１よりも対象物Ｆを第２位置Ｓ２に押し込んだときに機器を動作させることができる。このように、対象物Ｆが第１位置Ｓ１にあるときにボタン１１の表示態様を変更することでボタン１１が押された安心感を使用者Ｍに与えることができる。対象物Ｆが第２位置Ｓ２にあるときに機器を動作させることができる。従って、ボタン１１の操作性を向上させることができる。
　通知部２７は、センサ３によって検出された対象物Ｆの位置が第２位置Ｓ２であると判定部２４が判定したときに、表示装置１５を制御してボタン１１の表示態様を第１モードとは異なる第２モードに変更してもよい。この場合、対象物Ｆが第１位置Ｓ１から第２位置Ｓ２まで押し込まれたときに、機器を動作させると共に、ボタン１１の表示態様を第１モードから第２モードに変更することができる。従って、機器を動作させると共にボタン１１の表示態様が変わるので、使用者Ｍはボタン１１が正しく押されており機器が動作していることを把握できる。
　図１及び図２に示されるように、空中操作装置１では、表示面１０が予め定められた位置Ｐにいる使用者Ｍに正対するように空中結像デバイス１４が表示面１０を表示する。従って、視認しやすい態様でボタン１１付きの表示面１０を使用者Ｍに向けて表示できるので、ボタン１１の操作性を向上させることができる。表示面１０は、表示面１０の中心Ｏを通り且つ表示面１０に直交する仮想直線Ｌに対する角度である視野角θ以下である位置からのみ視認可能とされている。従って、視野角θを超える角度の位置からは表示面１０を視認することができないので、使用者Ｍ以外の人Ｎが周囲から表示面１０を視認することを抑制することができる。よって、周囲から操作入力を見られないという安心感を使用者Ｍに与えることができると共に、操作性を向上させることができる。
　視野角θは２０°以下であってもよい。この場合、周囲から表示面１０が視認される可能性をより低減できるので、使用者Ｍに更なる安心感を与えることができる。
　空中操作装置１は、センサ３によって検出された対象物Ｆの位置に基づいて、ボタン１１が押されたか否かを判定する判定部２４と、判定部２４の判定結果を空中操作装置１の使用者Ｍに通知する通知部２７と、を備えてもよい。通知部２７は、センサ３によって検出された対象物Ｆの位置がボタン１１の位置であると判定部２４が判定したときに、表示装置１５を制御してボタン１１の表示態様を変更してもよい。この場合、対象物Ｆの位置がボタン１１の位置であると判定されたときにボタン１１の表示態様が変更される。従って、ボタン１１が正しく押されていることを使用者Ｍに通知することができるので、ボタン１１の操作性を向上させることができる。
　空中操作装置１は、使用者Ｍの位置を検出する位置検出部２３と、空中結像デバイス１４によって表示される表示面１０が使用者Ｍに正対するように空中結像デバイス１４を回転させる回転部２６と、を備えてもよい。この場合、仮に予め定められた位置Ｐに使用者Ｍがいなかった場合であっても、位置検出部２３が使用者Ｍの位置を検出し回転部２６が空中結像デバイス１４を回転させる。これにより、表示面１０を使用者Ｍに正対させることが可能となる。従って、更なる操作性の向上に寄与する。
　図６及び図７に示されるように、空中操作装置１では、ボタン１１が押されたか否かを判定部２４が判定し、判定部２４による判定結果を通知部２７が空中操作装置１の使用者Ｍに通知する。通知部２７は、センサ３によって検出された対象物Ｆの位置がボタン１１の外縁よりも内側であるときにボタン１１の表示態様を第１モードに変更する。従って、使用者Ｍは、ボタン１１の表示態様が第１モードに変更されたことを見てボタン１１が正しく押されたことを把握することができると共に、ボタン１１の操作性を向上させることができる。
　通知部２７は、センサ３によって検出された対象物Ｆの位置がボタン１１の外縁又は外縁よりも外側であるときにボタン１１の表示態様を第２モードに変更する。よって、ボタン１１の外縁又は外縁よりも外側が押されたときにボタン１１の表示態様が第２モードに変更される。これにより、ボタン１１が正しく押されていないことを使用者Ｍに通知することができる。従って、ボタン１１を正しく押すよう使用者Ｍに促すことができるので、更なる操作性の向上に寄与する。
　以上、本開示に係る空中操作装置の実施形態について説明した。しかしながら、本開示に係る空中操作装置は、前述した実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲において変形し、又は他のものに適用したものであってもよい。空中操作装置の各部の構成、形状、大きさ、数、材料及び配置態様は、前述した要旨を変更しない範囲において適宜変更可能である。
　例えば、前述の実施形態では、センサ３は、センサ３と物体上の各点との距離をＬｉｇｈｔ　Ｃｏｄｉｎｇ方式によって測定する例について説明した。しかしながら、この方式に限定されない。例えば、センサ３は、センサ３と物体上の各点との距離を、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式によって測定してもよい。ＴＯＦ方式では、センサ３は、光線が物体上の各点で反射してセンサ３に到達するまでの光線の飛行時間（遅れ時間）を算出し、算出した飛行時間と光の速度とから、センサ３と物体上の各点との距離を測定する。このような形態であっても、前述した実施形態と同様の効果を奏する。
　センサの種類は深度センサに限定されない。すなわち、深度センサであるセンサ３に代えて、赤外線センサ又は超音波センサ等が設けられていてもよい。センサの種類は適宜変更可能である。前述の実施形態では、テンキーを構成する複数のボタン１１を備えた表示面１０を表示装置１５及び空中結像デバイス１４が表示する例について説明した。しかしながら、表示面のボタン等のレイアウトは、上記の例に限られず適宜変更可能である。
　変形例に係る空中操作装置４１について図８～図１０を参照しながら説明する。図８は、変形例に係る空中操作装置４１を示す斜視図である。図９は、空中操作装置４１が空中にボタン５１付きの表示面５０を表示している状態を示す斜視図である。空中操作装置４１はトイレＴに設けられる。表示面５０のボタン５１はトイレＴの各部を動作させるボタンである。
　ボタン５１付きの表示面５０は、前述した表示面１０と同様、空中に浮き出るように表示される空中浮遊像である。よって、空中操作装置４１の使用者は直接ボタン等に触れなくて済むため衛生的にトイレＴの各部を操作することが可能である。例えば、トイレＴは、便器Ｂと、便器Ｂに隣接する壁部Ｗとを備える。例えば、壁部Ｗは、便器Ｂに着座した使用者から見て右側に設けられる。例示的な壁部Ｗには、空中操作装置４１及びトイレットペーパーＥが固定されており、洗面台Ｒが設けられていてもよい。便器Ｂは、例えば、ウォシュレット（登録商標）付きであって、表示面５０のボタン５１からトイレＴのウォシュレットを操作可能とされている。例えば、表示面５０は、複数のボタン５１を備える。使用者が複数のボタン５１を操作することによってウォシュレットの各部を動作させることが可能である。
　空中操作装置４１は、例えば、壁部Ｗに固定されている。空中操作装置４１は、壁部Ｗに埋め込まれていてもよいし、壁部Ｗに対して着脱可能であってもよい。空中操作装置４１は、筐体４２と、筐体４２の下部から突出する突出部４３とを備える。突出部４３には、ボタン５１に接近する対象物Ｆを検出する複数のセンサ５２が埋め込まれている。センサ５２はボタン５１に対応して設けられている。各ボタン５１は各センサ５２の斜め上方に表示される。ボタン５１及びセンサ３の数は７である。
　表示面５０は、空中操作装置４１の上下方向Ａ１、及び壁部Ｗからの突出方向Ａ３の双方に対して斜め上方に向けられるように表示される。これにより、使用者に表示面５０を視認しやすくすることができる。表示面５０は、例えば、左右方向Ａ２に長く延びる形状を呈する。一例として、表示面５０は、矩形状に表示される。表示面５０の縦方向の長さＺ１は表示面５０の横方向の長さＺ２よりも短い。長さＺ１と長さＺ２のアスペクト比を１：Ｘ（Ｘを実数）とすると、例えば、Ｘの値は２以上且つ１０以下である。Ｘの値の下限は３であってもよいし、Ｘの値の上限は５、６、７、８又は９であってもよい。
　一例として、上記のＸの値は４であり、長さＺ１と長さＺ２のアスペクト比は１：４であってもよい。ボタン５１は、例えば、矩形状を呈する。一例として、ボタン５１は正方形状であってもよい。ボタン５１の一辺の長さは、例えば、１８ｍｍ以上且つ２４ｍｍ以下である。しかしながら、ボタン５１の形状及び大きさは適宜変更可能である。
　表示面５０は、複数のボタン５１以外のものを表示してもよい。例えば、表示面５０は、複数のボタン５１と、文字情報５３とを含んでもよい。文字情報５３は、一例として、日付情報、時刻情報、気温情報、温度情報及び気圧情報の少なくともいずれかを含んでいてもよい。表示面５０では、例えば、表示面５０の下側において複数のボタン５１が横方向に並ぶように表示される。複数のボタン５１の上方に文字情報５３が表示されてもよい。ボタン５１は、表示面５０の中心５０ｂからずれた位置に中心５１ｂが位置するように配置されてもよい。一例として、複数のボタン５１のそれぞれは、中心５０ｂを通ると共に表示面５０の長手方向（横方向）に延びる基準線Ｖからオフセットした位置に表示される。
　図１０は、筐体４２及び突出部４３を示す縦断面図である。図９及び図１０に示されるように、例えば、筐体４２は、横長に延びる箱状を呈する。一例として、筐体４２は、前面４２ｂと、左右一対の側面４２ｃと、上面４２ｄと、下面４２ｆとを有する。前面４２ｂは壁部Ｗに取り付けられた状態において上下方向Ａ１及び左右方向Ａ２に延び、側面４２ｃは上下方向Ａ１及び壁部Ｗからの突出方向Ａ３に延びる。上面４２ｄは左右方向Ａ２及び突出方向Ａ３に延び、下面４２ｆは上面４２ｄの反対側を向く。
　突出部４３は、例えば、矩形板状を呈する。一例として、突出部４３は、主面４３ｂと、端面４３ｃと、裏面４３ｄとを有する。主面４３ｂは前面４２ｂの下側から突出すると共に上方に向けられ、端面４３ｃは左右方向Ａ２又は突出方向Ａ３を向く。裏面４３ｄは、主面４３ｂの反対側を向く。前述したように突出部４３にはセンサ５２が内蔵されている。これにより、センサ５２によって対象物Ｆを検出しやすくすることができる。
　空中操作装置４１は、ボタン５１付きの表示面５０を表示する空中結像デバイス５４と、筐体４２の内部に配置された表示装置５５と、制御部６０とを備える。空中結像デバイス５４、表示装置５５及び制御部６０のそれぞれは、例えば、前述した空中結像デバイス１４、表示装置１５及び制御部２０のそれぞれと同一である。空中結像デバイス５４は、例えば、筐体４２の前面４２ｂの内側に位置する開口４２ｇに固定されている再帰反射鏡である。
　開口４２ｇは、例えば、筐体４２の前面４２ｂを構成する一対の第１板部４２ｈと、第１板部４２ｈの筐体４２の内側に固定された一対の第２板部４２ｊとによって画成される。一例として、第１板部４２ｈ及び第２板部４２ｊは、上下一対に設けられる。空中結像デバイス５４は、第１板部４２ｈと第２板部４２ｊの間に挟まれた状態で筐体４２に固定されている。
　空中結像デバイス５４は、例えば、左右方向Ａ２に延びる長辺と、上下方向Ａ１に延びる短辺とを有する長方形状とされている。空中結像デバイス５４の一方の長辺及び他方の長辺のそれぞれが、第１板部４２ｈと第２板部４２ｊの間に挟まれている。表示装置５５は、空中結像デバイス５４に対して斜めに配置されている。表示装置５５は、筐体４２の内部において空中結像デバイス５４の斜め上方に配置されている。表示装置５５のスクリーンは、例えば、空中結像デバイス５４に向けて斜め下方に画像としての光Ｃを照射する。空中結像デバイス５４は、表示装置５５からの光Ｃを内部において複数回（例えば２回）反射する。空中結像デバイス５４は、操作者から見て空中結像デバイス５４よりも手前側の空間に表示面５０を結像する。
　センサ５２は、例えば、突出部４３の主面４３ｂに露出していてもよい。例えば、センサ５２は、ボタン５１から延びる仮想直線上、すなわち、虚像であるボタン５１に対して正面位置に設けられる。例えば、センサ５２の構成及び機能は、前述したセンサ３の構成及び機能と同一である。
　以上、トイレＴに設けられる変形例の空中操作装置４１について説明した。空中操作装置４１からも空中操作装置１と同様の作用効果が得られる。変形例に係る空中操作装置４１に対して、本開示に係る操作入力装置は、更に変形させることが可能である。例えば、前述の変形例では、トイレＴに設けられる空中操作装置４１について説明した。しかしながら、本開示に係る空中操作装置は、キッチン、水回り、病院、公共機関、駅又は空港等に設けられていてもよい。
　例えば、キッチンに設けられる空中操作装置では、ボタン付きの表示面が空中に虚像として表示されることにより、食材が付着した指等でディスプレイに直接触れなくても、料理アプリを操作可能となる。すなわち、従来は携帯端末等のディスプレイを触るために、わざわざ手を洗ってからディスプレイに表示される料理アプリを操作していた。しかしながら、本開示に係る空中操作装置では、ボタン付きの表示面が空中に虚像として表示されるので、空中のボタンを操作することによって料理アプリを操作できる。従って、わざわざ手を洗わなくても料理アプリを操作できるので、操作性が高い操作入力装置とすることができる。
　例えば、ＡＴＭ、病院、公共機関、駅又は空港に設けられる操作入力装置では、ボタン付きの表示面が空中に虚像として表示されることにより、共用のディスプレイを直接触らなくても、ＡＴＭ、又は、病院若しくは空港の受付機等の操作を行うことが可能である。従って、共用のディスプレイへの指の接触を不要とすることができるので、衛生的に操作を行うことができる。
１，４１…空中操作装置、２，４２…筐体、２ｂ…上面、２ｃ…側面、２ｄ…前面、２ｆ…背面、２ｇ…下面、２ｈ…傾斜面、３，５２…センサ、１０，５０…表示面、１１，５１…ボタン、１４，５４…空中結像デバイス、１５，５５…表示装置、２０，６０…制御部、２１…画像出力部、２２…対象物検出部、２３…位置検出部、２４…判定部、２５…信号出力部、２６…回転部、２７…通知部、２７ｂ…音声出力部、２７ｃ…色彩変更部、３０…回転装置、４２ｂ…前面、４２ｃ…側面、４２ｄ…上面、４２ｆ…下面、４２ｇ…開口、４２ｈ…第１板部、４２ｊ…第２板部、４３…突出部、４３ｂ…主面、４３ｃ…端面、４３ｄ…裏面、５０…表示面、５０ｂ，５１ｂ…中心、５３…文字情報、Ａ…現金自動預け払い機、Ａ１…上下方向、Ａ２…左右方向、Ａ３…突出方向、Ｂ…便器、Ｃ…光、Ｄ１…第１方向、Ｄ２…第２方向、Ｄ３…第３方向、Ｅ…トイレットペーパー、Ｆ…対象物、Ｋ…距離、Ｌ…仮想直線、Ｍ…使用者、Ｎ…人、Ｏ…中心、Ｐ…位置、Ｒ…洗面台、Ｓ１…第１位置、Ｓ２…第２位置、Ｔ…トイレ、Ｖ…基準線、Ｗ…壁部、Ｘ…軸線、Ｙ…閾値、Ｚ…押下判定面、θ…視野角。

 

Claims (7)

  1. 　光を照射して情報を表示する表示装置と、
    　前記表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、
    　前記ボタンに接近する対象物の位置を検出するセンサと、
    を備えた空中操作装置であって、
    　前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを判定する判定部と、
    　前記空中操作装置の外部の機器に制御信号を出力して前記機器の動作を制御する信号出力部と、
    　前記判定部の判定結果を前記空中操作装置の使用者に通知する通知部と、
    を備え、
    　前記通知部は、前記センサによって検出された対象物の位置が第１位置であると前記判定部が判定したときに、前記表示装置を制御して前記ボタンの表示態様を第１モードに変更し、
    　前記センサによって検出された対象物の位置が前記第１位置よりも前記センサ寄りの第２位置であると前記判定部が判定したときに、前記信号出力部が前記機器に制御信号を出力する、
    空中操作装置。
  2. 　前記通知部は、前記センサによって検出された対象物の位置が前記第２位置であると前記判定部が判定したときに、前記表示装置を制御して前記ボタンの表示態様を前記第１モードとは異なる第２モードに変更する、
    請求項１に記載の空中操作装置。
  3. 　光を照射して情報を表示する表示装置と、
    　前記表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、
    　前記ボタンに接近する対象物の位置を検出するセンサと、
    を備えた空中操作装置であって、
    　前記空中操作装置を操作する使用者の位置が予め定められており、
    　前記空中結像デバイスは、予め定められた前記位置に位置する使用者に正対するように前記表示面を表示し、
    　前記表示面は、前記表示面の中心を通り且つ前記表示面に直交する仮想直線に対する角度である視野角以下である位置からのみ視認可能とされている、
    空中操作装置。
  4. 　前記視野角が２０°以下である、
    請求項３に記載の空中操作装置。
  5. 　前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを判定する判定部と、
    　前記判定部の判定結果を前記空中操作装置の使用者に通知する通知部と、
    を備え、
    　前記通知部は、前記センサによって検出された対象物の位置が前記ボタンの位置であると前記判定部が判定したときに、前記表示装置を制御して前記ボタンの表示態様を変更する、
    請求項３又は４に記載の空中操作装置。
  6. 　前記使用者の位置を検出する位置検出部と、
    　前記空中結像デバイスによって表示される表示面が前記使用者に正対するように前記空中結像デバイスを回転させる回転部と、を備える、
    請求項３～５のいずれか一項に記載の空中操作装置。
  7. 　光を照射して情報を表示する表示装置と、
    　前記表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、
    　前記ボタンに接近する対象物の位置を検出するセンサと、
    を備えた空中操作装置であって、
    　前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを判定する判定部と、
    　前記判定部の判定結果を前記空中操作装置の使用者に通知する通知部と、
    を備え、
    　前記通知部は、
    　前記センサによって検出された対象物の位置が前記ボタンの外縁よりも内側であると前記判定部が判定したときに、前記表示装置を制御して前記ボタンの表示態様を第１モードに変更し、
    　前記センサによって検出された対象物の位置が前記ボタンの外縁又は前記外縁よりも外側であると前記判定部が判定したときに、前記表示装置を制御して前記ボタンの表示態様を前記第１モードとは異なる第２モードに変更する、
    空中操作装置。

     
PCT/JP2021/040651 2020-11-30 2021-11-04 空中操作装置 WO2022113687A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020198732A JP2024004508A (ja) 2020-11-30 2020-11-30 空中操作装置
JP2020-198732 2020-11-30

Publications (1)

Publication Number Publication Date
WO2022113687A1 true WO2022113687A1 (ja) 2022-06-02

Family

ID=81754423

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/040651 WO2022113687A1 (ja) 2020-11-30 2021-11-04 空中操作装置

Country Status (2)

Country Link
JP (1) JP2024004508A (ja)
WO (1) WO2022113687A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097716A (ja) * 2015-11-26 2017-06-01 富士通株式会社 入力装置、入力方法、及びプログラム
JP2018206149A (ja) * 2017-06-06 2018-12-27 オムロン株式会社 入力装置
WO2019225516A1 (ja) * 2018-05-22 2019-11-28 株式会社村上開明堂 虚像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097716A (ja) * 2015-11-26 2017-06-01 富士通株式会社 入力装置、入力方法、及びプログラム
JP2018206149A (ja) * 2017-06-06 2018-12-27 オムロン株式会社 入力装置
WO2019225516A1 (ja) * 2018-05-22 2019-11-28 株式会社村上開明堂 虚像表示装置

Also Published As

Publication number Publication date
JP2024004508A (ja) 2024-01-17

Similar Documents

Publication Publication Date Title
US8747322B2 (en) User interface in an ultrasound system
US20100026723A1 (en) Image magnification system for computer interface
JP2008241304A (ja) 物体検知装置
US20110141108A1 (en) Device and method for setting instructed position during three-dimensional display, as well as program
US20060164387A1 (en) Input apparatus and touch-reading character/symbol input method
WO2007013215A1 (ja) 画像表示装置
TW201015404A (en) Optical touch display device, optical touch sensing device and touch sensing method
WO2014196088A1 (ja) 再生画像の指示位置を非接触で検知する方法及び装置
TW200813395A (en) Displacement sensor
US20230033280A1 (en) Operation input device
KR20110138975A (ko) 좌표 인식 장치 및 이를 포함하는 디스플레이 장치, 시큐리티 장치 및 전자 칠판
EP3128360A1 (en) Electronic device
JP2022130496A (ja) 入力装置
WO2022113687A1 (ja) 空中操作装置
JP2020064632A (ja) 入力装置
EP2645212A2 (en) Display apparatus with optical touch panel and method of controlling display apparatus
WO2022113685A1 (ja) 空中操作装置
WO2023079879A1 (ja) 空中操作装置及び立ち上げ方法
WO2022085346A1 (ja) 空中表示装置
US20130100291A1 (en) Device for handling banknotes
JP2023168064A (ja) 空中操作装置
WO2021220623A1 (ja) 操作入力装置
WO2022138165A1 (ja) 操作入力装置及びキャリブレーション方法
WO2023095465A1 (ja) 操作検出装置
KR101414356B1 (ko) 휴대 단말기 및 휴대 단말기의 정보 입력 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897663

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21897663

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP