WO2021084817A1 - 力覚を提示する画像表示装置 - Google Patents

力覚を提示する画像表示装置 Download PDF

Info

Publication number
WO2021084817A1
WO2021084817A1 PCT/JP2020/028274 JP2020028274W WO2021084817A1 WO 2021084817 A1 WO2021084817 A1 WO 2021084817A1 JP 2020028274 W JP2020028274 W JP 2020028274W WO 2021084817 A1 WO2021084817 A1 WO 2021084817A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
display
display unit
dimensional object
Prior art date
Application number
PCT/JP2020/028274
Other languages
English (en)
French (fr)
Inventor
貴宣 小俣
小池　薫
祐一 宮川
伊沢　久隆
至 清水
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/755,116 priority Critical patent/US11914797B2/en
Publication of WO2021084817A1 publication Critical patent/WO2021084817A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user

Definitions

  • This technology relates to an image display device.
  • a cylindrical screen and a substantially disk-shaped mirror are laminated on the upper side of a cylindrical pedestal, and a laser beam corresponding to each color of RGB is scanned at the center of the pedestal with the optical axis directed vertically upward.
  • An image display device in which a color projector is arranged has been proposed (see, for example, Patent Document 1).
  • the color projector emits the laser beam vertically upward, and the emitted laser beam is reflected radially toward the entire circumference of the screen by the reflection mirror.
  • the screen on which the laser beam is reflected all around displays a three-dimensional image in which the three-dimensional object can be visually recognized from a plurality of surrounding directions in the space divided by the screen.
  • An object of the present disclosure is to provide an image display device capable of more appropriately interacting with a user.
  • the image display device of the present disclosure includes (a) a display unit that displays a three-dimensional image in which a three-dimensional object appears to exist in a space divided by members constituting the outer surface so that it can be visually recognized from a plurality of surrounding directions.
  • (B) A motion detection unit that detects the movement of the display unit itself due to the force applied from the outside, and (c) Assuming that a three-dimensional object actually exists in the space based on the movement detected by the motion detection unit.
  • a motion calculation unit that calculates the movement of a three-dimensional object caused by the movement of the display unit itself, and (d) a display control unit that changes the three-dimensional image displayed by the display unit based on the calculation result by the motion calculation unit.
  • (E) A force sense presentation unit that presents the force sense to the user of the own device, and (f) a force sense control unit that causes the force sense presentation unit to present the force sense based on the calculation result by the motion calculation unit.
  • FIGS. 1 to 18 An example of the image display device according to the embodiment of the present disclosure will be described with reference to FIGS. 1 to 18.
  • the embodiments of the present disclosure will be described in the following order.
  • the present disclosure is not limited to the following examples.
  • the effects described herein are exemplary and not limited, and may have other effects.
  • Embodiment Image display device 1-1 Overall configuration of image display device 1-2 Contents of control processing 1-3 Modification example
  • the image display device 1 according to the embodiment of the present disclosure is a display device that makes it possible to visually recognize a three-dimensional image of a three-dimensional object 15 from a plurality of surrounding directions. Further, as shown in FIG. 2, the image display device 1 has a character display function for displaying a character as a three-dimensional object 15. As shown in FIG. 5, the size of the image display device 1 is small enough to be held by the user with one hand. As shown in FIG. 1, the image display device 1 of the present embodiment includes a display unit 2, an operation input detection unit 3, a motion detection unit 4, a sound generation unit 5, a force sense presentation unit 6, and a controller 7. And have. In FIG. 1, a part of the pedestal 8 is broken so that the inside of the pedestal 8 can be visually recognized.
  • the display unit 2 is formed by stacking a cylindrical screen 9 and a substantially disk-shaped reflection mirror 10 in this order on the upper side of a cylindrical pedestal 8 whose upper surface is open and whose lower surface is closed. At the center of the inside of the pedestal 8, an exit portion 12 with the optical axis 11 directed vertically upward is arranged.
  • the emitting unit 12 for example, a color projector that scans a laser beam corresponding to each color of RGB (hereinafter, also referred to as “image light 13”) and displays each pixel can be adopted. Then, the emitting unit 12 radially emits the image light 13 for forming the three-dimensional image upward in accordance with the signal from the controller 7, and reflects the emitted image light 13 on the screen 9 by the reflection mirror 10. .
  • As the three-dimensional image for example, an image in which the three-dimensional object 15 (see FIG. 2) appears to exist in the space 14 partitioned by the screen 9 can be adopted.
  • a hologram screen on which a three-dimensional image is displayed can be adopted by diffusing and emitting the incident image light 13.
  • a transmissive hologram capable of seeing through the screen 9 as described in International Publication No. 2018/163945 can be adopted.
  • the transmissive hologram as shown in FIG. 2, the back side of the image display device 1 can be seen from a place where the three-dimensional object 15 represented by the three-dimensional image is not displayed, and the screen 9 is made of transparent glass or the like. You can make it feel like a container.
  • FIG. 2 shows a state in which the character of the lord penguins is displayed as the three-dimensional object 15.
  • the reflection mirror 10 a mirror having a reflecting surface downward that reflects the image light 13 emitted from the emitting unit 12 can be adopted. Then, the reflection mirror 10 radially reflects the image light 13 radially emitted upward from the exit portion 12 toward the entire circumference of the screen 9.
  • the emitting unit 12 emits the image light 13 radially upward, and the emitted image light 13 is the reflection mirror 10. Is reflected radially toward the entire circumference of the screen 9. Then, as shown in FIG. 2, a three-dimensional image in which the three-dimensional object 15 appears to exist in the space 14 partitioned by the screen 9 is surrounded by the screen 9 in which the image light 13 is reflected all around. It is displayed so that it can be visually recognized from multiple directions. At that time, by making the screen 9 feel like a container such as transparent glass, it is possible to make it appear that the three-dimensional object 15 is housed in the container.
  • the space 14 may be a space separated by a member forming an outer surface convex outward, for example, a space divided by a semi-cylindrical screen 9, or a space divided by a square tubular screen 9. It may be a space.
  • the operation input detection unit 3 detects the operation input by the user.
  • the detection result of the operation input detection unit 3 is output to the controller 7.
  • the operation input detection unit 3 includes, for example, a touch panel provided on the outer surface of the display unit 2, a microphone that acquires the sound around the display unit 2, a camera that captures an image around the display unit 2, and the periphery of the display unit 2.
  • a distance image sensor for example, a TOF (Time Of Flight) camera
  • the touch panel is adopted as the operation input detection unit 3, and the “operation input detection unit 3” is also referred to as the “touch panel 3”.
  • the touch panel 3 is provided on the entire circumference of the outer peripheral surface of the screen 9 and detects the presence or absence of contact with fingers or the like and the coordinates of the contact position.
  • the touch panel 3 has a plurality of operation methods such as a flick operation and a pointing operation.
  • the motion detection unit 4 is arranged inside the pedestal 8 and detects the movement of the display unit 2 itself due to the force applied from the outside. Examples of the force applied from the outside include a force that swings the display unit 2 in a direction parallel to the optical axis 11 to move it up and down. Further, as the movement of the display unit 2 itself, for example, the vertical movement of the display unit 2 can be mentioned.
  • the motion data is output to the controller 7.
  • an acceleration sensor that detects acceleration in three directions of XYZ can be adopted. When an acceleration sensor is adopted, acceleration can be adopted as motion data.
  • the sound generating unit 5 is arranged inside the pedestal 8 and generates a sound or the like accompanying the operation of the three-dimensional object 15 toward the periphery of the display unit 2 according to the signal from the controller 7.
  • the force sense presentation unit 6 is arranged inside the pedestal 8 and presents the force sense and the like associated with the operation of the three-dimensional object 15 to the user of the image display device 1 (own device) according to the signal from the controller 7.
  • a force sense presenting device that generates a force and a rotational force of an arbitrary size and direction by controlling the angular momentum of a plurality of rotating bodies can be adopted.
  • the controller 7 is arranged inside the pedestal 8 and includes hardware resources such as a storage device 16 and a processor 17 as shown in FIG.
  • the storage device 16 stores a control program of the image display device 1 that can be executed by the processor 17. Further, the storage device 16 stores various data necessary for executing the control program.
  • the processor 17 realizes the display control unit 18, the mode switching unit 19, the motion calculation unit 20, the force sense control unit 21, and the sound control unit 22 according to the control program stored in the storage device 16. Then, the image light is based on the motion data of the display unit 2 itself output from the motion detection unit 4 by the display control unit 18, the mode switching unit 19, the motion calculation unit 20, the force sense control unit 21, and the sound control unit 22. 13.
  • the display control unit 18 has a display operation unit 23.
  • step S101 the display control unit 18 outputs a signal to the output unit 12 to emit the image light 13 for displaying the three-dimensional image on the display unit 2.
  • step S101 the display control unit 18 outputs a signal to the output unit 12 to emit the image light 13 for displaying the three-dimensional image on the display unit 2.
  • step S101 the display control unit 18 outputs a signal to the output unit 12 to emit the image light 13 for displaying the three-dimensional image on the display unit 2.
  • the three-dimensional object 15 is displayed in the central portion of the space 14 without touching the upper and lower ends of the space 14 so that the user can see the lower surface of the three-dimensional object 15.
  • the three-dimensional object 15 can be made to feel as if it is floating in the space 14.
  • step S102 the mode switching unit 19 determines whether or not the user holds the display unit 2. Specifically, first, the detection result output from the touch panel 3 is acquired. Subsequently, based on the acquired detection result (information on the coordinates of the contact position of the fingers or the like), it is determined whether or not a plurality of fingers or palms are in contact with the touch panel 3. Then, when it is determined that a plurality of fingers or the like are not in contact with each other, it is determined that the display unit 2 is not held in the hand (No), and the process proceeds to step S103. On the other hand, when it is determined that a plurality of fingers or the like are in contact with each other, it is determined that the display unit 2 is held in the hand (Yes), and the process proceeds to step S104.
  • step S103 the mode switching unit 19 switches the mode of the image display device 1 to the "placed mode".
  • the display operation unit 23 outputs a signal for changing the three-dimensional image displayed by the display unit 2 to the output unit 12 based on a flick operation or a pointing operation on the touch panel 3.
  • the detection result output from the touch panel 3 is acquired.
  • the image data of the three-dimensional image in which the three-dimensional object 15 is rotated in the direction of the flick operation is sequentially created. If it is determined that a touch operation has been performed during the rotation of the three-dimensional object 15, image data of a three-dimensional image for stopping the rotation of the three-dimensional object 15 is created.
  • the image data of the three-dimensional image for causing the three-dimensional object 15 to perform the operation according to the position specified by the pointing operation is sequentially created.
  • the created image data is sequentially converted into the data of the image light 13, and the signal for irradiating the image light 13 indicated by the converted data is sequentially output to the emitting unit 12.
  • Such a flow of creating image data of a three-dimensional image ⁇ converting the image light 13 into data ⁇ outputting a signal to the emitting unit 12 is repeated until the display unit 2 is held by hand, and the display unit 2 is held.
  • the process returns to step S102.
  • the three-dimensional object 15 does not touch either the upper end or the lower end of the space 14, and the state of being present in the central portion of the space 14 of the display unit 2 is maintained and the user floats in the space 14. Can make you feel.
  • step S104 the mode switching unit 19 determines whether the user is holding and shaking the display unit 2. Specifically, first, the motion data output from the motion detection unit 4 is acquired. Subsequently, based on the acquired data, it is determined whether or not the magnitude of vibration of the display unit 2 is equal to or greater than a predetermined threshold value. Then, when it is determined that the magnitude of the vibration of the display unit 2 is less than the predetermined threshold value, it is determined that the display unit 2 is not shaken by holding it in the hand (No), and the process proceeds to step S105. On the other hand, when it is determined that the magnitude of the vibration of the display unit 2 is equal to or larger than a predetermined threshold value, it is determined that the display unit 2 is being shaken by holding it in the hand (Yes), and the process proceeds to step S106.
  • step S105 the mode switching unit 19 switches the mode of the image display device 1 to the "held mode".
  • the display operation unit 23 outputs a signal for changing the three-dimensional image displayed by the display unit 2 to the output unit 12 based on a flick operation on the touch panel 3. Specifically, first, the detection result output from the touch panel 3 is acquired. Then, based on the acquired detection result, it is detected whether the flick operation has been performed. Subsequently, when it is determined that the flick operation has been performed, the image data of the three-dimensional image in which the three-dimensional object 15 is rotated in the direction of the flick operation is sequentially created.
  • the created image data is sequentially converted into the data of the image light 13, and the signal for irradiating the image light 13 indicated by the converted data is sequentially output to the emitting unit 12. That is, when the display unit 2 is held in the hand, the display operation unit 23 is based only on the detection result of the operation input by some of the operation methods (flick operation) of the plurality of operation methods of the touch panel 3. , The three-dimensional image displayed by the display unit 2 is changed. As a result, in the "held mode", unlike the "placed mode” in step S103, only the flick operation is accepted and the pointing operation is not accepted.
  • step S105 an example of sequentially creating image data of a three-dimensional image in which the three-dimensional object 15 is rotated in the direction of the flick operation is shown, but other configurations may be adopted.
  • step S102 when it is determined immediately after the display unit 2 is held in the hand, that is, immediately after the determination in step S102 is switched from “No” to "Yes", and it is determined immediately after the switching.
  • the image data of the three-dimensional image showing how the three-dimensional object 15 (character of the penguins, etc.) is surprised may be sequentially created.
  • step S106 the mode switching unit 19 switches the mode of the image display device 1 to the "shaken mode".
  • the motion calculation unit 20 calculates the movement of the three-dimensional object 15 due to the movement of the display unit 2 itself, assuming that the three-dimensional object 15 actually exists in the space 14 of the display unit 2. .. Specifically, based on the motion data acquired in step S104 and the substance information of the three-dimensional object 15, the three-dimensional object when the display unit 2 performs the motion indicated by the data according to a predetermined physical law. Calculate 15 movements.
  • the substance information of the three-dimensional object 15 for example, the mass, the center of gravity, the density, the volume, the Young's modulus, the Poisson's ratio, the vibration damping rate, the viscosity, and the outer shape of the three-dimensional object 15 can be adopted. Further, as a predetermined physical law, for example, the law of inertia, the law of motion, the law of action / reaction, the law of energy conservation, the law of universal gravitation, and the law of Newton's viscous force can be adopted. Further, as the movement of the three-dimensional object 15, for example, the position of the three-dimensional object 15, the moving speed, the presence or absence of a collision with the upper and lower ends of the space 14, and the speed of rebound after the collision can be adopted.
  • the three-dimensional object 15 is in the space 14.
  • the movement of the 3D object 15 is calculated until the 3D object 15 collides with the upper end of the space 14 due to inertia and bounces off due to the impact of the collision.
  • the display unit 2 is swung up with the optical axis 11 of the display unit 2 oriented in the vertical direction, the three-dimensional object 15 moves downward in the space 14 due to inertia, and the three-dimensional object 15 moves downward.
  • the display control unit 18 outputs a signal for changing the three-dimensional image to the output unit 12 based on the calculation result by the motion calculation unit 20. Specifically, image data of a three-dimensional image corresponding to the calculated movement of the three-dimensional object 15 is sequentially created so that the movement of the three-dimensional object 15 caused by the movement of the display unit 2 itself is displayed. To do. At that time, when it is calculated that the three-dimensional object 15 collides with the upper and lower ends of the space 14, image data of a three-dimensional image showing how the three-dimensional object 15 collides with the upper and lower ends of the space 14 is created.
  • the created image data is sequentially converted into the data of the image light 13, and the signal for irradiating the image light 13 indicated by the converted data is sequentially output to the emitting unit 12.
  • steps S103 and S105 only the operation of holding and shaking the display unit 2 by hand is accepted, and the flick operation and the pointing operation are not accepted. That is, when the display unit 2 is held in the hand and shaken, the display control unit 18 prohibits the change of the three-dimensional image based on the detection result detected by the touch panel 3.
  • the sound control unit 22 outputs a signal for generating sound to the sound generation unit 5 based on the calculation result by the motion calculation unit 20. Specifically, the sound corresponding to the movement of the three-dimensional object 15 obtained by calculation (for example, the collision sound, "Stop" so that the sound of the three-dimensional object 15 caused by the movement of the display unit 2 itself is generated. , Etc.) is output to the sound generation unit 5.
  • the method for calculating the collision sound for example, the method described in JP-A-2009-205626 can be adopted.
  • Japanese Unexamined Patent Publication No. 2009-205626 describes a method using a 3D model of a three-dimensional object 15 and physical properties showing the hardness of the three-dimensional object 15.
  • the force sense control unit 21 outputs a signal for presenting the force sense to the force sense presentation unit 6 based on the calculation result by the motion calculation unit 20.
  • the three-dimensional object 15 the character of the lord penguin, etc.
  • the three-dimensional object is attached to the members (pedestal 8, screen 9, reflection mirror 10) constituting the outer surface of the space 14.
  • a signal for presenting a force sense according to the movement of the three-dimensional object 15 obtained by calculation so that the user of the image display device 1 (own device) can feel the vibration that may occur when the 15 comes into contact with the force sense presentation unit.
  • the three-dimensional object 15 may have a product display function for displaying products on a shopping site.
  • FIG. 5 shows a state in which a fountain pen, which is a product on a shopping site, is displayed as a three-dimensional object 15.
  • a fountain pen which is a product on a shopping site
  • a three-dimensional image showing how the article is broken according to the speed and acceleration of shaking the display unit 2 is displayed. It may be configured to be displayed. Further, for example, as shown in FIG.
  • the three-dimensional object 15 may be used when it is desired to play a musical instrument, and may have a musical instrument function that operates as a musical instrument.
  • FIG. 6 shows a state in which a handbell, which is a musical instrument, is displayed as a three-dimensional object 15.
  • the image display device 1 As described above, in the image display device 1 according to the embodiment of the present disclosure, it is assumed that the three-dimensional object 15 actually exists in the space 14, and the movement of the three-dimensional object 15 due to the movement of the display unit 2 itself is performed. I tried to calculate. Further, the three-dimensional image displayed by the display unit 2 is changed based on the calculated movement of the three-dimensional object 15. Further, based on the calculated movement of the three-dimensional object 15, the force sense presenting unit 6 is made to present the force sense. Therefore, for example, when the user holds and shakes the display unit 2 and moves the display unit 2 up and down, the three-dimensional object 15 (the lord penguin, the fountain pen, the handbell, etc.) when the space 14 is moved up and down, etc. ) Can be provided, and the user can more intuitively understand the weight and hardness of the three-dimensional object 15. Therefore, it is possible to provide the image display device 1 capable of more appropriately interacting with the user.
  • the three-dimensional object 15 the lord penguin, the fountain
  • the movement of the three-dimensional object 15 caused by the movement of the display unit 2 itself is displayed based on the calculated movement of the three-dimensional object 15. I tried to change the image. Further, based on the calculated movement of the three-dimensional object 15, the user feels the vibration that may occur when the three-dimensional object 15 comes into contact with the member constituting the outer surface, assuming that the three-dimensional object 15 actually exists in the space 14. As described above, the force sense presentation unit 6 was made to present the force sense. Therefore, it is possible to provide a force sense when the three-dimensional object 15 is assumed to be in contact with the pedestal 8, the screen 9, or the reflection mirror 10, and it is possible to make the space 14 feel as if the three-dimensional object 15 exists.
  • the substance information of the three-dimensional object 15 (at least one of mass, center of gravity, density, volume, Young's modulus, Poisson's ratio, vibration damping rate, viscosity, and outer shape), And the movement of the three-dimensional object 15 is calculated based on the movement detected by the movement detection unit 4. Therefore, for example, as shown in FIG. 5, when the product (fountain pen) on the shopping site is displayed as the three-dimensional object 15, the three-dimensional image accurately reflects the mass of the product (fountain pen). It can provide a sense of force and allow the user to more intuitively understand the weight and hardness of the product (fountain pen).
  • the three-dimensional image displayed by the display unit 2 is changed based on the detection result of the operation input by the operation input detection unit 3, so that the three-dimensional object is displayed.
  • the 15 can be rotated in the direction desired by the user, and the like.
  • the operation input detection unit 3 is a touch panel provided on the outer surface of the display unit 2, a microphone for acquiring the sound around the display unit 2, and the periphery of the display unit 2. It was at least one of a camera that captures the image of the above and a distance image sensor that captures a distance image around the display unit 2. Therefore, for example, various operation inputs such as touch operation by fingers, operation by voice, and operation by gesture can be performed.
  • one operation input detection unit 3 has a plurality of operation methods. Then, when the display unit 2 is held in the hand, the three-dimensional image displayed by the display unit 2 is displayed only based on the detection result of the operation input by some of the plurality of operation methods. I tried to change it. Therefore, for example, when the user holds the display unit 2 in his / her hand to view the three-dimensional object 15 from each direction of 360 °, only the flick operation can be accepted. Therefore, when the user unintentionally touches the operation input detection unit 3 and the pointing operation is performed, it is possible to prohibit the change of the three-dimensional image due to the pointing operation, and it is possible to prevent an unintended operation. it can.
  • the change of the three-dimensional image based on the detection result detected by the operation input detection unit 3 was banned. Therefore, unintended operation can be prevented more reliably.
  • FIG. 7 shows a state in which a toy formed by connecting a plurality of small rings to a large ring is displayed as a three-dimensional object 15.
  • the display control unit 18 detects the operation input by some of the plurality of operation methods.
  • the three-dimensional image displayed by the display unit 2 may be changed based only on the detection result of the operation input by the operation input detection unit 3 having the highest priority.
  • the display control unit 18 detects an operation input by a plurality of operation methods (for example, a flick operation and a pointing operation)
  • the display control unit 18 has a priority among the detected operation inputs.
  • the three-dimensional image displayed by the display unit 2 may be changed based only on the detection result of the operation input by the operation method having the highest operation method (for example, flick operation). Further, the operation method is set depending on whether the display unit 2 is shaken (step S104 “Yes” in FIG. 4) or the display unit 2 is not shaken (step S104 “No” in FIG. 4). It may be configured to change the priority. For example, when the display unit 2 is not shaken, the priority of the flick operation> the priority of the pointing operation, and when the display unit 2 is shaken, the priority of the pointing operation> the priority of the flick operation. Can be.
  • the operation input by the operation method having the highest priority among the detected operation inputs is detected.
  • the three-dimensional image displayed by the display unit 2 is changed based only on the result. Further, the priority set in the operation method is changed depending on whether the display unit 2 is shaken or the display unit 2 is not shaken. Therefore, for example, when performing an operation input by an operation method having a high priority, if an operation input by an operation method having a low priority is also mistakenly performed, only the operation input by the operation method having a high priority is valid. Therefore, the operation input by the operation method having a low priority can be invalidated, and an unintended operation can be prevented.
  • the configuration may have a learning support function that indicates the behavior of the three-dimensional object 15 when the substance information (viscosity of the liquid, etc.) of the substance constituting the three-dimensional object 15 is changed.
  • S201 may be provided instead of step S105 of the control process shown in FIG.
  • a liquid is adopted as a substance constituting the three-dimensional object 15, and the “three-dimensional object 15” is also referred to as a “liquid 15”. ..
  • step S201 the motion calculation unit 20 calculates the movement of the liquid 15 caused by the movement of the display unit 2 itself, assuming that the liquid 15 actually exists in the space 14 of the display unit 2. Specifically, based on the movement data acquired in step S104 and the substance information of the liquid 15, the movement of the liquid 15 when the display unit 2 is performing the movement indicated by the data according to a predetermined physical law. calculate. As a result, for example, when the display unit 2 whose longitudinal direction is directed to the left and right is held in the hand and the display unit 2 is tilted to the right, the liquid 15 moves to the right in the space 14 due to gravity, and the liquid The movement of the liquid 15 until the 15 collides with the right end of the space 14 and bounces off due to the impact of the collision is calculated.
  • the display control unit 18 outputs a signal for changing the three-dimensional image to the output unit 12 based on the calculation result by the motion calculation unit 20. Specifically, image data of a three-dimensional image corresponding to the calculated movement of the liquid 15 is sequentially created so that the movement of the liquid 15 caused by the movement of the display unit 2 itself is displayed. At the same time, the created image data is sequentially converted into the data of the image light 13, and the signal for irradiating the image light 13 indicated by the converted data is sequentially output to the emitting unit 12.
  • the liquid 15 moves to the right in the space 14 and collides with the right end of the space 14 ⁇ the liquid 15
  • a three-dimensional image of moving to the left in the space 14 and colliding with the left end of the space 14 is repeatedly displayed on the display unit 2. That is, the liquid 15 is in a state according to the calculation result of the motion calculation unit 20.
  • Newton's law of viscosity as a predetermined physical law when calculating the movement of the liquid 15, when the liquid 15 is a highly viscous fluid such as starch syrup, the liquid 15 is slowly deformed. A three-dimensional image showing the situation can be displayed.
  • the sound control unit 22 outputs a signal for generating sound to the sound generation unit 5 based on the calculation result by the motion calculation unit 20. Specifically, a signal for generating a sound corresponding to the movement of the liquid 15 obtained by calculation is output to the sound generation unit 5 so that the sound of the liquid 15 caused by the movement of the display unit 2 itself is generated. ..
  • Examples of the sound corresponding to the movement of the liquid 15 include a collision sound, a wave sound, and the like.
  • the force sense control unit 21 outputs a signal for presenting the force sense to the force sense presentation unit 6 based on the calculation result by the motion calculation unit 20. Specifically, assuming that the liquid 15 actually exists in the space 14, an image of vibrations that can occur when the liquid 15 comes into contact with the members (pedestal 8, screen 9, reflection mirror 10) constituting the outer surface of the space 14. As the user of the display device 1 (own device) feels, a signal for presenting a force sense corresponding to the movement of the liquid 15 obtained by calculation is output to the force sense presentation unit 6. The output of the signal to the emitting unit 12, the sound generating unit 5, and the force sense presenting unit 6 is repeated until the display unit 2 is placed or shaken, and when the display unit 2 is placed or shaken, the process returns to step S102.
  • the three-dimensional object 15 that moves according to a predetermined physical law is displayed based on the substance information of the three-dimensional object 15 and the motion detected by the motion detection unit 4.
  • the movement of the three-dimensional object 15 is calculated. Therefore, for example, as shown in FIG. 9, when a liquid having a predetermined viscosity is displayed as the three-dimensional object 15, a three-dimensional image showing how the liquid flows according to the viscosity and a liquid movement can be obtained. It can provide the accompanying force sense and can be useful for the user to learn the viscosity.
  • the user tilts the display unit 2 to the left and right, but other configurations can be adopted. For example, the operation of flipping the display unit 2 upside down may be performed.
  • step S201 of FIG. 8 when the user holds the display unit 2 in his / her hand and the display unit 2 is not shaken, the step S201 of FIG. 8 is performed.
  • An example of migration is shown, but other configurations can be adopted.
  • the configuration may be such that the process proceeds to step S201 of FIG.
  • the repetitive operation of step S201 of FIG. 8 is terminated and the process returns to step S102. May be good.
  • FIG. 9 shows a learning support function, as shown in FIG. 9, an example of displaying the behavior of the liquid 15 is shown, but other configurations can be adopted.
  • the organisms listed on the page of the open pictorial book may be displayed in conjunction with the pictorial book.
  • FIG. 10 shows a state in which a butterfly is displayed as a three-dimensional object 15.
  • the configuration may have an operation display function showing a simulation result of the operation of the snow globe when the operation of poking the display unit 2 with a finger is performed.
  • S301 may be provided instead of step S105 of the control process shown in FIG.
  • FIG. 12 it is assumed that snow is adopted as the three-dimensional object 15, and the “three-dimensional object 15” is also referred to as “snow 15”.
  • step S301 the motion calculation unit 20 calculates the movement of the snow 15 due to the movement of the display unit 2 itself, assuming that the snow 15 actually exists in the space 14 of the display unit 2. Specifically, based on the detection result acquired from the touch panel 3, the position of the touch panel 3 where the finger has touched is detected. Subsequently, based on the detected position, the movement data acquired in step S104, and the substance information of the snow 15, the movement indicated by the data is poked at the position where the finger touches according to a predetermined physical law. The movement of the snow 15 when the display unit 2 is performing is calculated.
  • the movement of the snow 15 is calculated until the snow 15 soars from the pecked place and the risen snow 15 piles up. At that time, the amount of snow 15 soaring increases as the movement of the display unit 2 itself increases.
  • the display control unit 18 outputs a signal for changing the three-dimensional image to the output unit 12 based on the calculation result by the motion calculation unit 20. Specifically, image data of a three-dimensional image corresponding to the calculated movement of the snow 15 is sequentially created so that the movement of the snow 15 caused by the movement of the display unit 2 itself is displayed. At the same time, the created image data is sequentially converted into the data of the image light 13, and the signal for irradiating the image light 13 indicated by the converted data is sequentially output to the emitting unit 12. As a result, when the user performs an operation of poking the display unit 2, a three-dimensional image in which the snow 15 soars in the space 14 is displayed on the display unit 2 due to the vibration generated by the poking.
  • the sound control unit 22 outputs a signal for generating sound to the sound generation unit 5 based on the calculation result by the motion calculation unit 20.
  • the sound corresponding to the movement of the snow 15 obtained by calculation for example, the sound when the snow 15 soars, the snow
  • a signal for generating is output to the sound generation unit 5.
  • the force sense control unit 21 outputs a signal for presenting the force sense to the force sense presentation unit 6 based on the calculation result by the motion calculation unit 20.
  • an example of using the operation of poking the display unit 2 with a finger is shown as an operation for displaying the three-dimensional image in which the snow 15 dances, but other configurations can also be adopted.
  • another operation that exerts a physical force on the image display device 1, such as an operation of tilting the display unit 2, an operation of blowing on the display unit 2, an operation of flicking a part of the image display device 1 with a finger is used. You may.
  • a three-dimensional image of various objects such as an ice flower or a snow fairy may be displayed from the pecked position according to the pecked position.
  • the image display device 1 detects the position of the touch panel 3 where the finger touches, and based on the detected position, displays the three-dimensional image displayed by the display unit 2. I tried to change it. Therefore, for example, as shown in FIG. 12, when the snow is displayed as the three-dimensional object 15, the three-dimensional image in which the snow rises from the place where the finger is pecked and the force sense accompanying the snow rise can be obtained. It can be provided and the snow globe can be reproduced more appropriately.
  • a remote location may be used when it is desired to see the current state of a remote location, and may have a configuration having a real space cutout display function for displaying a live camera image taken by a drone in the remote location.
  • a drone in a remote location for example, as shown in FIG. 13, a submersible drone that sails underwater in the sea of a coral reef or the like can be adopted.
  • the shooting location by the submersible drone is also moved in the same distance and direction, so that the desired position in the sea is three-dimensionally moved. It can be displayed as the original image.
  • the example in which the controller 7 is arranged inside the pedestal 8 and the controller 7 is integrated with the display unit 2 is shown, but other configurations can also be adopted.
  • the controller 7 may be arranged outside the pedestal 8 to separate the controller 7 from the display unit 2.
  • the size of the controller 7 can be increased.
  • the cylindrical screen 9 is irradiated with the image light 13 to display a three-dimensional image is shown, but other configurations can also be adopted.
  • a three-dimensional image may be displayed using a device in which a liquid crystal display is arranged on each surface of the cube.
  • a three-dimensional image can be visually recognized from around 360 ° around the display unit 2 as the display unit 2, but other configurations can also be adopted.
  • a configuration may be used in which the visible angle range of the three-dimensional image is narrower than 360 °.
  • a force sense presenting device for presenting a force sense by controlling the angular momentum of a plurality of rotating bodies is used as the force sense presenting unit 6
  • other configurations are shown.
  • a linear actuator that presents a sense of force by generating vibration may be used.
  • the force sense presenting unit 6 may be arranged inside each of the pedestal 8 and the reflection mirror 10.
  • the force sense presenting unit 6 is arranged inside each of the pedestal 8 and the reflection mirror 10, it is possible to present a more realistic force sense by using vibration.
  • the force sense presenting unit 6 that presents the force sense by vibration is used, for example, as shown in FIG.
  • a plurality of linear force sense presenting units 6 may be arranged on the outer surface of the display unit 2.
  • the linear force sense presenting unit 6 for example, a linear actuator capable of generating vibration at an arbitrary position among a plurality of predetermined positions on the force sense presenting unit 6 (on the line) can be adopted.
  • vibration can be generated from the collision location, and vibration can be generated from the collision location. It is possible to reproduce how the generated vibration propagates along the outer surface of the display unit 2, and it is possible to present a more realistic sense of force.
  • the “placement” is set.
  • An example of selecting one of the "held mode”, “held mode”, and “shaken mode” is shown, but other configurations can also be adopted.
  • the "held mode” is changed to ". It may be configured to transition to the "placed mode”. Specifically, as shown in FIG.
  • the mode switching unit 19 determines whether or not the touch panel 3 is in contact with a plurality of fingers or palms based on the detection result output from the touch panel 3 (step S401). .. Subsequently, when it is determined that there is no contact, the lower surface of the image display device 1 is kept horizontal and the display unit 2 is kept horizontal based on the detection results output from the gyro sensor and the motion detection unit 4 (not shown). It is determined whether or not the condition that is not moving in any direction is satisfied (step S402). Then, when it is determined that the above conditions are satisfied, the mode is switched from the "held mode" to the "placed mode” (step S403).
  • the "placed mode” is used. It may be configured to transition from to "held mode”. Specifically, as shown in FIG. 17, the mode switching unit 19 determines whether or not the image display device 1 is approaching the image display device 1 based on the detection result output from a camera (not shown) (step S501). Subsequently, when it is determined that the hand is approaching, it is determined whether the approaching hand is trying to hold the image display device 1 (step S502).
  • step S503 when it is determined that the image display device 1 is to be held, the touch panel 3 is made unresponsive to the operations (flick operation, pointing operation), and then based on the detection result output from the touch panel 3. , It is determined whether the finger or the palm is in contact with the image display device 1 (step S503). Subsequently, when it is determined that the fingers or palm are in contact with the image display device 1, whether the image display device 1 is moving in any direction based on the detection result output from the motion detection unit 4. Is determined (step S504). Then, when it is determined that the image display device 1 is moving in any direction, the mode is switched from the "placed mode" to the "held mode” (step S505).
  • the mode may be changed from the "held mode" to the "swinged mode".
  • the mode switching unit 19 determines whether the image display device 1 is shaken at an acceleration equal to or higher than a predetermined value based on the detection result output from the motion detection unit 4. Determine (step S601). Subsequently, when it is determined that the image display device 1 has been shaken, the state of accepting the action of shaking or tilting the image display device 1 is entered (step S602).
  • the three-dimensional object 15 is displaced from the central portion of the space 14 of the display unit 2, and the three-dimensional object 15 moves due to the movement of the display unit 2 itself.
  • the three-dimensional image is changed (step S603).
  • the three-dimensional image is changed so that the three-dimensional object 15 moving according to a predetermined physical law is displayed at the bottom of the space 14 (step S603).
  • a predetermined predetermined time for example, 1 minute
  • the three-dimensional object 15 is displayed on the display unit 2.
  • the three-dimensional image is changed so as to return to the central portion of the space 14 (step S603).
  • the mode is switched from the "held mode" to the "placed mode” (step S604).
  • the mode of the image display device 1 is the "shaking mode"
  • the display unit 2 itself does not move due to the force applied from the outside for a predetermined time or more, that is, the acceleration is detected. If it is determined that there is no such thing, the mode may be switched to the "held mode".
  • the mode of the image display device 1 may be selectable from another device such as a smartphone.
  • the image display device 1 is provided with three mode switching buttons corresponding to each of the "placed mode", “held mode”, and “swinged mode", and the three mode switching buttons are provided. When any of them is pressed, it may be determined that the mode corresponding to the pressed mode switching button is selected.
  • a three-dimensional image showing an animation such as a screen saver may be displayed on the display unit 2.
  • a three-dimensional image showing an animation such as a screen saver may be displayed on the display unit 2.
  • the present technology can have the following configurations.
  • a display unit that displays a three-dimensional image in which a three-dimensional object appears to exist in a space separated by members that make up the outer surface so that it can be visually recognized from multiple surrounding directions.
  • a motion detection unit that detects the movement of the display unit itself due to a force applied from the outside
  • a motion calculation unit that calculates the movement of the three-dimensional object due to the movement of the display unit itself, assuming that the three-dimensional object actually exists in the space based on the motion detected by the motion detection unit.
  • a display control unit that changes the three-dimensional image displayed by the display unit based on the calculation result of the motion calculation unit.
  • a force sense presentation unit that presents the force sense to the user of the own device
  • An image display device including a force sense control unit that causes the force sense presentation unit to present a force sense based on a calculation result by the motion calculation unit.
  • the display control unit changes the three-dimensional image so that the movement of the three-dimensional object caused by the movement of the display unit itself is displayed.
  • the force sense control unit may occur when the three-dimensional object comes into contact with a member constituting the outer surface, assuming that the three-dimensional object actually exists in the space based on the calculation result by the motion calculation unit.
  • the image display device according to (1) above, wherein the force sense presenting unit presents a force sense so that the user feels the vibration.
  • the three-dimensional object is set with substance information that is at least one of mass, center of gravity, density, volume, Young's modulus, Poisson's ratio, vibration damping rate, viscosity, and outer shape.
  • the image display device according to (1) or (2), wherein the motion calculation unit calculates the motion of the three-dimensional object according to a predetermined physical law based on the substance information and the motion detected by the motion detection unit.
  • the display control unit calculates the motion of the three-dimensional object according to a predetermined physical law based on the substance information and the motion detected by the motion detection unit.
  • the display control unit further describes any of (1) to (3) above, which has a display operation unit that changes the three-dimensional image displayed by the display unit based on the detection result of the operation input.
  • Image display device
  • the operation input detection unit includes a touch panel provided on the outer surface of the display unit, a microphone that acquires sounds around the display unit, a camera that captures an image around the display unit, and a distance around the display unit.
  • the operation input detection unit is the touch panel.
  • the display operation unit detects a position of contact with a finger on the touch panel, and changes the three-dimensional image displayed by the display unit based on the detected position according to the above (5).
  • Image display device One of the operation input detection units has a plurality of operation methods.
  • the display operation unit displays the display operation unit based only on the detection result of the operation input by some of the plurality of operation methods.
  • the image display device according to any one of (4) to (6), which changes the three-dimensional image.
  • the display operation unit prohibits a change in the three-dimensional image based on the detection result detected by the operation input detection unit when the display unit is held and shaken in the hand (7).
  • the image display device described. One of the operation input detection units has a plurality of operation methods. When the operation input by a plurality of operation methods is detected, the display operation unit causes the display operation unit to be based only on the detection result of the operation input by the operation method having the highest priority among the detected operation inputs. While changing the displayed three-dimensional image, the priority set in the operation method is changed depending on whether the display unit is shaken or not.
  • the image display device according to any one of 4) to (6).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

ユーザとのインタラクションをより適切に行うことが可能な画像表示装置を提供する。外面を構成する部材で区切られた空間内に三次元オブジェクトが存在するように見える三次元画像を周囲の複数方向から視認できるように表示する表示部と、外部から加えられた力による表示部自体の動きを検出する動き検出部と、動き検出部で検出した動きに基づき、空間内に三次元オブジェクトが実在すると仮定して、表示部自体の動きに起因する三次元オブジェクトの動きを計算する動き計算部と、動き計算部による計算結果に基づき、表示部が表示している三次元画像を変化させる表示制御部と、自装置のユーザに力覚を提示する力覚提示部と、動き計算部による計算結果に基づき、力覚提示部に力覚を提示させる力覚制御部とを備えるようにした。

Description

[規則37.2に基づきISAが決定した発明の名称]　力覚を提示する画像表示装置
　本技術は、画像表示装置に関する。
　従来、円筒状の台座の上側に、円筒状のスクリーン及び略円板状のミラーが積層され、台座の中心に、光軸を鉛直上方に向けて、ＲＧＢの各色に対応したレーザ光を走査するカラープロジェクタが配置された画像表示装置が提案されている（例えば、特許文献１参照）。特許文献１に記載の画像表示装置では、カラープロジェクタがレーザ光を鉛直上方に向けて放射状に出射し、出射したレーザ光が反射ミラーでスクリーンの全周に向けて放射状に反射される。そして、レーザ光が全周に反射されたスクリーンによって、スクリーンで区切られた空間内に周囲の複数方向から三次元オブジェクトを視認できる三次元画像が表示される。
国際公開第２０１８／１６３９４５号
　このような画像表示装置では、単に三次元画像を表示するだけでなく、ユーザと適切なインタラクションを行うことが求められている。
　本開示は、ユーザとのインタラクションをより適切に行うことが可能な画像表示装置を提供することを目的とする。
　本開示の画像表示装置は、（ａ）外面を構成する部材で区切られた空間内に三次元オブジェクトが存在するように見える三次元画像を周囲の複数方向から視認できるように表示する表示部と、（ｂ）外部から加えられた力による表示部自体の動きを検出する動き検出部と、（ｃ）動き検出部で検出した動きに基づき、空間内に三次元オブジェクトが実在すると仮定して、表示部自体の動きに起因する三次元オブジェクトの動きを計算する動き計算部と、（ｄ）動き計算部による計算結果に基づき、表示部が表示している三次元画像を変化させる表示制御部と、（ｅ）自装置のユーザに力覚を提示する力覚提示部と、（ｆ）動き計算部による計算結果に基づき、力覚提示部に力覚を提示させる力覚制御部とを備える。
実施形態に係る画像表示装置の全体構成を示す図である。 三次元画像を表示させた画像表示装置を示す図である。 コントローラの内部構成を示す図である。 制御処理の処理内容を示すフローチャートである。 変形例に係る画像表示装置の動作を示す図である。 変形例に係る画像表示装置の動作を示す図である。 変形例に係る画像表示装置の動作を示す図である。 変形例に係る制御処理の処理内容を示すフローチャートである。 変形例に係る画像表示装置の動作を示す図である。 変形例に係る画像表示装置の動作を示す図である。 変形例に係る制御処理の処理内容を示すフローチャートである。 変形例に係る画像表示装置の動作を示す図である。 変形例に係る画像表示装置の動作を示す図である。 変形例に係る画像表示装置の全体構成を示す図である。 変形例に係る画像表示装置の全体構成を示す図である。 変形例に係る制御処理の処理内容を示すフローチャートである。 変形例に係る制御処理の処理内容を示すフローチャートである。 変形例に係る制御処理の処理内容を示すフローチャートである。
　以下に、本開示の実施形態に係る画像表示装置の一例を、図１～図１８を参照しながら説明する。本開示の実施形態は以下の順序で説明する。なお、本開示は以下の例に限定されるものではない。また、本明細書に記載された効果は例示であって限定されるものではなく、また他の効果があってもよい。
１．実施形態：画像表示装置
　１－１　画像表示装置の全体の構成
　１－２　制御処理の内容
　１－３　変形例
〈１．実施形態〉
［１－１　画像表示装置の全体の構成］
　本開示の実施形態に係る画像表示装置１について説明する。本実施形態に係る画像表示装置１は、周囲の複数方向から三次元オブジェクト１５の三次元画像を視認可能とする表示装置である。また、画像表示装置１は、図２に示すように、三次元オブジェクト１５として、キャラクターを表示するキャラクター表示機能を有している。画像表示装置１の大きさは、図５に示すように、ユーザが片手で持てる程度に小型のものとする。
　図１に示すように、本実施形態の画像表示装置１は、表示部２と、操作入力検出部３と、動き検出部４と、音発生部５と、力覚提示部６と、コントローラ７とを備えている。図１では、台座８の内部を視認できるように、台座８の一部が破断して示されている。
　表示部２は、上面が開口され下面が塞がれた円筒状の台座８の上側に、円筒状のスクリーン９、及び略円板状の反射ミラー１０がこの順に積層されて形成されている。
　台座８の内部の中心には、光軸１１を鉛直上方に向けた出射部１２が配置されている。出射部１２としては、例えば、ＲＧＢの各色に対応したレーザ光（以下、「画像光１３」とも呼ぶ）を走査して各画素を表示するカラープロジェクタを採用できる。そして、出射部１２は、コントローラ７からの信号に従って、三次元画像を構成するための画像光１３を上方に向けて放射状に出射し、出射した画像光１３を反射ミラー１０でスクリーン９に反射させる。三次元画像としては、例えば、スクリーン９で区切られた空間１４内に三次元オブジェクト１５（図２参照）が存在するように見える画像を採用できる。
　スクリーン９としては、例えば、入射した画像光１３を拡散して出射することで、三次元画像が表示されるホログラムスクリーンを採用できる。例えば、国際公開２０１８／１６３９４５号に記載されているような、スクリーン９を透視可能な透過型ホログラムを採用できる。透過型ホログラムによれば、図２に示すように、三次元画像が現す三次元オブジェクト１５が表示されていない箇所から画像表示装置１の裏側を見ることができ、スクリーン９を透明なガラス等の容器のように感じさせることができる。図２は、三次元オブジェクト１５として、殿様ペンギンのキャラクターが表示された状態を示している。
　反射ミラー１０としては、出射部１２から出射された画像光１３を反射する反射面を下方に有するミラーを採用できる。そして、反射ミラー１０は、出射部１２から上方に向けて放射状に出射された画像光１３を、スクリーン９の全周に向けて放射状に反射する。
　以上の構成を有する表示部２では、コントローラ７からの信号に従い、図１に示すように、出射部１２が画像光１３を上方に向けて放射状に出射し、出射した画像光１３が反射ミラー１０でスクリーン９の全周に向けて放射状に反射される。そして、画像光１３が全周に反射されたスクリーン９によって、図２に示すように、スクリーン９で区切られた空間１４内に三次元オブジェクト１５が存在するように見える三次元画像が、周囲の複数方向から視認できるように表示される。その際、スクリーン９を透明なガラス等の容器のように感じさせることで、容器に三次元オブジェクト１５が収容されているように見せることができる。これにより、ＨＭＤ（Head Mounted Display）等の特別なデバイスが必要なく、デバイス装着の煩わしさを感じさせずに、三次元画像を見せることができる。
　なお、本実施形態では、空間１４として、円筒状のスクリーン９で区切られた空間を用いる例を示したが、他の構成を採用することもできる。空間１４は、外側に凸の外面を構成する部材で区切られた空間であればよく、例えば、半円筒状のスクリーン９で区切られた空間でもよいし、四角筒状のスクリーン９で区切られた空間であってもよい。
　操作入力検出部３は、ユーザによる操作入力を検出する。操作入力検出部３の検出結果は、コントローラ７に出力される。操作入力検出部３としては、例えば、表示部２の外面に設けられたタッチパネル、表示部２の周囲の音を取得するマイク、表示部２の周囲の画像を撮影するカメラ及び表示部２の周囲の距離画像を撮影する距離画像センサ（例えば、ＴＯＦ(Time Of Flight)カメラ）の少なくとも何れかを採用できる。本実施形態の以下の説明では、操作入力検出部３としてタッチパネルを採用するものとし、「操作入力検出部３」を「タッチパネル３」とも記すものとする。タッチパネル３は、スクリーン９の外周面の全周に設けられ、手指等の接触の有無及び接触位置の座標を検出する。タッチパネル３は、フリック操作やポインティング操作等、複数の操作方法を有している。
　動き検出部４は、台座８の内部に配置され、外部から加えられた力による表示部２自体の動きを検出する。外部から加えられた力としては、例えば、光軸１１と平行な方向に表示部２を振って上下動させる力が挙げられる。また、表示部２自体の動きとしては、例えば、表示部２の上下動が挙げられる。動きのデータは、コントローラ７に出力される。動き検出部４としては、例えば、ＸＹＺの３方向の加速度を検出する加速度センサを採用できる。加速度センサを採用する場合、動きのデータとしては、加速度を採用できる。
　音発生部５は、台座８の内部に配置され、コントローラ７からの信号に従って、三次元オブジェクト１５の動作にともなう音等を表示部２の周囲に向けて発生する。音発生部５としては、例えば無指向性のスピーカ（３６０°スピーカ）を採用することができる。
　力覚提示部６は、台座８の内部に配置され、コントローラ７からの信号に従って、三次元オブジェクト１５の動作にともなう力覚等を画像表示装置１（自装置）のユーザに提示する。力覚提示部６としては、複数の回転体の角運動量を制御することで、任意の大きさ及び方向の力及び回転力を発生する力覚提示装置を採用できる。例えば、特開２００５－１９０４６５に記載されているような、２つの偏芯回転子の回転方向、回転速度及び位相を制御することで、任意の方向、強度及び周波数の振動、回転力及び力感覚を提示するハイブリッド型インターフェースを採用できる。ハイブリッド型インターフェースによれば、２つの偏芯回転子を反対方向に同期回転させ、位相を制御することで、任意の方向に直線的に単振動する力を合成できる。これにより、衝突の衝撃力の感覚等を提示できる。
　コントローラ７は、台座８の内部に配置され、図３に示すように、記憶装置１６及びプロセッサ１７等のハードウェア資源を備えている。
　記憶装置１６は、プロセッサ１７で実行可能な画像表示装置１の制御プログラムを記憶している。また記憶装置１６は、制御プログラムの実行に必要な各種データを記憶する。
　プロセッサ１７は、記憶装置１６に記憶されている制御プログラムに従い、表示制御部１８、モード切替部１９、動き計算部２０、力覚制御部２１及び音制御部２２を実現する。そして、表示制御部１８、モード切替部１９、動き計算部２０、力覚制御部２１及び音制御部２２により、動き検出部４から出力される表示部２自体の動きのデータに基づき、画像光１３、音及び力覚のそれぞれを制御する信号を出射部１２、音発生部５及び力覚提示部６のそれぞれに出力して、ユーザと画像表示装置１とのインタラクションを円滑化するための制御処理を実行する。表示制御部１８は、表示操作部２３を有する構成とする。
［１－２　制御処理の内容］
　次に、プロセッサ１７で実現される表示制御部１８、モード切替部１９、動き計算部２０、力覚制御部２１及び音制御部２２が実行する制御処理について説明する。制御処理は、画像表示装置１の図示しない電源スイッチがオン状態にされると実行される。
　図４に示すように、まずステップＳ１０１では、表示制御部１８が、表示部２に三次元画像を表示する画像光１３を出射させる信号を出射部１２に出力する。その際、ユーザが三次元オブジェクト１５の下面を見ることができるように、三次元オブジェクト１５は、空間１４の上下端に接触せず、空間１４の中央部に表示されるようにする。これにより、三次元オブジェクト１５が空間１４内で浮遊しているように感じさせることができる。
　続いてステップＳ１０２に移行して、モード切替部１９が、ユーザが表示部２を手に持っているかを判定する。具体的には、まず、タッチパネル３から出力される検出結果を取得する。続いて、取得した検出結果（手指等の接触位置の座標の情報）に基づき、タッチパネル３に複数本の手指や手のひらが接触しているかを判定する。そして、複数本の手指等が接触していないと判定した場合には、表示部２を手に持っていないと判定して（Ｎｏ）、ステップＳ１０３に移行する。一方、複数本の手指等が接触していると判定した場合には、表示部２を手に持っていると判定して（Ｙｅｓ）、ステップＳ１０４に移行する。
　ステップＳ１０３では、モード切替部１９が、画像表示装置１のモードを「置かれたモード」に切り替える。「置かれたモード」では、表示操作部２３が、タッチパネル３へのフリック操作やポインティング操作に基づき、表示部２が表示している三次元画像を変化させる信号を出射部１２に出力する。具体的には、まず、タッチパネル３から出力される検出結果を取得する。続いて、取得した検出結果に基づき、フリック操作やポインティング操作が行われたかを判定する。続いて、フリック操作が行われたと判定した場合には、フリック操作の向きに三次元オブジェクト１５を回転させる三次元画像の画像データを順次作成する。三次元オブジェクト１５の回転中に、タッチ操作があったと判定した場合には、三次元オブジェクト１５の回転を停止させる三次元画像の画像データを作成する。
　一方、表示操作部２３が、ポインティング操作が行われたと判定した場合には、ポインティング操作で指定された位置に応じた動作を三次元オブジェクト１５に行わせる三次元画像の画像データを順次作成する。また同時に、作成した画像データを画像光１３のデータに順次変換し、変換して得たデータが示す画像光１３を照射させる信号を出射部１２に順次出力する。このような、三次元画像の画像データの作成→画像光１３のデータへの変換→出射部１２への信号の出力のフローは、表示部２が手で持たれるまで繰り返され、表示部２が手で持たれると、ステップＳ１０２に戻る。その際、三次元オブジェクト１５は、空間１４の上端及び下端の何れにも接触せず、表示部２の空間１４の中央部に存在する状態が維持され空間１４内で浮遊しているようにユーザに感じさせることができる。
　一方、ステップＳ１０４では、モード切替部１９が、ユーザが表示部２を手に持って振っているかを判定する。具体的には、まず、動き検出部４から出力される動きのデータを取得する。続いて、取得したデータに基づき、表示部２の振動の大きさが所定閾値以上であるかを判定する。そして、表示部２の振動の大きさが所定閾値未満であると判定した場合には、表示部２を手に持って振っていないと判定して（Ｎｏ）、ステップＳ１０５に移行する。一方、表示部２の振動の大きさが所定閾値以上であると判定した場合には、表示部２を手に持って振っていると判定して（Ｙｅｓ）、ステップＳ１０６に移行する。
　ステップＳ１０５では、モード切替部１９が、画像表示装置１のモードを「持たれたモード」に切り替える。「持たれたモード」では、表示操作部２３が、タッチパネル３へのフリック操作に基づき、表示部２が表示している三次元画像を変化させる信号を出射部１２に出力する。具体的には、まず、タッチパネル３から出力される検出結果を取得する。続いて、取得した検出結果に基づき、フリック操作が行われたかを検出する。続いて、フリック操作が行われたと判定した場合には、フリック操作の向きに三次元オブジェクト１５を回転させる三次元画像の画像データを順次作成する。また同時に、作成した画像データを画像光１３のデータに順次変換し、変換して得たデータが示す画像光１３を照射させる信号を出射部１２に順次出力する。すなわち、表示操作部２３は、表示部２が手に持たれている場合には、タッチパネル３の複数の操作方法のうちの一部の操作方法（フリック操作）による操作入力の検出結果にのみ基づき、表示部２が表示している三次元画像を変化させる。これにより、「持たれたモード」では、ステップＳ１０３の「置かれたモード」と異なり、フリック操作のみ受け付け、ポインティング操作を受け付けない。
　このような、三次元画像の画像データの作成→画像光１３のデータへの変換→出射部１２への信号の出力のフローは、表示部２が置かれるまで又は振られるまで繰り返され、置かれたり振られたりすると、ステップＳ１０２に戻る。その際、三次元オブジェクト１５は、空間１４の上端及び下端の何れにも接触せず、表示部２の空間１４の中央部に存在する状態が維持され、空間１４内で浮遊しているようにユーザに感じさせることができる。
　なお、本実施形態では、ステップＳ１０５において、フリック操作の向きに三次元オブジェクト１５を回転させる三次元画像の画像データを順次作成する例を示したが、他の構成を採用してもよい。例えば、表示部２が手に持たれた直後、つまり、ステップＳ１０２の判定が「Ｎｏ」から「Ｙｅｓ」に切り替わった直後であるかを判定し、切り替わった直後であると判定した場合には、三次元オブジェクト１５（殿様ペンギンのキャラクター等）が驚いた様子を示す三次元画像の画像データを順次作成する構成としてもよい。
　一方ステップＳ１０６では、モード切替部１９が、画像表示装置１のモードを「振られるモード」に切り替える。「振られるモード」では、動き計算部２０が、表示部２の空間１４内に三次元オブジェクト１５が実在すると仮定して、表示部２自体の動きに起因する三次元オブジェクト１５の動きを計算する。具体的には、ステップＳ１０４で取得した動きのデータと、三次元オブジェクト１５の物質情報とに基づき、所定の物理法則に従って、データが示す動きを表示部２が行っているときの、三次元オブジェクト１５の動きを計算する。三次元オブジェクト１５の物質情報としては、例えば、三次元オブジェクト１５の質量、重心、密度、体積、ヤング率、ポアソン比、振動減衰率、粘性及び外形を採用できる。また、所定の物理法則としては、例えば、慣性の法則、運動の法則、作用・反作用の法則、エネルギー保存の法則、万有引力の法則、ニュートンの粘性法則を採用できる。また、三次元オブジェクト１５の動きとしては、例えば、三次元オブジェクト１５の位置、移動速度、空間１４上下端との衝突の有無、衝突後の跳ね返りの速度を採用できる。
　これにより、例えば、ユーザが表示部２を手に持って、表示部２の光軸１１を鉛直方向に向けた状態で表示部２を振り下ろした場合には、三次元オブジェクト１５が空間１４内を上方に移動し、三次元オブジェクト１５が慣性で空間１４の上端に衝突し、衝突の衝撃で跳ね返るまでの、三次元オブジェクト１５の動きが計算される。続いて、表示部２の光軸１１を鉛直方向に向けた状態で、表示部２を振り上げた場合には、三次元オブジェクト１５が慣性で空間１４内を下方に移動し、三次元オブジェクト１５が空間１４の下端に衝突し、衝突の衝撃で跳ね返るまでの、三次元オブジェクト１５の動きが計算される。それゆえ、表示部２を手で持って振り下ろす→表示部２を手で持って振り上げるという動作が繰り返された場合、上記した三次元オブジェクト１５の動きの計算が繰り返される。
　また同時に、表示制御部１８が、動き計算部２０による計算結果に基づき、三次元画像を変化させる信号を出射部１２に出力する。具体的には、表示部２自体の動きに起因する三次元オブジェクト１５の動きが表示されるように、計算して得た三次元オブジェクト１５の動きに応じた三次元画像の画像データを順次作成する。その際、三次元オブジェクト１５と空間１４の上下端とが衝突すると計算された場合には、三次元オブジェクト１５が空間１４の上下端に衝突する様子を示す三次元画像の画像データを作成する。また同時に、作成した画像データを画像光１３のデータに順次変換し、変換して得たデータが示す画像光１３を照射させる信号を出射部１２に順次出力する。これにより、ステップＳ１０３及びＳ１０５と異なり、表示部２を手で持って振る動作のみ受け付け、フリック操作及びポインティング操作を受け付けない。すなわち、表示制御部１８は、表示部２が手に持たれて振られている場合には、タッチパネル３で検出された検出結果に基づく三次元画像の変化を禁止する。
　これにより、ユーザが表示部２を手で持って振り下ろす→手で持って振り上げるという動作を繰り返した場合、三次元オブジェクト１５が空間１４内を上方に移動して空間１４の上端に衝突→三次元オブジェクト１５が空間１４内を下方に移動して空間１４の下端に衝突、という三次元画像が表示部２に繰り返し表示される。すなわち、ステップＳ１０１、Ｓ１０３及びＳ１０５と異なり、三次元オブジェクト１５が空中に浮遊した状態に維持されず、三次元オブジェクト１５が動き計算部２０の計算結果に応じた状態とされる。
　その際、音制御部２２が、動き計算部２０による計算結果に基づき、音を発生させる信号を音発生部５に出力する。具体的には、表示部２自体の動きに起因する三次元オブジェクト１５の音が発生されるように、計算して得た三次元オブジェクト１５の動きに応じた音（例えば、衝突音、「やめて」等のセリフ）を発生させる信号を音発生部５に出力する。衝突音の計算方法としては、例えば特開２００９－２０５６２６号公報に記載の方法を採用できる。特開２００９－２０５６２６号公報には、三次元オブジェクト１５の３Ｄモデルと、三次元オブジェクト１５の硬さ等を現す物性とを用いる方法が記載されている。
　また同時に、力覚制御部２１が、動き計算部２０による計算結果に基づき、力覚を提示させる信号を力覚提示部６に出力する。具体的には、空間１４内に三次元オブジェクト１５（殿様ペンギンのキャラクター等）が実在すると仮定して、空間１４の外面を構成する部材（台座８、スクリーン９、反射ミラー１０）に三次元オブジェクト１５が接触した場合に生じ得る振動を画像表示装置１（自装置）のユーザが感じるように、計算して得た三次元オブジェクト１５の動きに応じた力覚を提示させる信号を力覚提示部６に出力する。
　このような、三次元画像の画像データの作成→画像光１３のデータへの変換→出射部１２への信号の出力のフロー、並びに音発生部５や力覚提示部６への出力のフローは、表示部２を振る動作が終わるまで繰り返され振る動作が終わるとステップＳ１０２に戻る。
　なお、本実施形態では、図２に示すように、三次元オブジェクト１５として、殿様ペンギンのキャラクターを表示するキャラクター表示機能を有する例を示したが、他の構成を採用することもできる。例えば、図５に示すように、三次元オブジェクト１５として、ショッピングサイトにおける商品を表示する商品表示機能を有する構成としてもよい。図５は、三次元オブジェクト１５として、ショッピングサイトにおける商品である、万年筆が表示された状態を示している。なお、三次元オブジェクト１５として、万年筆等の物品を用いる場合には、キャラクターを用いる場合と異なり、表示部２を振る速度や加速度の大きさに応じて、物品が壊れる様子を示す三次元画像を表示させる構成としてもよい。
　また、例えば、図６に示すように、三次元オブジェクト１５として、楽器を演奏したい場合に用いられ、楽器として動作する楽器機能を有する構成としてもよい。図６は、三次元オブジェクト１５として、楽器である、ハンドベルが表示された状態を示している。
　以上説明したように、本開示の実施形態に係る画像表示装置１では、空間１４内に三次元オブジェクト１５が実在すると仮定して、表示部２自体の動きに起因する三次元オブジェクト１５の動きを計算するようにした。また、計算した三次元オブジェクト１５の動きに基づき、表示部２が表示している三次元画像を変化させるようにした。また、計算した三次元オブジェクト１５の動きに基づき、力覚提示部６に力覚を提示させるようにした。それゆえ、例えば、ユーザが表示部２を手に持って振って、表示部２を上下動させた場合に、空間１４が上下動されたときの三次元オブジェクト１５（殿様ペンギン、万年筆、ハンドベル等）の動きを現す三次元画像と力覚とを提供でき、三次元オブジェクト１５の重量感や硬さ等をより直感的にユーザに理解させることができる。そのため、ユーザとのインタラクションをより適切に行うことが可能な画像表示装置１を提供することができる。
　また、本開示の実施形態に係る画像表示装置１では、計算した三次元オブジェクト１５の動きに基づき、表示部２自体の動きに起因する三次元オブジェクト１５の動きが表示されるように、三次元画像を変化させるようにした。また、計算した三次元オブジェクト１５の動きに基づき、空間１４内に三次元オブジェクト１５が実在すると仮定して、外面を構成する部材に三次元オブジェクト１５が接触した場合に生じ得る振動をユーザが感じるように、力覚提示部６に力覚を提示させるようにした。それゆえ、台座８、スクリーン９又は反射ミラー１０に三次元オブジェクト１５が接触したと仮定した場合の力覚を提供でき、空間１４内に三次元オブジェクト１５が存在するように感じさせることができる。
　また、本開示の実施形態に係る画像表示装置１では、三次元オブジェクト１５の物質情報（質量、重心、密度、体積、ヤング率、ポアソン比、振動減衰率、粘性及び外形の少なくとも何れか）、及び動き検出部４で検出した動きに基づき、三次元オブジェクト１５の動きを計算するようにした。それゆえ、例えば、図５に示すように、三次元オブジェクト１５として、ショッピングサイトにおける商品（万年筆）を表示するようにした場合、商品（万年筆）の質量等を正確に反映させた三次元画像と力覚とを提供でき、商品（万年筆）の重量感や硬さ等をさらに直感的にユーザに理解させることができる。そのため、ユーザ（購入者）にとっては、購入しようとする商品の物理的特性を入手前に知りたい場合に有効である。また、店舗にとっては、返品を減らすことができ、コストを低減できる。また、運送業者にとっては、返品が減ることで、輸送の負荷を低減することができる。
　また、本開示の実施形態に係る画像表示装置１では、操作入力検出部３による操作入力の検出結果に基づき、表示部２が表示している三次元画像を変化させるようにしたため、三次元オブジェクト１５をユーザの所望の方向に回転させること等ができる。
　また、本開示の実施形態に係る画像表示装置１では、操作入力検出部３を、表示部２の外面に設けられたタッチパネル、表示部２の周囲の音を取得するマイク、表示部２の周囲の画像を撮影するカメラ及び表示部２の周囲の距離画像を撮影する距離画像センサの少なくとも何れかとした。それゆえ、例えば、手指によるタッチ操作、音声による操作、ジェスチャーによる操作等、さまざまな操作入力を行うことができる。
　また、本開示の実施形態に係る画像表示装置１では、一の操作入力検出部３が複数の操作方法を有している。そして、表示部２が手に持たれている場合には、複数の操作方法のうちの一部の操作方法による操作入力の検出結果にのみ基づき、表示部２が表示している三次元画像を変化させるようにした。それゆえ、例えば、三次元オブジェクト１５を３６０°の各方向から見ようと、ユーザが表示部２を手に持った場合に、フリック操作のみを受け付ける構成とすることができる。そのため、ユーザが意図せずに操作入力検出部３に触れてしまい、ポインティング操作が行われた場合に、ポインティング操作による三次元画像の変化を禁止することができ、意図しない動作を防止することができる。
　また、本開示の実施形態に係る画像表示装置１では、表示部２が手に持たれて振られている場合には、操作入力検出部３で検出された検出結果に基づく三次元画像の変化を禁止するようにした。それゆえ、意図しない動作をより確実に防止することができる。
［１－３変形例］
（１）なお、本実施形態では、表示部２を光軸１１と平行な方向に振る例を示したが、他の構成を採用することもできる。例えば、図７に示すように、表示部２を光軸１１と交差する方向に振る構成としてもよい。図７では、三次元オブジェクト１５として、大きいリングに、複数の小さいリングが繋げられてなる玩具が表示された状態を示している。
（２）また、本実施形態では、「持たれモード」（図４のステップＳ１０５）のときに、表示制御部１８が、複数の操作方法のうちの一部の操作方法による操作入力の検出結果にのみ基づき表示部２が表示している三次元画像を変化させる例を示したが、他の構成を採用することもできる。例えば、優先度が最も高い操作入力検出部３による操作入力の検出結果にのみ基づき表示部２が表示している三次元画像を変化させる構成としてもよい。
　このような構成とする場合、例えば、表示制御部１８は、複数の操作方法（例えば、フリック操作、ポインティング操作）による操作入力が検出された場合には、検出された操作入力のうち、優先度が最も高い操作方法（例えば、フリック操作）による操作入力の検出結果にのみ基づき、表示部２が表示している三次元画像を変化させる構成としてもよい。また、表示部２が振られている場合（図４のステップＳ１０４「Ｙｅｓ」）と、表示部２が振られていない場合（図４のステップＳ１０４「Ｎｏ」）とで、操作方法に設定されている優先度を変更する構成としてもよい。例えば、表示部２が振られていない場合には、フリック操作の優先度＞ポインティング操作の優先度とし、表示部２が振られている場合には、ポインティング操作の優先度＞フリック操作の優先度とすることができる。
　このように、本変形例に係る画像表示装置１では、複数の操作方法による操作入力が検出された場合には、検出された操作入力のうち、優先度が最も高い操作方法による操作入力の検出結果にのみ基づき、表示部２が表示している三次元画像を変化させるようにした。また、表示部２が振られている場合と、表示部２が振られていない場合とでは、操作方法に設定されている優先度を変更するようにした。それゆえ、例えば、優先度が高い操作方法による操作入力を行う際に、優先度が低い操作方法による操作入力も誤って行ってしまった場合に、優先度が高い操作方法による操作入力のみ有効とされ、優先度が低い操作方法による操作入力は無効化することができ、意図しない動作を防止することができる。
（３）また、本実施形態では、画像表示装置１がキャラクター表示機能や商品表示機能を有する構成とする例を示したが、他の構成をしてもよい。例えば、三次元オブジェクト１５を構成する物質の物質情報（液体の粘性等）を変えた場合の、三次元オブジェクト１５の振る舞いを示す学習支援機能を有する構成としてもよい。学習支援機能を有する構成とする場合、例えば図８に示すように、「持たれモード」において、図４に示した制御処理のステップＳ１０５に代えてＳ２０１を設けた構成としてもよい。また、本変形例の以下の説明では、図９に示すように、三次元オブジェクト１５を構成する物質として液体を採用するものとし、「三次元オブジェクト１５」を「液体１５」とも記すものとする。
　ステップＳ２０１では、動き計算部２０が、表示部２の空間１４内に液体１５が実在すると仮定して、表示部２自体の動きに起因する液体１５の動きを計算する。具体的には、ステップＳ１０４で取得した動きのデータと、液体１５の物質情報とに基づき、所定の物理法則に従って、データが示す動きを表示部２が行っているときの、液体１５の動きを計算する。これにより、例えば、長手方向を左右方向に向けた表示部２を手に持ち、表示部２を右方向に傾けた場合には、液体１５が重力で空間１４内を右方に移動し、液体１５が空間１４の右端に衝突し、衝突の衝撃で跳ね返るまでの、液体１５の動きが計算される。続いて、表示部２を左方向に傾けた場合には、液体１５が重力で空間１４内を左方に移動し、液体１５が空間１４の左端に衝突し、衝突の衝撃で跳ね返るまでの、液体１５の動きが計算される。それゆえ、表示部２を手で持って右に傾ける→表示部２を手で持って左に傾けるという動作が繰り返された場合、上記した液体１５の動きの計算が繰り返される。
　また同時に、表示制御部１８が、動き計算部２０による計算結果に基づき、三次元画像を変化させる信号を出射部１２に出力する。具体的には、表示部２自体の動きに起因する液体１５の動きが表示されるように、計算して得た液体１５の動きに応じた三次元画像の画像データを順次作成する。また同時に、作成した画像データを画像光１３のデータに順次変換し、変換して得たデータが示す画像光１３を照射させる信号を出射部１２に順次出力する。
　これにより、ユーザが表示部２を手で持って右に傾ける→左に傾けるという動作を繰り返した場合、液体１５が空間１４内を右方に移動して空間１４の右端に衝突→液体１５が空間１４内を左方に移動して空間１４の左端に衝突という三次元画像が表示部２に繰り返し表示される。すなわち、液体１５が動き計算部２０の計算結果に応じた状態とされる。
　液体１５の動きを計算する際に、所定の物理法則として、ニュートンの粘性の法則を用いることで、液体１５が水飴等のように粘性が強い流体である場合には、液体１５がゆっくり変形する様子を示す三次元画像を表示できる。また、液体１５が水のように粘性が弱い流体である場合には、液体１５が素速く変形する様子を示す三次元画像を表示できる。
　また同時に、音制御部２２が、動き計算部２０による計算結果に基づき、音を発生させる信号を音発生部５に出力する。具体的には、表示部２自体の動きに起因する液体１５の音が発生されるように、計算して得た液体１５の動きに応じた音を発生させる信号を音発生部５に出力する。液体１５の動きに応じた音としては、衝突音、波音等が挙げられる。
　また、力覚制御部２１が、動き計算部２０による計算結果に基づき、力覚を提示させる信号を力覚提示部６に出力する。具体的には、空間１４内に液体１５が実在すると仮定して、空間１４の外面を構成する部材（台座８、スクリーン９、反射ミラー１０）に液体１５が接触した場合に生じ得る振動を画像表示装置１（自装置）のユーザが感じるように、計算して得た液体１５の動きに応じた力覚を提示させる信号を力覚提示部６に出力する。
　出射部１２、音発生部５及び力覚提示部６への信号の出力は、表示部２が置かれるまで又は振られるまで繰り返され、置かれたり振られたりすると、ステップＳ１０２に戻る。
　このように、本変形例に係る画像表示装置１では、三次元オブジェクト１５の物質情報、及び動き検出部４で検出した動きに基づき、所定の物理法則に従って動く三次元オブジェクト１５が表示されるように、三次元オブジェクト１５の動きを計算するようにした。それゆえ、例えば、図９に示すように、三次元オブジェクト１５として、所定の粘性を有する液体を表示するようにした場合、粘性に応じて液体が流れる様子を現す三次元画像と、液体移動に伴う力覚とを提供でき、ユーザによる粘性の学習に役立てることができる。
　なお、本変形例では、ユーザが、表示部２を左右に傾ける例を示したが、他の構成を採用することもできる。例えば表示部２の上下を反転させる動作を行うようにしてもよい。
　また、本変形例では、図８のステップＳ１０２及びＳ１０４に示すように、ユーザが表示部２を手に持っており、且つ、表示部２が振られていない場合に、図８のステップＳ２０１に移行する例を示したが、他の構成を採用することもできる。例えば、スマートフォン等の別デバイスで三次元オブジェクト１５の物質情報（粘性）が設定された場合に、図８のステップＳ２０１に移行する構成としてもよい。このような構成とする場合、別デバイスで三次元オブジェクト１５の物質情報の設定が消去（初期化）された場合に、図８のステップＳ２０１の繰り返し動作を終了し、ステップＳ１０２に戻るようにしてもよい。
　また、本変形例では、学習支援機能として、図９に示すように、液体１５の振る舞いを表示する例を示したが、他の構成を採用することもできる。例えば、図１０に示すように、図鑑と連動させて、開かれている図鑑の頁に掲載されている生物を表示する構成としてもよい。図１０では、三次元オブジェクト１５として蝶が表示された状態を示している。
（４）また、例えば、表示部２を指でつつく操作が行われた場合の、スノードームの動作のシミュレーション結果を示す動作表示機能を有する構成としてもよい。動作表示機能を有する構成とする場合、例えば、図１１に示すように、「持たれたモード」において、図４に示した制御処理のステップＳ１０５に代えてＳ３０１が設けられた構成としてもよい。また、本変形例の以下の説明では、図１２に示すように、三次元オブジェクト１５として雪を採用するものとし「三次元オブジェクト１５」を「雪１５」とも記すものとする。
　ステップＳ３０１では、動き計算部２０が、表示部２の空間１４内に雪１５が実在すると仮定して、表示部２自体の動きに起因する雪１５の動きを計算する。具体的には、タッチパネル３から取得した検出結果に基づき、タッチパネル３のうちの、手指の接触があった位置を検出する。続いて、検出した位置と、ステップＳ１０４で取得した動きのデータと、雪１５の物質情報とに基づき、所定の物理法則に従って、手指の接触があった位置を指でつつかれ、データが示す動きを表示部２が行っているときの雪１５の動きを計算する。これにより、例えば、ユーザが表示部２を指でつついた場合には、つつかれた場所から雪１５が舞い上がり、舞い上がった雪１５が降り積もるまでの、雪１５の動きが計算される。その際、舞い上がる雪１５の量は、表示部２自体の動きが大きいほど大きくする。
　また、表示制御部１８が、動き計算部２０による計算結果に基づき、三次元画像を変化させる信号を出射部１２に出力する。具体的には、表示部２自体の動きに起因する雪１５の動きが表示されるように、計算して得た雪１５の動きに応じた三次元画像の画像データを順次作成する。また同時に、作成した画像データを画像光１３のデータに順次変換し、変換して得たデータが示す画像光１３を照射させる信号を出射部１２に順次出力する。
　これにより、ユーザが表示部２をつつく操作を行った場合、つついたことで生じた振動に起因して、空間１４内で雪１５が舞い上がる三次元画像が表示部２に表示される。
　また同時に、音制御部２２が、動き計算部２０による計算結果に基づき、音を発生させる信号を音発生部５に出力する。具体的には、表示部２自体の動きに起因する雪１５の音が発生されるように、計算して得た雪１５の動きに応じた音（例えば、雪１５が舞い上がるときの音、雪１５が降り積もるときの音）を発生させる信号を音発生部５に出力する。
　また同時に、力覚制御部２１が、動き計算部２０による計算結果に基づき、力覚を提示させる信号を力覚提示部６に出力する。具体的には、空間１４内に雪１５が実在すると仮定して、空間１４の外面を構成する部材（台座８、スクリーン９、反射ミラー１０）に雪１５が接触した場合に生じ得る振動を画像表示装置１（自装置）のユーザが感じるように、計算して得た雪１５の動きに応じた力覚を提示させる信号を力覚提示部６に出力する。
　出射部１２、音発生部５及び力覚提示部６への信号の出力は、表示部２が置かれるまで又は振られるまで繰り返され、置かれたり振られたりすると、ステップＳ１０２に戻る。
　なお、本変形例では、雪１５が舞う三次元画像を表示させるための操作として、表示部２を指でつつく操作を用いる例を示したが、他の構成を採用することもできる。例えば、表示部２を傾ける操作、表示部２に息を吹きかける操作、画像表示装置１の一部を指ではじく操作等、画像表示装置１に物理的な力を及ぼす他の操作を用いるようにしてもよい。
　また、例えば、表示部２をつついた場合に、つついた位置に応じて、氷の花や雪の妖精等の各種オブジェクトの三次元画像をつついた位置から表示する構成としてもよい。
　このように、本変形例に係る画像表示装置１では、タッチパネル３のうちの、手指の接触があった位置を検出し、検出した位置に基づき、表示部２が表示している三次元画像を変化させるようにした。それゆえ、例えば、図１２に示すように、三次元オブジェクト１５として、雪を表示するようにした場合、指でつつかれた場所から、雪が舞い上がる三次元画像と雪の舞い上がりに伴う力覚とを提供できスノードームをより適切に再現できる。
（５）また、例えば、遠隔地の現在の状態を見たい場合に用いられ、遠隔地のドローンが撮影したライブカメラ映像を表示する実空間切出表示機能を有する構成としてもよい。遠隔地のドローンとしては、例えば、図１３に示すように、サンゴ礁の海等を水中航行する潜水艇型ドローンを採用することができる。実空間切出表示機能を有する構成とする場合、画像表示装置１が平行移動された場合に、潜水艇型ドローンによる撮影箇所も同じ距離及び方向に移動させることで、海中の所望の位置を三次元画像で表示することができる。
（６）また、本実施形態では、台座８の内部にコントローラ７を配置して、コントローラ７を表示部２と一体とする例を示したが、他の構成を採用することもできる。例えば、台座８の外部にコントローラ７を配置して、コントローラ７を表示部２と別体としてもよい。コントローラ７を表示部２と別体とする場合、コントローラ７を大型化できる。
（７）また、本実施形態では、円筒状のスクリーン９に画像光１３を照射して三次元画像を表示する例を示したが、他の構成を採用することもできる。例えば、立方体の各面に液晶ディスプレイが配置された装置を用いて三次元画像を表示する構成としてもよい。
（８）また、本実施形態では、表示部２として、三次元画像を表示部２の周囲３６０°から視認可能なものを用いる例を示したが他の構成を採用することもできる。例えば、三次元画像を視認可能な角度範囲が３６０°よりも狭いものを用いる構成としてもよい。
（９）また、本実施形態では、力覚提示部６として、複数の回転体の角運動量を制御することで、力覚を提示する力覚提示装置を用いる例を示したが、他の構成を採用することもできる。例えば、振動を発生することで、力覚を提示するリニアアクチュエータを用いる構成としてもよい。この場合、図１４に示すように、力覚提示部６を台座８及び反射ミラー１０それぞれの内部に配置する構成としてもよい。力覚提示部６を台座８及び反射ミラー１０それぞれの内部に配置する場合、振動を用いてよりリアルな力覚を提示できる。
　また、振動によって力覚を提示する力覚提示部６を用いる場合、例えば、図１５に示すように、表示部２の外面に線状の力覚提示部６を複数配置する構成としてもよい。線状の力覚提示部６としては、例えば、力覚提示部６上（線上）に予め定められた複数位置のうちの任意の位置に振動を発生可能なリニアアクチュエータを採用できる。線状の力覚提示部６を複数配置する構成によれば、図７に示すように、スクリーン９に三次元オブジェクト１５が衝突した場合に、衝突箇所から振動を発生でき、また、衝突箇所で発生した振動が表示部２の外面に沿って伝播する様子も再現でき、よりリアルな力覚を提示できる。
（１０）また、本実施形態では、図４のステップＳ１０２及びＳ１０４に示すように、ユーザが表示部２を手に持っているか、表示部２を振っているか等の判定結果に基づき、「置かれたモード」「持たれたモード」「振られるモード」の何れかを選択する例を示したが、他の構成を採用することもできる。例えば、画像表示装置１への複数本の手指や手のひらの接触がなく、且つ、表示部２に上下動等の動き（移動）がないと判定された場合に、「持たれたモード」から「置かれたモード」に遷移する構成としてもよい。具体的には、モード切替部１９が、図１６に示すように、タッチパネル３から出力される検出結果に基づき、タッチパネル３に複数本の手指や手のひらの接触がないかを判定する（ステップＳ４０１）。続いて、接触がないと判定した場合には、図示しないジャイロセンサや動き検出部４から出力される検出結果に基づき、画像表示装置１の下面が水平に保たれており、且つ、表示部２が何れの方向にも移動していない、という条件を満たしているかを判定する（ステップＳ４０２）。そして、上記条件を満たしていると判定した場合には、モードを「持たれたモード」から「置かれたモード」に切り替える（ステップＳ４０３）。
　また、例えば、画像表示装置１を持つために画像表示装置１に手が近づいていると判定され、その後、手で画像表示装置１が持たれたと判定された場合に、「置かれたモード」から「持たれたモード」に遷移する構成としてもよい。具体的には、モード切替部１９が、図１７に示すように、図示しないカメラから出力される検出結果に基づき、画像表示装置１に手が近づいているかを判定する（ステップＳ５０１）。続いて、手が近づいていると判定した場合には、近づいてくる手が画像表示装置１を持とうとしているかを判定する（ステップＳ５０２）。続いて、画像表示装置１を持とうとしていると判定した場合には、タッチパネル３による操作（フリック操作、ポインティング操作）に無反応な状態とさせた後、タッチパネル３から出力される検出結果に基づき、手指や手のひらが画像表示装置１に接触しているかを判定する（ステップＳ５０３）。続いて、手指や手のひらが画像表示装置１に接触していると判定した場合には、動き検出部４から出力される検出結果に基づき、画像表示装置１が何れかの方向に移動しているかを判定する（ステップＳ５０４）。そして、画像表示装置１が何れかの方向に移動していると判定した場合には、モードを「置かれたモード」から「持たれたモード」に切り替える（ステップＳ５０５）。
　また、例えば、画像表示装置１に予め定められた所定値以上の加速度が加えられたと判定された場合に、「持たれたモード」から「振られるモード」に遷移する構成としてもよい。具体的には、モード切替部１９が、図１８に示すように、動き検出部４から出力される検出結果に基づき、予め定められた所定値以上の加速度で画像表示装置１が振られたかを判定する（ステップＳ６０１）。続いて、画像表示装置１が振られたと判定した場合には、画像表示装置１を振ったり傾けたりする行為を受け付ける状態に入る（ステップＳ６０２）。ここで、上記行為があったと判定した場合には、三次元オブジェクト１５が表示部２の空間１４の中央部から外れ、表示部２自体の動きに起因して三次元オブジェクト１５が動くように、三次元画像を変化させる（ステップＳ６０３）。一方、上記行為がなかったと判定した場合には、空間１４の底部で所定の物理法則に従って動く三次元オブジェクト１５が表示されるように、三次元画像を変化させる（ステップＳ６０３）。続いて、画像表示装置１の台座８の底面が平面に置かれてから予め定められた所定時間（例えば、１分）が経過したと判定した場合には、三次元オブジェクト１５を表示部２の空間１４の中央部に戻すように、三次元画像を変化させる（ステップＳ６０３）。そして、モードを「持たれたモード」から「置かれたモード」に切り替える（ステップＳ６０４）。
　また、例えば、画像表示装置１のモードが「振られるモード」である場合には、予め定められた所定時間以上、外部から加えられた力による表示部２自体の動きがない、つまり加速度の検出がないと判定した場合に、「持たれたモード」に切り替える構成としてもよい。また、例えば、例えば、スマートフォン等の別デバイスからも、画像表示装置１のモードを選択可能な構成としてもよい。さらに、例えば、画像表示装置１に「置かれたモード」「持たれたモード」「振られるモード」のそれぞれに対応させた３つのモード切替用ボタンを設けておき、３つのモード切替用ボタンの何れかが押下された場合に、押下されたモード切替用ボタンに対応するモードが選択されたものと判定する構成としてもよい。
（１１）また、本実施形態では、画像表示装置１のモードとして、「置かれたモード」「持たれたモード」「振られるモード」を備える例を示したが、他の構成を採用することもできる。例えば、最後に画像表示装置１への操作（持ち上げる、振る等）が行われてから予め定められた所定時間経過後に、省電力やプライバシー保護のために三次元画像の表示を制限する「スリープモード」に切り替える構成としてもよい。「スリープモード」では、例えば、三次元オブジェクト１５が殿様ペンギン等のキャラクターである場合には、キャラクターが眠っている様子を示す三次元画像を表示部２に表示させるようにしてもよい。また、例えば、スクリーンセーバのようなアニメーションを示す三次元画像を表示部２に表示させるようにしてもよい。「スリープモード」である場合には、画像表示装置１にユーザが接近したと判定されたときや、画像表示装置１への操作が行われたと判定されたときに、「スリープモード」に切り替わる直前のモードに戻るようにしてもよい。
　なお、本技術は、以下のような構成を取ることができる。
（１）
　外面を構成する部材で区切られた空間内に三次元オブジェクトが存在するように見える三次元画像を周囲の複数方向から視認できるように表示する表示部と、
　外部から加えられた力による前記表示部自体の動きを検出する動き検出部と、
　前記動き検出部で検出した動きに基づき、前記空間内に前記三次元オブジェクトが実在すると仮定して、前記表示部自体の動きに起因する前記三次元オブジェクトの動きを計算する動き計算部と、
　前記動き計算部による計算結果に基づき、前記表示部が表示している前記三次元画像を変化させる表示制御部と、
　自装置のユーザに力覚を提示する力覚提示部と、
　前記動き計算部による計算結果に基づき、前記力覚提示部に力覚を提示させる力覚制御部とを備える
　画像表示装置。
（２）
　前記表示制御部は、前記動き計算部による計算結果に基づき、前記表示部自体の動きに起因する前記三次元オブジェクトの動きが表示されるように前記三次元画像を変化させ、
　前記力覚制御部は、前記動き計算部による計算結果に基づき、前記空間内に前記三次元オブジェクトが実在すると仮定して、前記外面を構成する部材に前記三次元オブジェクトが接触した場合に生じ得る振動を前記ユーザが感じるように、前記力覚提示部に力覚を提示させる
　前記（１）に記載の画像表示装置。
（３）
　前記三次元オブジェクトは、質量、重心、密度、体積、ヤング率、ポアソン比、振動減衰率、粘性及び外形の少なくとも何れかである物質情報が設定されており、
　前記動き計算部は、前記物質情報及び前記動き検出部で検出した動きに基づき、所定の物理法則に従って前記三次元オブジェクトの動きを計算する
　前記（１）又は（２）に記載の画像表示装置。
（４）
　ユーザによる操作入力を検出する操作入力検出部を備え、
　前記表示制御部は、更に、前記操作入力の検出結果に基づき、前記表示部が表示している前記三次元画像を変化させる表示操作部を有する
　前記（１）から（３）の何れかに記載の画像表示装置。
（５）
　前記操作入力検出部は、前記表示部の外面に設けられたタッチパネル、前記表示部の周囲の音を取得するマイク、前記表示部の周囲の画像を撮影するカメラ、及び前記表示部の周囲の距離画像を撮影する距離画像センサの少なくとも何れかである
　前記（４）に記載の画像表示装置。
（６）
　前記操作入力検出部は、前記タッチパネルであり、
　前記表示操作部は、前記タッチパネルのうちの、手指の接触があった位置を検出し、検出した位置に基づき、前記表示部が表示している前記三次元画像を変化させる
　前記（５）に記載の画像表示装置。
（７）
　一の前記操作入力検出部が複数の操作方法を有しており、
　前記表示操作部は、前記表示部が手に持たれている場合には、複数の操作方法のうちの一部の操作方法による操作入力の検出結果にのみ基づき、前記表示部が表示している前記三次元画像を変化させる
　前記（４）から（６）の何れかに記載の画像表示装置。
（８）
　前記表示操作部は、前記表示部が手に持たれて振られている場合には、前記操作入力検出部で検出された検出結果に基づく前記三次元画像の変化を禁止する
　前記（７）に記載の画像表示装置。
（９）
　一の前記操作入力検出部が複数の操作方法を有しており、
　前記表示操作部は、複数の操作方法による操作入力が検出された場合には、検出された操作入力のうち、優先度が最も高い操作方法による操作入力の検出結果にのみ基づき、前記表示部が表示している前記三次元画像を変化させるとともに、前記表示部が振られている場合と、前記表示部が振られていない場合とで、操作方法に設定されている優先度を変更する
　前記（４）から（６）の何れかに記載の画像表示装置
　１…画像表示装置、２…表示部、３…タッチパネル、４…動き検出部、５…音発生部、6…ポイント、６…力覚提示部、7…ポイント、７…コントローラ、８…台座、９…スクリーン、１０…反射ミラー、１１…光軸、１２…出射部、１３…画像光、１４…空間、１５…三次元オブジェクト、１６…記憶装置、１７…プロセッサ、１８…表示制御部、１９…モード切替部、２０…動き計算部、２１…力覚制御部、２２…音制御部、２３…表示操作部

Claims (9)

  1. 　外面を構成する部材で区切られた空間内に三次元オブジェクトが存在するように見える三次元画像を周囲の複数方向から視認できるように表示する表示部と、
    　外部から加えられた力による前記表示部自体の動きを検出する動き検出部と、
    　前記動き検出部で検出した動きに基づき、前記空間内に前記三次元オブジェクトが実在すると仮定して、前記表示部自体の動きに起因する前記三次元オブジェクトの動きを計算する動き計算部と、
    　前記動き計算部による計算結果に基づき、前記表示部が表示している前記三次元画像を変化させる表示制御部と、
    　自装置のユーザに力覚を提示する力覚提示部と、
    　前記動き計算部による計算結果に基づき、前記力覚提示部に力覚を提示させる力覚制御部とを備える
    　画像表示装置。
  2. 　前記表示制御部は、前記動き計算部による計算結果に基づき、前記表示部自体の動きに起因する前記三次元オブジェクトの動きが表示されるように前記三次元画像を変化させ、
    　前記力覚制御部は、前記動き計算部による計算結果に基づき、前記空間内に前記三次元オブジェクトが実在すると仮定して、前記外面を構成する部材に前記三次元オブジェクトが接触した場合に生じ得る振動を前記ユーザが感じるように、前記力覚提示部に力覚を提示させる
    　請求項１に記載の画像表示装置。
  3. 　前記三次元オブジェクトは、質量、重心、密度、体積、ヤング率、ポアソン比、振動減衰率、粘性及び外形の少なくとも何れかである物質情報が設定されており、
    　前記動き計算部は、前記物質情報及び前記動き検出部で検出した動きに基づき、所定の物理法則に従って前記三次元オブジェクトの動きを計算する
    　請求項１に記載の画像表示装置。
  4. 　ユーザによる操作入力を検出する操作入力検出部を備え、
    　前記表示制御部は、更に、前記操作入力の検出結果に基づき、前記表示部が表示している前記三次元画像を変化させる表示操作部を有する
    　請求項１に記載の画像表示装置。
  5. 　前記操作入力検出部は、前記表示部の外面に設けられたタッチパネル、前記表示部の周囲の音を取得するマイク、前記表示部の周囲の画像を撮影するカメラ、及び前記表示部の周囲の距離画像を撮影する距離画像センサの少なくとも何れかである
    　請求項４に記載の画像表示装置。
  6. 　前記操作入力検出部は、前記タッチパネルであり、
    　前記表示操作部は、前記タッチパネルのうちの、手指の接触があった位置を検出し、検出した位置に基づき、前記表示部が表示している前記三次元画像を変化させる
    　請求項５に記載の画像表示装置。
  7. 　一の前記操作入力検出部が複数の操作方法を有しており、
    　前記表示操作部は、前記表示部が手に持たれている場合には、複数の操作方法のうちの一部の操作方法による操作入力の検出結果にのみ基づき、前記表示部が表示している前記三次元画像を変化させる
    　請求項４に記載の画像表示装置。
  8. 　前記表示操作部は、前記表示部が手に持たれて振られている場合には、前記操作入力検出部で検出された検出結果に基づく前記三次元画像の変化を禁止する
    　請求項７に記載の画像表示装置。
  9. 　一の前記操作入力検出部が複数の操作方法を有しており、
    　前記表示操作部は、複数の操作方法による操作入力が検出された場合には、検出された操作入力のうち、優先度が最も高い操作方法による操作入力の検出結果にのみ基づき、前記表示部が表示している前記三次元画像を変化させるとともに、前記表示部が振られている場合と、前記表示部が振られていない場合とで、操作方法に設定されている優先度を変更する
    　請求項４に記載の画像表示装置。
PCT/JP2020/028274 2019-10-29 2020-07-21 力覚を提示する画像表示装置 WO2021084817A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/755,116 US11914797B2 (en) 2019-10-29 2020-07-21 Image display apparatus for enhanced interaction with a user

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-196086 2019-10-29
JP2019196086A JP2021071754A (ja) 2019-10-29 2019-10-29 画像表示装置

Publications (1)

Publication Number Publication Date
WO2021084817A1 true WO2021084817A1 (ja) 2021-05-06

Family

ID=75713134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028274 WO2021084817A1 (ja) 2019-10-29 2020-07-21 力覚を提示する画像表示装置

Country Status (3)

Country Link
US (1) US11914797B2 (ja)
JP (1) JP2021071754A (ja)
WO (1) WO2021084817A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230000268A1 (en) * 2021-07-01 2023-01-05 Umbra Llc Rotating mirror assembly including a sealed inner chamber

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009063879A (ja) * 2007-09-07 2009-03-26 National Institute Of Information & Communication Technology 立体ディスプレイ
JP2018014575A (ja) * 2016-07-19 2018-01-25 Ｇａｔｅｂｏｘ株式会社 画像表示装置、画像表示方法及び画像表示プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1558585A (en) * 1921-02-25 1925-10-27 Firm Optische Anstalt C P Goer Method and stereoscopic device for producing objects
US6160540A (en) * 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
JP2001197524A (ja) * 2000-01-17 2001-07-19 Minolta Co Ltd 立体画像表示装置
JP4901539B2 (ja) * 2007-03-07 2012-03-21 株式会社東芝 立体映像表示システム
US20100128112A1 (en) * 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
WO2013054634A1 (ja) * 2011-10-14 2013-04-18 国立大学法人豊橋技術科学大学 立体画像投影装置、立体画像投影方法、及び立体画像投影システム
CN109716760A (zh) * 2016-07-15 2019-05-03 门箱股份有限公司 立体影像显示装置
KR20190100428A (ko) * 2016-07-19 2019-08-28 게이트박스 가부시키가이샤 화상 표시장치, 화제 선택 방법, 화제 선택 프로그램, 화상 표시 방법 및 화상 표시 프로그램
WO2018064213A1 (en) * 2016-09-27 2018-04-05 Duke University Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object
WO2018163945A1 (ja) 2017-03-10 2018-09-13 ソニー株式会社 画像表示装置
US11212494B2 (en) * 2019-12-30 2021-12-28 Ray Yanez Holographic Christmas tree projector assembly

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009063879A (ja) * 2007-09-07 2009-03-26 National Institute Of Information & Communication Technology 立体ディスプレイ
JP2018014575A (ja) * 2016-07-19 2018-01-25 Ｇａｔｅｂｏｘ株式会社 画像表示装置、画像表示方法及び画像表示プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LOPEZ-GULLIVER ROBERTO, SHUNSUKE YOSHIDA, ROBERTO LOPEZ-GULLIVER, SUMIO YANO, NAOMI INOUE: "gCubik: A Cubic Autostereoscopic Display for Multiuser Environments — A 6-face Cube Prototyping and Interaction Considerations", 6 March 2009 (2009-03-06), XP055819647, Retrieved from the Internet <URL:http://www.interaction-ipsj.org/archives/paper2009/oral/0013/0013.pdf> *
YANAGIHARA, KAZUYA: "Ryo Yokoyama - Providing an overwhelmingly moving experience through the fusion of sight, hearing, and touch", HAPTIC DESIGN, 4 September 2017 (2017-09-04), XP055819650, Retrieved from the Internet <URL:http://hapticdesign.org/designer/file016_Ryo_Yokoyama> [retrieved on 20200814] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230000268A1 (en) * 2021-07-01 2023-01-05 Umbra Llc Rotating mirror assembly including a sealed inner chamber

Also Published As

Publication number Publication date
US20220365607A1 (en) 2022-11-17
US11914797B2 (en) 2024-02-27
JP2021071754A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
JP6548753B2 (ja) 受動及び能動モード間で触覚フィードバック機能を転換するシステム及び方法
JP6264287B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
US20160202760A1 (en) Systems and methods for controlling feedback for multiple haptic zones
KR20140068410A (ko) 물리 엔진 기반의 사용자 인터페이스를 제공하는 방법 및 그 전자 장치
WO2021084817A1 (ja) 力覚を提示する画像表示装置
JP5975041B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
WO2013084667A1 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
JP2004086274A (ja) 情報処理装置
KR20200107438A (ko) 종이접기 게임 시스템, 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체
KR20100131169A (ko) 종이접기 게임 시스템, 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20883424

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20883424

Country of ref document: EP

Kind code of ref document: A1