WO2017006857A1 - 操作入力装置および操作入力方法 - Google Patents

操作入力装置および操作入力方法 Download PDF

Info

Publication number
WO2017006857A1
WO2017006857A1 PCT/JP2016/069618 JP2016069618W WO2017006857A1 WO 2017006857 A1 WO2017006857 A1 WO 2017006857A1 JP 2016069618 W JP2016069618 W JP 2016069618W WO 2017006857 A1 WO2017006857 A1 WO 2017006857A1
Authority
WO
WIPO (PCT)
Prior art keywords
indicator
posture
operation input
user
gesture
Prior art date
Application number
PCT/JP2016/069618
Other languages
English (en)
French (fr)
Inventor
泰史 奥村
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to CN201680038643.2A priority Critical patent/CN107710105B/zh
Priority to EP16821326.2A priority patent/EP3321776B1/en
Priority to US15/740,608 priority patent/US20180188802A1/en
Publication of WO2017006857A1 publication Critical patent/WO2017006857A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Definitions

  • the present invention relates to an apparatus and method for inputting an operation on a wearable display.
  • a system has been developed in which a panoramic image is displayed on a head mounted display, and when a user wearing the head mounted display rotates the head, a panoramic image corresponding to the viewing direction is displayed.
  • the head mounted display By using the head mounted display, it is possible to enhance the immersive feeling to the image and to improve the operability of the application such as the game.
  • a walk-through system has also been developed in which a user wearing a head mounted display can virtually walk around in a space displayed as an image by physically moving.
  • the present invention has been made in view of these problems, and an object thereof is to provide an operation input device and an operation input method capable of easily inputting an operation on a wearable display.
  • an operation input apparatus includes a posture acquisition unit that acquires information on a posture of a user wearing a wearable display device, an operation input unit that receives an operation input by a user gesture. And an indicator display unit configured to display an indicator indicating the amount of change in the posture of the user when making the gesture on the wearable display device.
  • the operation input unit receives an operation input by the gesture when the amount of change in the posture exceeds a predetermined threshold.
  • Another aspect of the present invention is an operation input method.
  • This method indicates a posture acquisition step of acquiring information on a posture of the user wearing the wearable display device, an operation input step of receiving an operation input by the user's gesture, and a change amount of the user's posture when making the gesture. And displaying an indicator on the wearable display device.
  • the operation input step receives an operation input by the gesture when the amount of change in the posture exceeds a predetermined threshold.
  • an operation can be easily input on the wearable display.
  • FIG. 2 is a functional configuration diagram of a panoramic image generation device according to the present embodiment.
  • FIG. 5A to FIG. 5C are views for explaining panoramic images and content lists displayed on the head mounted display.
  • 6 (a) to 6 (c) are diagrams for explaining changes in the scale of the indicator displayed on the head mounted display.
  • FIGS. 7A to 7C are diagrams for explaining the relationship between the amount of change in posture and the scale of the indicator in the case of the gesture of shaking the neck sideways.
  • FIGS. 8 (a) to 8 (c) are diagrams for explaining the relationship between the amount of change in posture and the scale of the indicator in the case of a gesture in which the neck is swung vertically.
  • FIGS. 9A to 9C are diagrams for explaining the relationship between the amount of change in posture and the scale of the indicator in the case of a gesture in which the neck is tilted.
  • 10 (a) and 10 (b) are diagrams for explaining the relationship between the initial position of the posture and the operation threshold in the case of the soaking gesture.
  • FIGS. 11A to 11E are diagrams for explaining the correspondence between the gesture of swinging the neck vertically and the shape of the indicator.
  • FIGS. 12 (a) to 12 (e) are diagrams for explaining the correspondence between the gesture of swinging the neck sideways and the shape of the indicator.
  • FIGS. 13 (a) to 13 (e) are diagrams for explaining the correspondence between the gesture for tilting the neck and the shape of the indicator.
  • FIG. 1 is an external view of a head mounted display 100.
  • Head mounted display 100 includes a body portion 110, a forehead contact portion 120, and a temporal portion contact portion 130.
  • the head mounted display 100 is a display device mounted on the head of the user for viewing still images, moving images, and the like displayed on the display and listening to sounds, music, and the like output from headphones.
  • posture information such as a rotation angle and an inclination of the head of the user wearing the head mounted display 100 by a posture sensor built in or externally attached to the head mounted display 100.
  • the head mounted display 100 is an example of a “wearable display device”.
  • Wearable display devices are not limited to head mount display 100 in a narrow sense, but glasses, glasses-type displays, glasses-type cameras, headphones, headsets (headphones with microphones), earphones, earrings, earpiece cameras, hats, camera hats, Included are any wearable display devices such as hair bands.
  • FIG. 2 is a functional block diagram of the head mounted display 100. As shown in FIG. 1
  • the control unit 10 is a main processor that processes and outputs signals such as image signals and sensor signals, and instructions and data.
  • the input interface 20 receives an operation signal and a setting signal from the user and supplies the control unit 10 with the operation signal and the setting signal.
  • the output interface 30 receives an image signal from the control unit 10 and causes the display to display the image signal.
  • the backlight 32 supplies backlight to the liquid crystal display.
  • the communication control unit 40 transmits data input from the control unit 10 to the outside through wired or wireless communication via the network adapter 42 or the antenna 44.
  • the communication control unit 40 also receives data from the outside by wired or wireless communication via the network adapter 42 or the antenna 44, and outputs the data to the control unit 10.
  • the storage unit 50 temporarily stores data to be processed by the control unit 10, parameters, operation signals and the like.
  • the attitude sensor 64 detects attitude information such as a rotation angle and an inclination of the main body 110 of the head mounted display 100.
  • the attitude sensor 64 is realized by appropriately combining a gyro sensor, an acceleration sensor, an angular acceleration sensor, and the like.
  • the external input / output terminal interface 70 is an interface for connecting peripheral devices such as a USB (Universal Serial Bus) controller.
  • the external memory 72 is an external memory such as a flash memory.
  • the clock unit 80 sets time information in accordance with a setting signal from the control unit 10 and supplies time data to the control unit 10.
  • the control unit 10 can supply an image or text data to the output interface 30 for display on the display, or can supply the image or text data to the communication control unit 40 to be transmitted to the outside.
  • FIG. 3 is a block diagram of a panoramic image generation system according to the present embodiment.
  • the head mounted display 100 is connected to the game machine 200 via an interface 300 for connecting peripheral devices such as wireless communication or USB.
  • the game console 200 may be further connected to a server via a network.
  • the server may provide the game machine 200 with an online application such as a game in which a plurality of users can participate via the network.
  • the head mounted display 100 may be connected to a computer or a portable terminal instead of the game console 200.
  • the panoramic image displayed on the head mounted display 100 may be an artificial panoramic image such as a game space, in addition to the 360 ° panoramic still image or panoramic video captured in advance. In addition, it may be live video of a remote place distributed via a network.
  • FIG. 4 is a functional configuration diagram of a panoramic image generation device 700 according to the present embodiment.
  • the figure depicts a block diagram focusing on functions, and these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the panoramic image generation device 700 is mounted on the game machine 200 to which the head mounted display 100 is connected, but at least a part of the functions of the panoramic image generation device 700 may be mounted on the control unit 10 of the head mounted display 100 . Alternatively, at least part of the functions of the panoramic image generation apparatus 700 may be implemented on a server connected to the game console 200 via a network.
  • the zoom instruction acquisition unit 710 acquires the zoom magnification instructed by the user via the input interface 20 of the head mounted display 100.
  • the zoom magnification acquired by the zoom instruction acquisition unit 710 is supplied to the sensitivity adjustment unit 720 and the panoramic image processing unit 750.
  • the position and orientation acquisition unit 730 determines the position and orientation of the head of the user wearing the head mounted display 100 based on the position information detected by the motion sensor of the head mounted display 100 and the orientation information detected by the orientation sensor 64. To get The position of the user's head may be obtained by detecting the movement of the head mounted display 100 by the camera of the game console 200.
  • the position / posture acquisition unit 730 acquires the position and orientation of the head of the user based on the sensitivity instructed by the sensitivity adjustment unit 720. For example, when the user turns the neck, the posture sensor 64 detects a change in the user's head angle, but the sensitivity adjustment unit 720 changes the detected angle until the change in the angle exceeds a predetermined value. The position / posture acquisition unit 730 is instructed to ignore the
  • the sensitivity adjustment unit 720 adjusts the sensitivity of the head angle detection based on the zoom magnification acquired from the zoom instruction acquisition unit 710. As the zoom magnification increases, the sensitivity of the head angle detection decreases. When the zoom is performed, the angle of view decreases, so that the vibration of the display image due to the shaking of the head can be suppressed by lowering the sensitivity of detecting the angle of the head.
  • a combination of at least one or more of a 3-axis geomagnetic sensor, a 3-axis acceleration sensor, and a 3-axis gyro (angular velocity) sensor may be used to detect front / rear, left / right, up / down motion of the user's head .
  • position information of the user's head may be combined to improve the accuracy of head movement detection.
  • the coordinate conversion unit 740 performs coordinate conversion for generating an image to be displayed on the head mounted display 100 based on the attitude of the head mounted display 100 acquired by the position / attitude acquiring unit 730.
  • the panoramic image processing unit 750 reads panoramic image data from the panoramic image storage unit 760, and according to coordinate conversion by the coordinate conversion unit 740, a panoramic image corresponding to the position and orientation of the head mounted display 100 is The image is generated at the designated zoom magnification and supplied to the image providing unit 770.
  • panoramic image data may be moving image or still image content created in advance, or may be rendered computer graphics.
  • a panoramic image captured at a remote location may be received via the network and stored in the panoramic image storage unit 760.
  • the panoramic image storage unit 760 stores a plurality of types of panoramic images.
  • a panoramic image is an example of an image of a surrounding space centered on a fixed point, and in the case of a panoramic image of an omnidirectional sphere, the surrounding space (panoramic space) is represented by a sphere.
  • the coordinates and radius of the center of the panoramic sphere are determined in the world coordinate system.
  • a plurality of panorama spheres are arranged in the world coordinate system by orienting the panorama spheres.
  • the user wearing the head mounted display 100 can virtually walk through the panoramic space in the world coordinate system by physically moving the image of the panoramic sphere while viewing the image on the display.
  • the user can stay in one panorama sphere or move from one panorama sphere to another in the world coordinate system.
  • the operation input unit 790 receives an operation input based on a predetermined gesture of the user.
  • the operation includes, for example, selection and execution of content included in the content list, and zoom-in / zoom-out of a panoramic image.
  • the operation input unit 790 receives an operation input by a gesture when the amount of change in the user's posture when making a gesture exceeds a predetermined threshold. This threshold is called "operation threshold".
  • operation threshold This threshold.
  • the operation input by the user's gesture is not received unless the amount of change in posture exceeds the operation threshold, and the operation is performed only when the amount of change in posture exceeds the operation threshold.
  • the operation input received by the operation input unit 790 is sent to a control unit (not shown), and an operation corresponding to the operation input is performed.
  • the operation threshold may be adjusted according to the initial position of the posture when the user makes a gesture. For example, when making a peep gesture, the operation threshold is made different according to the inclination of the neck. If the neck is facing obliquely downward from the beginning, it is difficult to incline the neck larger than when the face is facing front, so the operation threshold is set low.
  • the operation threshold may be adjusted for each user.
  • the user customizes the operation threshold Can.
  • the operation threshold since the easiness of changing the posture and the movable range differ depending on whether the user is awake, sitting, or sleeping, the operation threshold may be adjusted according to the user's posture.
  • the indicator display unit 780 is an indicator that indicates the amount of change in posture when making a gesture based on the user's posture information acquired by the position and posture acquisition unit 730 and the posture detection sensitivity information acquired by the sensitivity adjustment unit 720.
  • the image generation unit 770 generates an image of the image. The amount of change in posture is indicated, for example, by the scale of the indicator.
  • the indicator display unit 780 may display the operation threshold on the indicator.
  • the operation threshold for example, a value corresponding to the threshold within the scale of the indicator can be displayed with some mark.
  • the maximum scale of the indicator may be the operation threshold as it is. Until the operation is input, there is a "play" called the operation threshold, and even if the indicator is displayed by the gesture, the operation will not be input unless the scale of the indicator advances until the operation threshold is exceeded. It is possible to decide whether to change the attitude and input the operation or to cancel the operation without changing the attitude, while looking at the indicator.
  • the indicator display unit 780 may adjust the sensitivity when displaying the amount of change in posture on the indicator according to the initial position of the posture when the user makes a gesture. For example, when taking a peep gesture, the sensitivity at the time of displaying the amount of change on the indicator is changed according to the inclination of the neck. When the neck is facing downward from the beginning, it is difficult to incline the neck larger than when the face is facing front, so set the sensitivity for displaying the amount of change in posture on the indicator . As a result, even if the neck is tilted to a small extent, the amount of change appears in the indicator greatly, that is, it is possible to accelerate the progress of the scale of the indicator.
  • the image providing unit 770 supplies the panoramic image data generated by the panoramic image processing unit 750 and the indicator image data generated by the indicator display unit 780 to the head mounted display 100.
  • the user wearing the head mounted display 100 can view a panoramic image according to the position and orientation of the user and can also view on the screen the indicator displayed when the user makes a specific gesture.
  • the operation can be input by changing the posture until the amount of change in the posture of the user displayed on the indicator exceeds the operation threshold.
  • the “operation input device” includes at least a position / posture acquisition unit 730, an indicator display unit 780, and an operation input unit 790. Part or all of this configuration may be provided on the head mounted display 100 side. The operation of the operation input device according to the present embodiment will be described below.
  • FIGS. 5A to 5C are views for explaining panoramic images and content lists displayed on the head mounted display 100.
  • FIG. 5A to 5C are views for explaining panoramic images and content lists displayed on the head mounted display 100.
  • thumbnail images 500a to 500d of the panoramic sphere are arranged in the horizontal direction is displayed.
  • the thumbnail image of the panoramic sphere is arranged 360 degrees around the position of the user in the virtual space, and the user can view the thumbnail image of the panoramic sphere in the content list by rotating the neck horizontally it can.
  • the thumbnail image 500b on the front is highlighted and displayed, and under the thumbnail image 500b, An indicator 510 is displayed.
  • highlighting is performed, for example, by enlarging a thumbnail image or displaying a frame around the thumbnail image.
  • the thumbnail image may be highlighted and the indicator 510 may be displayed when a predetermined time elapses (referred to as "idling") after stopping rotation of the neck in a state where the thumbnail image 500b is brought to the front. Good.
  • the indicator 510 advances the scale of the indicator 510 according to the amount of change in posture as shown in FIG. 5C. Go.
  • the indicator 510 has the shape of the operation button, and the background color of the operation button is filled from the top according to the angle at which the user shakes his / her neck. It should be noted that by shaking the neck, the entire panoramic image the user is viewing is also moving sideways.
  • FIGS. 6A to 6C are diagrams for explaining changes in the scale of the indicator 520 displayed on the head mounted display 100.
  • FIG. 6A to 6C are diagrams for explaining changes in the scale of the indicator 520 displayed on the head mounted display 100.
  • the indicator 520 is in the shape of a circular arc and is displayed when the user tilts his head.
  • the tilting gesture corresponds to zooming in and out of the panoramic image. For example, a gesture in which the neck is tilted to the right corresponds to zooming in, and a gesture in which the neck is tilted to the left corresponds to zooming out.
  • a zoom out indicator 520 is displayed.
  • the scale of the indicator 520 advances as shown in FIG. 6 (b).
  • the background color inside the indicator 520 is being filled.
  • the scale of the indicator 520 advances to the end as shown in FIG. 6C, the zoom out operation input is accepted, and the panoramic image is zoomed out.
  • the panoramic image viewed by the user is also rotated according to the change in posture due to the action of tilting the neck.
  • FIGS. 7A to 7C are diagrams for explaining the relationship between the amount of change in posture and the scale of the indicator in the case of the gesture of shaking the neck sideways.
  • the posture in which the face is directed to the front is the initial position, and by taking this posture for a certain period of time (idling), the indicator 530 is displayed on the panoramic image.
  • the indicator 530 has the shape of the operation button, and the background color is transparent.
  • FIG. 8A when the posture of the initial position with the face directed to the front is kept for a certain period of time, the indicator 540 in the shape of the operation button is displayed on the panoramic image. At this stage, the background color of the indicator 530 is transparent.
  • the background color of the indicator 540 is filled from the top when the neck is vertically swung.
  • the filling direction is the same as the waving direction of the neck.
  • FIGS. 9A to 9C are diagrams for explaining the relationship between the amount of change in posture and the scale of the indicator in the case of a gesture in which the neck is tilted.
  • FIG. 9A when the neck is slightly inclined from the posture at the initial position in which the neck is straightened, an arc-shaped indicator 550 is displayed on the panoramic image.
  • an indicator in the shape of a left arc is displayed, and when the neck is tilted right, an indicator in the shape of a right arc is displayed.
  • the background color of the indicator 550 is transparent.
  • gestures such as projecting the face forward, shaking the neck sideways fast several times, raising the face upwards, associating specific operations with each, and displaying appropriate indicators corresponding to the gestures can do.
  • the panoramic image is displayed by transitioning to the panoramic sphere of that specific content, but if you shake the neck quickly at that stage, It returns to the panorama sphere of the original content and the original panoramic image is displayed.
  • the number and speed of swinging the neck may differ depending on the posture of the user. For example, since it is not easy to move the neck when sleeping, the number of swings can be reduced compared to when the user wakes up, or the operation can be performed even if the swing speed is reduced.
  • the operation threshold may be set lower than when sleeping.
  • thumbnail image of the content in the content list is above the user's head, it is necessary to turn the face up to select that content, but it is not easy to shake the neck in that state Absent.
  • the indicator scale advances, and after a certain time, selection operation is performed Is automatically input, and the content may be selected.
  • a thumbnail image of the content may be arranged in the direction indicated by the position information in the virtual space.
  • the thumbnail images of the content are not necessarily arranged at posture positions at which the user can easily turn the face. As described above, when the face is directed in the direction of the thumbnail image of the content and the operation is input after a predetermined time elapses, the user is not forced to perform an unreasonable posture change.
  • 10 (a) and 10 (b) are diagrams for explaining the relationship between the initial position of the posture and the operation threshold in the case of the soaking gesture.
  • the operation threshold can be set to a high value.
  • the operation threshold can be set to a low value.
  • the operation threshold is set to a low value.
  • the operation threshold is adjusted in accordance with the initial position of the user's posture when the operation input is performed as described above.
  • the operation threshold may be represented by the length of the indicator itself, and if the operation threshold is low, the length of the indicator itself is shortened.
  • marking may be made on the scale serving as the operation threshold, or highlighting may be performed so that the operation threshold can be known by coloring.
  • the sensitivity at the time of indicating the amount of change in posture on the indicator may be adjusted according to the initial position of the user's posture without changing the operation threshold value relative to the amount of change in posture. For example, when the movable range of the gesture is narrow as shown in FIG. 10 (b), the operation threshold is reached with a small amount of change in posture by increasing the degree to which the indicator scale advances with respect to the change in posture. be able to. In this case, it is not necessary to change the length of the indicator itself or change the position of the scale serving as the operation threshold.
  • the operation threshold may be different according to the physical posture of the user. For example, when sleeping, it is more difficult to move the neck sideways than when standing or sitting. When sleeping, the operation threshold may be lowered, or the progress of the scale of the indicator with respect to the amount of change in posture may be increased. In addition, even if you do not shake your head while sleeping, if the indicator is at rest with the indicator displayed, the indicator scale advances with the passage of time, and the operation is automatically input after a certain period of time You may do so.
  • FIGS. 11A to 11E are diagrams for explaining the correspondence between the gesture of swinging the neck vertically and the shape of the indicator.
  • 11 (b) to 11 (e) show the display forms of the shapes of the indicators of the plurality of types and the amount of change in posture when making a gesture of swinging the neck vertically as shown in FIG. 11 (a).
  • FIG. 11B is a line-shaped indicator.
  • a vertical line-shaped indicator is displayed to prompt a gesture of shaking the neck vertically.
  • the scale advances downward as the angle of vertical shaking of the neck increases.
  • the scale reaches the maximum value, and the operation is input.
  • FIG. 11C is a button-shaped indicator.
  • the scale is displayed by the background color in the button being filled.
  • the inside of the button gradually fills from the top to the bottom as the angle of shaking the neck vertically increases.
  • the background color of the button is completely filled, and the operation is input.
  • FIG. 11D shows an indicator that is deformed.
  • the amount of change in posture increases, the amount of change is indicated by the indicator itself extending in the longitudinal direction.
  • the indicator itself extends vertically as the angle of swinging the neck vertically increases.
  • the indicator is extended to the maximum length, and then returns to the original size, and the operation is input.
  • FIG. 11 (e) shows a case where an indicator and a scale are configured by an array of a plurality of small unit indicators.
  • this type of indicator As the change in posture increases, the amount of change is indicated by the indicator that lights up in the indicator array increasing downward. As the angle of swinging the neck vertically increases, the number of indicators lit increases. When the amount of change in the angle of swinging the neck exceeds the operation threshold, all the indicators of the indicator array light and the operation is input.
  • 12 (a) to 12 (e) are diagrams for explaining the correspondence between the gesture of swinging the neck sideways and the shape of the indicator.
  • 12 (b) to 12 (e) show the display forms of the shapes of the indicators of the plurality of types and the amount of change in posture when making a gesture of swinging the neck sideways as shown in FIG. 12 (a).
  • FIG. 12 (b) is a line-shaped indicator.
  • a horizontal line-shaped indicator is displayed to prompt a gesture of shaking the neck.
  • the scale advances to the right as the angle to shake the neck is increased.
  • the scale reaches the maximum value, and the operation is input.
  • FIG. 12C is a button-shaped indicator. As the swing angle of the neck increases, the inside of the button gradually fills from left to right. When the amount of change in the swing angle of the neck exceeds the operation threshold, the background color of the button is completely filled, and the operation is input.
  • FIG. 12D shows an indicator that deforms.
  • the indicator itself extends sideways as the angle to shake the neck is increased.
  • the indicator is extended to the maximum length, and then returns to the original size, and the operation is input.
  • FIG. 12 (e) shows a case where an indicator and a scale are configured by an array of a plurality of small unit indicators.
  • the number of lighted indicators increases in the lateral direction.
  • the operation threshold When the amount of change in the angle of swinging the neck exceeds the operation threshold, all the indicators of the indicator array light and the operation is input.
  • FIGS. 13 (a) to 13 (e) are diagrams for explaining the correspondence between the gesture for tilting the neck and the shape of the indicator.
  • FIGS. 13 (b) to 13 (e) show display shapes of the shapes of the plurality of types of indicators and the amount of change in posture when making a gesture of tilting the neck as shown in FIG. 13 (a).
  • FIG. 13 (b) is a line-shaped indicator.
  • An arc-shaped indicator is displayed to prompt a gesture to tilt the neck.
  • an indicator of the left arc is displayed
  • an indicator of the right arc is displayed.
  • the tick advances along the arc.
  • the scale reaches the maximum value, and the operation is input.
  • FIG. 13C shows a button-shaped indicator. As the angle for tilting the neck increases, the inside of the arc-shaped button gradually fills along the arc. When the amount of change in the swing angle of the neck exceeds the operation threshold, the background color of the button is completely filled, and the operation is input.
  • FIG. 13D shows an indicator that is deformed. As the angle of tilting the neck increases, the indicator itself extends in an arc shape. When the amount of change in the angle at which the neck is tilted exceeds the operation threshold, the indicator extends to the maximum, and the operation is input.
  • FIG. 13E shows a case where an indicator and a scale are configured by an array of a plurality of small unit indicators. As the angle at which the neck is tilted increases, the number of lighted indicators increases in an arc shape. When the amount of change in the angle at which the neck is tilted exceeds the operation threshold, all the indicators of the indicator array light and the operation is input.
  • the operation input method of the present embodiment in the state where the user wears the wearable display device such as the head mounted display 100, the user easily performs the operation input by a gesture such as moving the head. be able to. Since there is no need to operate the controller, the keyboard or the like, the image displayed on the head mounted display 100 can be kept focused and does not disturb the sense of immersion.
  • the operation input is performed by the gesture, the indicator is automatically displayed, and the direction in which the posture is changed and the amount of changing the posture can be intuitively grasped, so stress is not felt in the operation input.
  • the operation input by a gesture is not received until it exceeds the operation threshold, even if it makes a mistake by mistake, it can cancel easily.
  • the change of the posture due to the gesture of shaking or tilting the neck of the user wearing the head mounted display 100 has been described as an example, but the gesture may be other than this.
  • operation is performed using a change in posture due to a gesture such as waving, raising hand, holding hand, stepping, standing or sitting Input may be performed.
  • Reference Signs List 10 control unit 20 input interface, 30 output interface, 32 back light, 40 communication control unit, 42 network adapter, 44 antenna, 50 storage unit, 64 attitude sensor, 70 external input / output terminal interface, 72 external memory, 80 clock unit , 100 head mounted display, 110 body, 120 forehead contact, 130 side contact, 200 game machine, 700 panoramic image generating device, 710 zoom instruction acquisition unit, 720 sensitivity adjustment unit, 730 position / attitude acquisition Part, 740 coordinate conversion part, 750 panoramic image processing part, 760 panoramic image storage part, 770 image providing part, 780 indicator display part, 790 operation input part.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

位置・姿勢取得部７３０は、ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する。操作入力部７９０は、ユーザのジェスチャによる操作入力を受け付ける。インジケータ表示部７８０は、ジェスチャをするときのユーザの姿勢の変化量を示すインジケータをウェアラブルディスプレイ装置に表示させる。操作入力部７９０は、姿勢の変化量が所定の閾値を超えた場合にジェスチャによる操作入力を受け付ける。

Description

操作入力装置および操作入力方法
　この発明は、ウェアラブルディスプレイにおいて操作を入力する装置および方法に関する。
　ヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
　ユーザがヘッドマウントディスプレイなどのウェアラブルディスプレイを装着した状態ではコントローラやキーボードなどの入力デバイスを用いてシステムに対して操作入力を行うことは難しい。ジェスチャによって操作入力する方法もあるが、ジェスチャによる動きをどれくらい行えばよいかがわからず、ストレスを感じることがある。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、ウェアラブルディスプレイにおいて容易に操作を入力することのできる操作入力装置および操作入力方法を提供することにある。
　上記課題を解決するために、本発明のある態様の操作入力装置は、ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する姿勢取得部と、ユーザのジェスチャによる操作入力を受け付ける操作入力部と、前記ジェスチャをするときのユーザの姿勢の変化量を示すインジケータを前記ウェアラブルディスプレイ装置に表示させるインジケータ表示部とを含む。前記操作入力部は、前記姿勢の変化量が所定の閾値を超えた場合に前記ジェスチャによる操作入力を受け付ける。
　本発明の別の態様は、操作入力方法である。この方法は、ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する姿勢取得ステップと、ユーザのジェスチャによる操作入力を受け付ける操作入力ステップと、前記ジェスチャをするときのユーザの姿勢の変化量を示すインジケータを前記ウェアラブルディスプレイ装置に表示させるインジケータ表示ステップとを含む。前記操作入力ステップは、前記姿勢の変化量が所定の閾値を超えた場合に前記ジェスチャによる操作入力を受け付ける。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、ウェアラブルディスプレイにおいて容易に操作を入力することができる。
ヘッドマウントディスプレイの外観図である。 ヘッドマウントディスプレイの機能構成図である。 本実施の形態に係るパノラマ画像生成システムの構成図である。 本実施の形態に係るパノラマ画像生成装置の機能構成図である。 図５（ａ）～図５（ｃ）は、ヘッドマウントディスプレイに表示されるパノラマ画像およびコンテンツリストを説明する図である。 図６（ａ）～図６（ｃ）は、ヘッドマウントディスプレイに表示されるインジケータの目盛りの変化を説明する図である。 図７（ａ）～図７（ｃ）は、首を横に振るジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。 図８（ａ）～図８（ｃ）は、首を縦に振る（頷く）ジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。 図９（ａ）～図９（ｃ）は、首を傾げるジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。 図１０（ａ）および図１０（ｂ）は、頷くジェスチャの場合における姿勢の初期位置と操作閾値の関係を説明する図である。 図１１（ａ）～図１１（ｅ）は、首を縦に振るジェスチャとインジケータの形状の対応関係を説明する図である。 図１２（ａ）～図１２（ｅ）は、首を横に振るジェスチャとインジケータの形状の対応関係を説明する図である。 図１３（ａ）～図１３（ｅ）は、首を傾げるジェスチャとインジケータの形状の対応関係を説明する図である。
　図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。
　ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
　ヘッドマウントディスプレイ１００に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。
　ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ装置」の一例である。ウェアラブルディスプレイ装置には、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなど任意の装着可能なディスプレイ装置が含まれる。
　図２は、ヘッドマウントディスプレイ１００の機能構成図である。
　制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。
　通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
　記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
　姿勢センサ６４は、ヘッドマウントディスプレイ１００の本体部１１０の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
　外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
　時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。
　制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させることができる。
　図３は、本実施の形態に係るパノラマ画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース３００でゲーム機２００に接続される。ゲーム機２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをゲーム機２００に提供してもよい。ヘッドマウントディスプレイ１００は、ゲーム機２００の代わりに、コンピュータや携帯端末に接続されてもよい。
　ヘッドマウントディスプレイ１００に表示されるパノラマ画像は、あらかじめ撮影された３６０度のパノラマ静止画またはパノラマ動画の他、ゲーム空間のような人工的なパノラマ画像であってもよい。また、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。
　図４は、本実施の形態に係るパノラマ画像生成装置７００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
　パノラマ画像生成装置７００は、ヘッドマウントディスプレイ１００が接続されたゲーム機２００に実装されるが、パノラマ画像生成装置７００の少なくとも一部の機能をヘッドマウントディスプレイ１００の制御部１０に実装してもよい。あるいは、パノラマ画像生成装置７００の少なくとも一部の機能を、ネットワークを介してゲーム機２００に接続されたサーバに実装してもよい。
　ズーム指示取得部７１０は、ヘッドマウントディスプレイ１００の入力インタフェース２０を介してユーザが指示するズームの倍率を取得する。ズーム指示取得部７１０が取得したズーム倍率は感度調整部７２０とパノラマ画像処理部７５０に供給される。
　位置・姿勢取得部７３０は、ヘッドマウントディスプレイ１００のモーションセンサにより検知される位置情報と姿勢センサ６４により検知される姿勢情報にもとづいて、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置と姿勢を取得する。ユーザの頭部の位置は、ゲーム機２００のカメラによりヘッドマウントディスプレイ１００の動きを検出することにより取得されてもよい。
　位置・姿勢取得部７３０は、感度調整部７２０から指示された感度にもとづいて、ユーザの頭部の位置と姿勢を取得する。たとえば、ユーザが首を回すと、姿勢センサ６４によりユーザの頭部の角度の変化が検出されるが、感度調整部７２０は、角度の変化が所定の値を超えるまでは検出された角度の変化を無視するように位置・姿勢取得部７３０に指示する。
　また、感度調整部７２０は、ズーム指示取得部７１０から取得されたズーム倍率にもとづいて頭部の角度検出の感度を調整する。ズーム倍率が大きくなるほど、頭部の角度検出の感度を下げる。ズームすると、画角が小さくなるため、頭部の角度検出感度を下げることで頭部の揺れによる表示画像の振動を抑えることができる。
　モーションセンサとして、３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上の組み合わせを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。また、ユーザの頭部の位置情報を組み合わせて頭部の動き検出の精度を向上させてもよい。
　座標変換部７４０は、位置・姿勢取得部７３０により取得されたヘッドマウントディスプレイ１００の姿勢にもとづいて、ヘッドマウントディスプレイ１００に表示すべき画像を生成するための座標変換を行う。
　パノラマ画像処理部７５０は、パノラマ画像記憶部７６０からパノラマ画像データを読み出し、座標変換部７４０による座標変換にしたがって、ヘッドマウントディスプレイ１００の位置および姿勢に応じたパノラマ画像を、ズーム指示取得部７１０から指定されたズーム倍率で生成し、画像提供部７７０に与える。ここで、パノラマ画像データは、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。また、遠隔地で撮影されたパノラマ画像をネットワークを経由して受信し、パノラマ画像記憶部７６０に記憶してもよい。
　パノラマ画像記憶部７６０には、複数種類のパノラマ画像が記憶されている。パノラマ画像は、定点を中心とする周囲の空間の画像の一例であり、全天球のパノラマ画像の場合、周囲の空間（パノラマ空間）は、球で表される。
　本実施の形態では、ワールド座標系でパノラマ球の中心の座標と半径を決める。複数のパノラマ球を、パノラマ球間で方角を合わせてワールド座標系に配置する。ヘッドマウントディスプレイ１００を装着したユーザはパノラマ球の画像をディスプレイで見ながら物理的に移動することで、ワールド座標系内のパノラマ空間を仮想的にウォークスルーすることができる。ユーザはワールド座標系において、一つのパノラマ球にとどまることも、あるパノラマ球から別のパノラマ球に移動することもできる。
　操作入力部７９０は、ユーザの所定のジェスチャによる操作入力を受け付ける。操作には、たとえば、コンテンツリストに含まれるコンテンツの選択と実行、パノラマ画像のズームイン・ズームアウトなどがある。操作入力部７９０は、ジェスチャをするときのユーザの姿勢の変化量が所定の閾値を超えた場合にジェスチャによる操作入力を受け付ける。この閾値を「操作閾値」と呼ぶ。ユーザのジェスチャによる操作入力は、姿勢の変化量が操作閾値を超えない限り、受け付けられず、姿勢の変化量が操作閾値を超えて初めてその操作が実行される。
　操作入力部７９０によって受け付けられた操作入力は、図示しない制御部に送られ、操作入力に応じた動作が実行される。
　ユーザがジェスチャをするときの姿勢の初期位置に応じて操作閾値を調整してもよい。たとえば、頷くジェスチャをする場合、首の傾きに応じて操作閾値を異ならせる。首が最初から斜め下を向いていた場合は、顔が正面を向いていた場合に比べて首をそれ以上大きく傾けることが難しいため、操作閾値を低く設定する。
　また、ユーザ毎に操作閾値を調整してもよい。姿勢を大きく変えたい（あるいは姿勢を変えることが容易である）ユーザと、姿勢をあまり大きく変えたくない（あるいは姿勢を変えることが難しい）ユーザがいるとき、ユーザは操作閾値を自分でカスタマイズすることができる。また、ユーザが起きている、座っている、寝ているかによって姿勢の変えやすさや可動域が異なるため、ユーザの体勢によって、操作閾値を調整してもよい。
　インジケータ表示部７８０は、位置・姿勢取得部７３０により取得されたユーザの姿勢情報および感度調整部７２０により取得された姿勢検出の感度情報をもとにジェスチャをするときの姿勢の変化量を示すインジケータの画像を生成し、画像提供部７７０に与える。姿勢の変化量は、たとえば、インジケータの目盛りで示される。
　インジケータ表示部７８０は、操作閾値をインジケータに表示してもよい。操作閾値はたとえば、インジケータの目盛りの内の閾値に相当する値を何らかの目印で表示することができる。あるいは、インジケータの最大目盛りがそのまま操作閾値であってもよい。操作が入力されるまでに操作閾値という「遊び」があり、ジェスチャによりインジケータが表示されても、操作閾値を超えるまでインジケータの目盛りが進まなければ操作が入力されないので、ユーザは操作閾値を超えるまで姿勢を変えてその操作を入力するか、あるいは、それ以上は姿勢を変えないでその操作をキャンセルするかを、インジケータを見ながら決めることができる。
　インジケータ表示部７８０は、ユーザがジェスチャをするときの姿勢の初期位置に応じて姿勢の変化量をインジケータに表示する際の感度を調整してもよい。たとえば、頷くジェスチャを取る場合、首の傾きに応じて変化量をインジケータに表示する際の感度を変化させる。首が最初から下を向いていた場合は、顔が正面を向いていた場合に比べて首をそれ以上大きく傾けることが難しいため、姿勢の変化量をインジケータに表示する際の感度を大きく設定する。これにより、首を小さく傾けてもインジケータに変化量が大きく表れる、すなわちインジケータの目盛りの進み方を速くするようにすることができる。
　画像提供部７７０は、パノラマ画像処理部７５０により生成されたパノラマ画像データおよびインジケータ表示部７８０により生成されたインジケータ画像データをヘッドマウントディスプレイ１００に供給する。
　ヘッドマウントディスプレイ１００を装着したユーザはユーザの位置と姿勢に応じたパノラマ画像を閲覧するとともに、ユーザが特定のジェスチャをした場合に表示されるインジケータを画面上で見ることができる。特定のジェスチャに対応する操作を実行したい場合は、インジケータに表示されるユーザの姿勢の変化量が操作閾値を超えるまで姿勢を変化させることにより、その操作を入力することができる。
　「操作入力装置」は、少なくとも、位置・姿勢取得部７３０、インジケータ表示部７８０、および操作入力部７９０を含む。この構成の一部または全部をヘッドマウントディスプレイ１００側に設けてもよい。以下、本実施の形態の操作入力装置の動作を説明する。
　図５（ａ）～図５（ｃ）は、ヘッドマウントディスプレイ１００に表示されるパノラマ画像およびコンテンツリストを説明する図である。
　図５（ａ）に示すように、パノラマ画像の中央にはパノラマ球のサムネイル画像５００ａ～５００ｄが横方向に並べられたコンテンツリストが表示される。パノラマ球のサムネイル画像は仮想空間においてユーザの位置を中心として周囲３６０度に配置されており、ユーザは首を横方向に回転させることにより、コンテンツリスト内のパノラマ球のサムネイル画像を閲覧することができる。
　図５（ｂ）に示すように、ユーザがパノラマ球のサムネイル画像５００ｂが正面に来るように首を回転させると、その正面のサムネイル画像５００ｂが強調して表示され、サムネイル画像５００ｂの下に、インジケータ５１０が表示される。ここで、強調表示は、たとえばサムネイル画像の拡大表示や、サムネイル画像の周囲に枠を表示することによってなされる。あるいは、正面にサムネイル画像５００ｂをもってきた状態で首の回転を止めて所定の時間が経過する（「アイドリング」という）と、サムネイル画像が強調表示され、インジケータ５１０が表示されるように構成してもよい。
　インジケータ５１０が表示された状態で、ユーザがたとえば首を横に振るジェスチャを行うと、図５（ｃ）に示すように、インジケータ５１０には姿勢の変化量に応じてインジケータ５１０の目盛りが進んでいく。ここではインジケータ５１０は操作ボタンの形状をしており、首を横に振る角度に応じて操作ボタンの背景色が上から塗りつぶされていく。首を横に振ることでユーザが見ているパノラマ画像全体も横に移動していることに留意する。
　所定の操作閾値を超えるまで首を横に振ると、インジケータ５１０の内部が全部塗りつぶされ、指定された操作の入力が受け付けられ、実行に移される。ここでは、選択したサムネイル画像５００ｂに対応するパノラマ球にパノラマ画像を切り替える動作が実行される。別のパノラマ球のパノラマ画像に切り替える際、突然切り替えるのではなく、フェードアウト・フェードインなどのエフェクトをかけてもよい。
　図６（ａ）～図６（ｃ）は、ヘッドマウントディスプレイ１００に表示されるインジケータ５２０の目盛りの変化を説明する図である。
　インジケータ５２０は円弧の形状をしており、ユーザが首を傾げた場合に表示される。首を傾げるジェスチャはパノラマ画像のズームイン・ズームアウトに対応する。たとえば、首を右に傾げるジェスチャはズームイン、首を左に傾げるジェスチャはズームアウトに対応する。
　図６（ａ）に示すように、ユーザが最初に首を少し左に傾げるジェスチャをすると、ズームアウト用のインジケータ５２０が表示される。ユーザが首をさらに左に傾げると図６（ｂ）に示すように、インジケータ５２０の目盛りが進んでいく。ここではインジケータ５２０の内部の背景色が塗りつぶされていく。首をさらに深く左に傾げることで操作閾値を超えると、図６（ｃ）に示すようにインジケータ５２０の目盛りが最後まで進み、ズームアウトの操作入力が受け付けられ、パノラマ画像がズームアウトされる。ここでも、首を傾げる動作によって、ユーザが見ているパノラマ画像も姿勢の変化に応じて回転していることに留意する。
　図７（ａ）～図７（ｃ）は、首を横に振るジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。図７（ａ）に示すように、顔を正面に向けた姿勢が初期位置であり、この姿勢を一定時間取り続ける（アイドリング）ことにより、インジケータ５３０がパノラマ画像に表示される。ここではインジケータ５３０は操作ボタンの形状をしており、背景色は透明である。
　図７（ｂ）に示すように、首を横に振り、顔の方向が「０％」と示された角度を超えると、インジケータ５３０の背景色が左から塗りつぶされていく。塗りつぶされる方向は首を振る方向と同じ横方向である。
　図７（ｃ）に示すように、さらに首を横に振り続け、顔の方向が「１００％」と示された角度を超えると、インジケータ５３０の背景色が全部塗りつぶされ、操作入力が受け付けられ、実行に移される。
　図８（ａ）～図８（ｃ）は、首を縦に振る（頷く）ジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。図８（ａ）に示すように、顔を正面に向けた初期位置の姿勢を一定時間取り続けると、操作ボタン形状のインジケータ５４０がパノラマ画像に表示される。この段階ではインジケータ５３０の背景色は透明である。
　図８（ｂ）に示すように、首を縦に振り、顔の傾きが「０％」の角度を超えると、インジケータ５４０の背景色が上から塗りつぶされていく。塗りつぶされる方向は首を振る方向と同じ縦方向である。
　図８（ｃ）に示すように、さらに首を縦に振り続け、顔の傾きが「１００％」の角度を超えると、インジケータ５４０の背景色が全部塗りつぶされ、操作入力が受け付けられ、実行に移される。
　図９（ａ）～図９（ｃ）は、首を傾げるジェスチャの場合の姿勢の変化量とインジケータの目盛りの関係を説明する図である。図９（ａ）に示すように、首を真っ直ぐにした初期位置の姿勢から少し首を傾げると、円弧形状のインジケータ５５０がパノラマ画像に表示される。首を左に傾げると左円弧、首を右に傾げると右円弧の形状のインジケータが表示される。この段階ではインジケータ５５０の背景色は透明である。
　図９（ｂ）に示すように、首をさらに傾げ、顔の回転が「０％」の角度を超えると、インジケータ５５０の背景色が塗りつぶされていく。
　図９（ｃ）に示すように、さらに首を傾げ続け、顔の回転が「１００％」の角度を超えると、インジケータ５５０の背景色が全部塗りつぶされ、操作入力が受け付けられ、実行に移される。
　上記以外にも顔を前に突き出す、首を複数回横に速く振る、顔を上に上げるなどいろいろなジェスチャがあり、それぞれに特定の操作を対応づけ、そのジェスチャに対応した適切なインジケータを表示することができる。
　たとえば、コンテンツリスト内の特定のコンテンツのサムネイル画像を選択して実行すると、その特定のコンテンツのパノラマ球に移行して、パノラマ画像が表示されるが、その段階で首を横に速く振ると、元のコンテンツのパノラマ球に戻り、元のパノラマ画像が表示される。このとき、首を横に振る回数や速度は、ユーザの体勢によって、異ならせてもよい。たとえば、寝ているときは首を動かすことが容易でないため、起きているときに比べて、振る回数を減らしたり、振る速度を遅くしても操作が入力できるようにする。また、寝ているときは、起きているときに比べて操作閾値を低く設定してもよい。
　また、コンテンツリスト内のコンテンツのサムネイル画像がユーザの頭の上方にある場合は、そのコンテンツを選択するには顔を上に向ける必要があるが、その状態で首を横に振るのは容易ではない。そのように首を横に振るのが容易でない姿勢においては、首を振らなくても、首を動かさないアイドリング状態で時間が経過すると、インジケータの目盛りが進み、一定の時間の経過後、選択操作が自動的に入力され、そのコンテンツが選択されてもよい。たとえば、地理的な位置情報に対応づけられたコンテンツの場合、仮想空間においてその位置情報が示す方向にコンテンツのサムネイル画像が配置されることがある。そのような場合、コンテンツのサムネイル画像は必ずしもユーザが顔を向けやすい姿勢位置に配置されているとは限られない。上記のようにコンテンツのサムネイル画像の方向に顔を向けて一定の時間経過によって操作が入力されるように構成すれば、無理な姿勢変化をユーザに強いることがない。
　図１０（ａ）および図１０（ｂ）は、頷くジェスチャの場合における姿勢の初期位置と操作閾値の関係を説明する図である。
　図１０（ａ）のようにヘッドマウントディスプレイ１００を装着したユーザの顔が正面を向いている場合、頷くジェスチャの可動域は広いため、操作閾値を高い値に設定することができる。他方、図１０（ｂ）のように顔が最初から斜め下を向いている場合は、頷くジェスチャの可動域は狭いため、操作閾値を低い値に設定することができる。これ以外にも首を横に振るジェスチャの場合、顔が既に斜め横方向に向いているときは首を横に振るための可動域は狭くなるため、操作閾値を低い値に設定する。
　このように操作入力をするときのユーザの姿勢の初期位置に応じて操作閾値は調整される。インジケータにおいて操作閾値はインジケータ自体の長さで表してもよく、操作閾値が低い場合はインジケータ自体の長さを短くする。あるいは、インジケータの目盛りの途中の値を操作閾値として、操作閾値となる目盛りに印をつけたり、色をつけることで操作閾値がわかるように強調表示してもよい。
　あるいは、別の方法として、姿勢の変化量に対する操作閾値を変えずに、姿勢の変化量をインジケータに示す際の感度をユーザの姿勢の初期位置に応じて調整してもよい。たとえば、図１０（ｂ）のようにジェスチャの可動域が狭い場合、姿勢の変化量に対してインジケータの目盛りが進む度合いを大きくすることで、少ない姿勢の変化量でも操作閾値に達するようにすることができる。この場合、インジケータ自体の長さを変えたり、操作閾値となる目盛り位置を変える必要はなくなる。
　また、ユーザが立っているか、座っているか、寝ているかによって、ジェスチャの可動域が異なることがあるため、ユーザの身体の体勢に応じて操作閾値を異ならせてもよい。たとえば、寝ているときは立っているか座っているときに比べて首を横に動かすことが難しくなる。寝ているときは操作閾値を下げたり、姿勢の変化量に対するインジケータの目盛りの進み方を大きくしてもよい。また、寝ているときは首を振らなくても、インジケータが表示された状態で静止していると、時間経過とともにインジケータの目盛りが進み、一定の時間を経過すると自動的に操作が入力されるようにしてもよい。
　図１１（ａ）～図１１（ｅ）は、首を縦に振るジェスチャとインジケータの形状の対応関係を説明する図である。図１１（ａ）に示すように首を縦に振るジェスチャをする場合の複数のタイプのインジケータの形状と姿勢の変化量の表示態様を図１１（ｂ）～図１１（ｅ）に示す。
　図１１（ｂ）は、ライン形状のインジケータである。首を縦に振るジェスチャを促すために縦方向のライン形状のインジケータが表示される。首を縦に振る角度が大きくなるにつれて、目盛りが下方向に進む。首を振る角度の変化量が操作閾値を超えると、目盛りが最大値に達し、操作が入力される。
　図１１（ｃ）は、ボタン形状のインジケータである。このタイプのインジケータでは目盛りはボタン内の背景色が塗りつぶされていくことで表示される。首を縦に振る角度が大きくなるにつれて、ボタン内部が徐々に上から下に塗りつぶされていく。首を振る角度の変化量が操作閾値を超えると、ボタンの背景色が全部塗りつぶされ、操作が入力される。
　図１１（ｄ）は、変形するインジケータである。このタイプのインジケータでは、姿勢の変化量が大きくなるにつれてインジケータ自身が縦方向に伸びることにより変化量が示される。首を縦に振る角度が大きくなるにつれて、インジケータ自身が縦に伸びていく。首を振る角度の変化量が操作閾値を超えると、インジケータは最大の長さまで伸びきった後、元の大きさに戻り、操作が入力される。
　図１１（ｅ）は、複数の小さい単位のインジケータの配列によりインジケータと目盛りを構成する場合を示す。このタイプのインジケータでは、姿勢の変化が大きくなるにつれてインジケータ配列の内、点灯するインジケータが下方向に増えていくことで変化量が示される。首を縦に振る角度が大きくなるにつれて、点灯するインジケータの数が増えていく。首を振る角度の変化量が操作閾値を超えると、インジケータ配列のすべてのインジケータが点灯し、操作が入力される。
　図１２（ａ）～図１２（ｅ）は、首を横に振るジェスチャとインジケータの形状の対応関係を説明する図である。図１２（ａ）に示すように首を横に振るジェスチャをする場合の複数のタイプのインジケータの形状と姿勢の変化量の表示態様を図１２（ｂ）～図１２（ｅ）に示す。
　図１２（ｂ）は、ライン形状のインジケータである。首を横に振るジェスチャを促すために横方向のライン形状のインジケータが表示される。首を横に振る角度が大きくなるにつれて、目盛りが右方向に進む。首を振る角度の変化量が操作閾値を超えると、目盛りが最大値に達し、操作が入力される。
　図１２（ｃ）は、ボタン形状のインジケータである。首を横に振る角度が大きくなるにつれて、ボタン内部が徐々に左から右に塗りつぶされていく。首を振る角度の変化量が操作閾値を超えると、ボタンの背景色が全部塗りつぶされ、操作が入力される。
　図１２（ｄ）は、変形するインジケータである。首を横に振る角度が大きくなるにつれて、インジケータ自身が横に伸びていく。首を振る角度の変化量が操作閾値を超えると、インジケータは最大の長さまで伸びきった後、元の大きさに戻り、操作が入力される。
　図１２（ｅ）は、複数の小さい単位のインジケータの配列によりインジケータと目盛りを構成する場合を示す。首を横に振る角度が大きくなるにつれて、点灯するインジケータの数が横方向に増えていく。首を振る角度の変化量が操作閾値を超えると、インジケータ配列のすべてのインジケータが点灯し、操作が入力される。
　図１３（ａ）～図１３（ｅ）は、首を傾げるジェスチャとインジケータの形状の対応関係を説明する図である。図１３（ａ）に示すように首を傾げるジェスチャをする場合の複数のタイプのインジケータの形状と姿勢の変化量の表示態様を図１３（ｂ）～図１３（ｅ）に示す。
　図１３（ｂ）は、ライン形状のインジケータである。首を傾げるジェスチャを促すために円弧形状のインジケータが表示される。首を左に傾げるジェスチャの場合は左円弧のインジケータ、首を右に傾げるジェスチャの場合は右円弧のインジケータが表示される。首を傾げる角度が大きくなるにつれて、目盛りが円弧に沿って進む。首を傾げる角度の変化量が操作閾値を超えると、目盛りが最大値に達し、操作が入力される。
　図１３（ｃ）は、ボタン形状のインジケータである。首を傾げる角度が大きくなるにつれて、円弧形状のボタン内部が徐々に円弧に沿って塗りつぶされていく。首を振る角度の変化量が操作閾値を超えると、ボタンの背景色が全部塗りつぶされ、操作が入力される。
　図１３（ｄ）は、変形するインジケータである。首を傾げる角度が大きくなるにつれて、インジケータ自身が円弧形状に伸びていく。首を傾げる角度の変化量が操作閾値を超えると、インジケータは最大限まで伸び、操作が入力される。
　図１３（ｅ）は、複数の小さい単位のインジケータの配列によりインジケータと目盛りを構成する場合を示す。首を傾げる角度が大きくなるにつれて、点灯するインジケータの数が円弧形状で増えていく。首を傾げる角度の変化量が操作閾値を超えると、インジケータ配列のすべてのインジケータが点灯し、操作が入力される。
　以上述べたように、本実施の形態の操作入力方法によれば、ユーザがヘッドマウントディスプレイ１００などのウェアラブルディスプレイ装置を装着した状態でユーザは頭部を動かすなどのジェスチャによって操作入力を簡単に行うことができる。コントローラやキーボードなどを操作する必要がないため、ヘッドマウントディスプレイ１００に表示された映像に意識を集中した状態を維持でき、没入感の妨げにならない。ジェスチャによる操作入力を行う際、インジケータが自動的に表示され、姿勢を変化させる方向と姿勢を変化させる量が直感的に把握できるため、操作入力にストレスを感じることがない。また操作閾値を超えるまではジェスチャによる操作入力が受け付けられないから、誤ってジェスチャを行った場合でも容易に取り消すことができる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
　上記の説明では、ヘッドマウントディスプレイ１００を装着したユーザの首を振ったり、傾げたりするジェスチャによる姿勢の変化を例に挙げて説明したが、ジェスチャはこれ以外のものであってもよい。ユーザの身体の動きをカメラやモーションセンサなどにより検出することができる場合、たとえば、手を振る、手を挙げる、手を握る、足踏みする、立つ、座るなどのジェスチャによる姿勢の変化を用いて操作入力が行われるようにしてもよい。
　１０　制御部、　２０　入力インタフェース、　３０　出力インタフェース、　３２　バックライト、　４０　通信制御部、　４２　ネットワークアダプタ、　４４　アンテナ、　５０　記憶部、　６４　姿勢センサ、　７０　外部入出力端子インタフェース、　７２　外部メモリ、　８０　時計部、　１００　ヘッドマウントディスプレイ、　１１０　本体部、　１２０　前頭部接触部、　１３０　側頭部接触部、　２００　ゲーム機、　７００　パノラマ画像生成装置、　７１０　ズーム指示取得部、　７２０　感度調整部、　７３０　位置・姿勢取得部、　７４０　座標変換部、　７５０　パノラマ画像処理部、　７６０　パノラマ画像記憶部、　７７０　画像提供部、　７８０　インジケータ表示部、　７９０　操作入力部。
　ウェアラブルディスプレイにおける操作入力技術に利用できる。

Claims (11)

  1. 　ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する姿勢取得部と、
    　ユーザのジェスチャによる操作入力を受け付ける操作入力部と、
    　前記ジェスチャをするときのユーザの姿勢の変化量を示すインジケータを前記ウェアラブルディスプレイ装置に表示させるインジケータ表示部とを含み、
    　前記操作入力部は、前記姿勢の変化量が所定の閾値を超えた場合に前記ジェスチャによる操作入力を受け付けることを特徴とする操作入力装置。
  2. 　前記インジケータ表示部は、前記所定の閾値を前記インジケータに表示することを特徴とする請求項１に記載の操作入力装置。
  3. 　前記ジェスチャをするときのユーザの体勢に応じて前記所定の閾値は異なる値に設定されることを特徴とする請求項１または２に記載の操作入力装置。
  4. 　前記ジェスチャをするときのユーザの姿勢の可動域の広さに応じて前記所定の閾値は異なる値に設定されることを特徴とする請求項１または２に記載の操作入力装置。
  5. 　前記ジェスチャをするときのユーザの姿勢の初期位置に応じて前記所定の閾値は異なる値に設定されることを特徴とする請求項１または２に記載の操作入力装置。
  6. 　前記ジェスチャをするときのユーザの姿勢の初期位置に応じて前記姿勢の変化量を前記インジケータに表示する際の感度が調整されることを特徴とする請求項１または２に記載の操作入力装置。
  7. 　前記インジケータ表示部は、ユーザに頷く動作をさせるために縦方向のインジケータを表示することを特徴とする請求項１から６のいずれかに記載の操作入力装置。
  8. 　前記インジケータ表示部は、ユーザに首を横に振る動作をさせるために横方向のインジケータを表示することを特徴とする請求項１から６のいずれかに記載の操作入力装置。
  9. 　前記インジケータ表示部は、ユーザに首を傾げる動作をさせるために円弧のインジケータを表示することを特徴とする請求項１から６のいずれかに記載の操作入力装置。
  10. 　ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する姿勢取得ステップと、
    　ユーザのジェスチャによる操作入力を受け付ける操作入力ステップと、
    　前記ジェスチャをするときのユーザの姿勢の変化量を示すインジケータを前記ウェアラブルディスプレイ装置に表示させるインジケータ表示ステップとを含み、
    　前記操作入力ステップは、前記姿勢の変化量が所定の閾値を超えた場合に前記ジェスチャによる操作入力を受け付けることを特徴とする操作入力方法。
  11. 　ウェアラブルディスプレイ装置を装着したユーザの姿勢に関する情報を取得する姿勢取得機能と、
    　ユーザのジェスチャによる操作入力を受け付ける操作入力機能と、
    　前記ジェスチャをするときのユーザの姿勢の変化量を示すインジケータを前記ウェアラブルディスプレイ装置に表示させるインジケータ表示機能とをコンピュータに実現させ、
    　前記操作入力機能は、前記姿勢の変化量が所定の閾値を超えた場合に前記ジェスチャによる操作入力を受け付けることを特徴とするプログラム。
PCT/JP2016/069618 2015-07-08 2016-07-01 操作入力装置および操作入力方法 WO2017006857A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680038643.2A CN107710105B (zh) 2015-07-08 2016-07-01 操作输入装置和操作输入方法
EP16821326.2A EP3321776B1 (en) 2015-07-08 2016-07-01 Operation input device and operation input method
US15/740,608 US20180188802A1 (en) 2015-07-08 2016-07-01 Operation input apparatus and operation input method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015136711A JP2017021461A (ja) 2015-07-08 2015-07-08 操作入力装置および操作入力方法
JP2015-136711 2015-07-08

Publications (1)

Publication Number Publication Date
WO2017006857A1 true WO2017006857A1 (ja) 2017-01-12

Family

ID=57685521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069618 WO2017006857A1 (ja) 2015-07-08 2016-07-01 操作入力装置および操作入力方法

Country Status (5)

Country Link
US (1) US20180188802A1 (ja)
EP (1) EP3321776B1 (ja)
JP (1) JP2017021461A (ja)
CN (1) CN107710105B (ja)
WO (1) WO2017006857A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607398B2 (en) * 2016-07-04 2020-03-31 Colopl, Inc. Display control method and system for executing the display control method
JP6746835B2 (ja) * 2017-03-13 2020-08-26 株式会社コナミデジタルエンタテインメント 表示制御装置及びプログラム
JP2019016316A (ja) 2017-07-11 2019-01-31 株式会社日立エルジーデータストレージ 表示システム、及び表示システムの表示制御方法
JP6623362B2 (ja) * 2018-03-08 2019-12-25 株式会社コナミデジタルエンタテインメント 表示制御装置及びプログラム
JP7210153B2 (ja) * 2018-04-04 2023-01-23 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
CN110554784B (zh) * 2018-05-31 2023-07-14 广东虚拟现实科技有限公司 输入方法、装置、显示设备及存储介质
WO2020031367A1 (ja) 2018-08-10 2020-02-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6726319B2 (ja) * 2018-11-12 2020-07-22 知行 宍戸 補助ペダルシステム
WO2020241189A1 (ja) * 2019-05-30 2020-12-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7004771B2 (ja) * 2020-06-26 2022-01-21 知行 宍戸 デバイスコントローラー

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123812A (ja) * 2011-12-27 2012-06-28 Nikon Corp 制御装置、及びヘッドマウントディスプレイ装置
JP2013037467A (ja) * 2011-08-05 2013-02-21 Toshiba Corp コマンド発行装置、コマンド発行方法およびプログラム
JP2014222495A (ja) * 2013-05-13 2014-11-27 公立大学法人広島市立大学 インタフェース装置
JP2014235634A (ja) * 2013-06-04 2014-12-15 国立大学法人 筑波大学 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
JP2015005197A (ja) * 2013-06-21 2015-01-08 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) * 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20100259471A1 (en) * 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
JP5754074B2 (ja) * 2010-03-19 2015-07-22 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US8629815B2 (en) * 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
TWI492168B (zh) * 2012-09-07 2015-07-11 友達光電股份有限公司 移動位置座標產生方法
CN103713730B (zh) * 2012-09-29 2018-03-20 炬才微电子（深圳）有限公司 应用于智能终端的空中手势识别方法及装置
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
JP5974928B2 (ja) * 2013-02-22 2016-08-23 ソニー株式会社 表示制御装置、表示装置、表示制御方法、およびプログラム
WO2014145166A2 (en) * 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
US10408613B2 (en) * 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
US9529513B2 (en) * 2013-08-05 2016-12-27 Microsoft Technology Licensing, Llc Two-hand interaction with natural user interface
US9448689B2 (en) * 2013-08-30 2016-09-20 Paypal, Inc. Wearable user device enhanced display system
JP6325659B2 (ja) * 2014-05-08 2018-05-16 Ｎｅｃソリューションイノベータ株式会社 操作画面表示装置、操作画面表示方法およびプログラム
US9965029B2 (en) * 2015-03-30 2018-05-08 Sony Corporation Information processing apparatus, information processing method, and program
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
JP6439935B2 (ja) * 2015-05-07 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
JP6400197B2 (ja) * 2015-05-29 2018-10-03 京セラ株式会社 ウェアラブル装置
US9703102B2 (en) * 2015-08-28 2017-07-11 Tomy Company Ltd. Information processing device including head mounted display
JP6407824B2 (ja) * 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
US20170123605A1 (en) * 2015-11-02 2017-05-04 Le Holdings (Beijing) Co., Ltd. Method and electronic device for displaying list contents

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013037467A (ja) * 2011-08-05 2013-02-21 Toshiba Corp コマンド発行装置、コマンド発行方法およびプログラム
JP2012123812A (ja) * 2011-12-27 2012-06-28 Nikon Corp 制御装置、及びヘッドマウントディスプレイ装置
JP2014222495A (ja) * 2013-05-13 2014-11-27 公立大学法人広島市立大学 インタフェース装置
JP2014235634A (ja) * 2013-06-04 2014-12-15 国立大学法人 筑波大学 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
JP2015005197A (ja) * 2013-06-21 2015-01-08 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3321776A4 *

Also Published As

Publication number Publication date
JP2017021461A (ja) 2017-01-26
EP3321776A4 (en) 2018-12-19
EP3321776A1 (en) 2018-05-16
CN107710105A (zh) 2018-02-16
CN107710105B (zh) 2020-12-29
US20180188802A1 (en) 2018-07-05
EP3321776B1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
WO2017006857A1 (ja) 操作入力装置および操作入力方法
JP6560974B2 (ja) 情報処理装置および操作受付方法
JP6518582B2 (ja) 情報処理装置および操作受付方法
JP6620063B2 (ja) 画像処理装置および画像処理方法
JP5914739B1 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP6342038B1 (ja) 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
JP5920897B2 (ja) 画像生成装置および画像生成方法
JP6576536B2 (ja) 情報処理装置
JP2013258614A (ja) 画像生成装置および画像生成方法
JP6235790B2 (ja) 表示制御システム、表示制御装置、表示制御プログラム、および表示制御方法
WO2017033777A1 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP6751205B2 (ja) ディスプレイ装置及びその制御方法
JP2017045296A (ja) ヘッドマウントディスプレイシステムを制御するプログラム
WO2020105269A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6655751B1 (ja) 映像表示制御装置、方法およびプログラム
KR20180055637A (ko) 전자 장치 및 그의 제어 방법
JP6121495B2 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP7492497B2 (ja) プログラム、情報処理方法、及び情報処理装置
WO2020054585A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020074061A (ja) 表示制御装置及びプログラム
JP2020074062A (ja) 表示制御装置及びプログラム
JP2018200688A (ja) 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
JP2018120521A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16821326

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE