WO2019038875A1 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2019038875A1
WO2019038875A1 PCT/JP2017/030273 JP2017030273W WO2019038875A1 WO 2019038875 A1 WO2019038875 A1 WO 2019038875A1 JP 2017030273 W JP2017030273 W JP 2017030273W WO 2019038875 A1 WO2019038875 A1 WO 2019038875A1
Authority
WO
WIPO (PCT)
Prior art keywords
hmd
user
operation space
space
image
Prior art date
Application number
PCT/JP2017/030273
Other languages
English (en)
French (fr)
Inventor
洋 野々村
直之 神田
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2017/030273 priority Critical patent/WO2019038875A1/ja
Priority to JP2019537497A priority patent/JP6886024B2/ja
Priority to US16/625,824 priority patent/US11455042B2/en
Priority to CN201780093045.XA priority patent/CN110869880A/zh
Publication of WO2019038875A1 publication Critical patent/WO2019038875A1/ja
Priority to JP2021081700A priority patent/JP2021144718A/ja
Priority to US17/892,320 priority patent/US20220397963A1/en
Priority to JP2023033327A priority patent/JP2023076451A/ja
Priority to US18/442,182 priority patent/US20240201791A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the present invention relates to a head mounted display that displays mixed reality images and can be operated by gesture operation of the user.
  • Patent Document 1 describes a system for displaying shared virtual objects and private virtual objects in a mixed reality environment.
  • Patent Document 2 includes an apparatus information notification unit (marker) for specifying the position of the own apparatus in the HMD, and this is photographed by a camera to detect the distance and direction of the marker. It is described that the operation space of HMDs is adjusted so that the gesture operation spaces of HMDs do not overlap.
  • Patent Document 1 does not consider collision avoidance with another person by gesture operation. Moreover, in patent document 2, it is not considered about collision avoidance with the person who is not using HMD. Even when the method described in Patent Document 2 is adopted, if the HMD of another user is facing in the opposite direction or a shield is present in the middle, the marker provided in the HMD may not be detected by the camera. In that case, the distance and direction of the HMD of another user can not be known, and a collision may occur. Further, since the adjustment of the gesture operation space is performed only by the own device, the operation space for the user may be adjusted so as to be too narrow in an attempt to keep the operation spaces apart from each other, resulting in poor usability.
  • the head mounted display includes an image projection unit for projecting an image, a see-through lens for overlapping the image projected from the image projection unit on surrounding space and displaying it as a mixed reality object, and acquiring a distance image to obtain Distance image acquisition means for detecting a gesture operation, position information acquisition means for acquiring position information of a head mounted display (own machine HMD), communication means for communicating with an external terminal, and a user detected by the distance image acquisition means
  • a control unit is provided which controls the image projection operation of the image projection unit based on the gesture operation.
  • the control unit sets an operation space in which a gesture operation performed by the user is effective and displays the operation space as a mixed reality object, and communicates with another head mounted display (other machine HMD) through communication means to communicate with the own machine HMD.
  • the position information of the other machine HMD and the information of the operation space are exchanged, and the operation space of the own machine HMD is adjusted so that the operation space of the own machine HMD and the operation space of the other machine HMD do not overlap.
  • the head mounted display comprises an image projection unit for projecting an image, a see-through lens for overlapping the image projected from the image projection unit on surrounding space and displaying it as a mixed reality object, and acquiring a distance image
  • the image processing apparatus further includes a control unit configured to control an image projection operation of the image projection unit based on a gesture operation of the user and distance image acquisition means for detecting a nearby person or object, and a gesture operation of the user detected by the distance image acquisition means.
  • the control unit sets an operation space in which a gesture operation performed by the user is effective and displays the operation space as a mixed reality object, and also detects a person or an object detected by the distance image acquiring unit in the operation space
  • the operation space is adjusted so that the existing position of a person or an object does not overlap the operation space.
  • an HMD that has an operation space that is easy for the user to use, avoiding collisions of bodies due to gesture operations not only between users who use the HMD but also with people who do not use the HMD. it can.
  • the figure which shows the external appearance structure of HMD (Example 1).
  • the figure explaining the positional infomation acquisition function of HMD The figure which shows the state which displays mixed reality object by HMD.
  • the figure explaining the various operation methods by the user with respect to HMD The figure which shows the example of the object for operation displayed to an HMD user.
  • the figure which shows the state which two HMD users use HMD side by side.
  • the figure which shows the case where a part of object is hidden in order to avoid a collision. 6 is a flowchart of changing the display position of an object by reducing the operation space.
  • FIG. 1 is a view showing an appearance configuration of an HMD (head mounted display) according to the present embodiment.
  • the HMD 1 projects the images of a mixed reality object, system storage units 101a and 101b storing control units, memories, storage, etc., cameras 102a and 102b, position information radio wave receiving units (position information acquisition means) 103a and 103b, and Image projection units 104a and 104b, see-through lenses 105a and 105b for projecting the projected mixed reality object in the surrounding space in an overlapping manner, and distance image acquisition means 106 for acquiring a distance image.
  • system storage units 101a and 101b storing control units, memories, storage, etc.
  • cameras 102a and 102b position information radio wave receiving units (position information acquisition means) 103a and 103b
  • Image projection units 104a and 104b see-through lenses 105a and 105b for projecting the projected mixed reality object in the surrounding space in an overlapping manner
  • distance image acquisition means 106 for acquiring a distance image.
  • a binocular HMD in which left and right images are displayed on the left and right see-through lenses 105a by two image projection units 104a and 104b is shown, but a monocular HMD in which one image is displayed may be used.
  • the position information radio wave receiving units 103a and 103b receive radio signals from beacons described later, and acquire the position of the HMD 1.
  • the distance image acquisition unit 106 detects an operation (a gesture operation) of the user's hand. Also, a person or an object present in front of the HMD 1 is detected, and their distance and direction are measured.
  • a TOF (Time Of Flight) camera that measures the distance from the flight time of light can be used.
  • the HMD 1 is also connected by a communication cable 20 to a smartphone 2 having an inter-terminal communication function defined by the specifications of the fifth generation mobile communication.
  • a communication cable 20 instead of the communication cable 20, wireless communication such as WiFi or BlueTooth may be used.
  • WiFi Wireless Fidelity
  • BlueTooth instead of the communication cable 20, wireless communication such as WiFi or BlueTooth may be used.
  • the system storage units 101a and 101b incorporate the communication function defined in the specification of the fifth generation mobile communication, communication with the external smartphone 2 is not necessary.
  • FIG. 2 is a diagram showing a system configuration of the HMD shown in FIG.
  • the system storage units 101a and 101b of the HMD 1 include a memory 201 for storing various program function units being executed, a storage 202 for storing various data, programs, contents and the like, a control unit 205 for executing the programs, and a smartphone And a smartphone communication unit 206 that communicates with the communication unit 2 and the communication unit 206 are connected by a bus 203.
  • the input unit 204 further includes an input unit, a touch sensor of a finger tip on the HMD frame, and an input unit by vibration of the HMD frame.
  • the control unit 205 receives the user's operation via the distance image acquisition unit 106, the input unit 204, and the smartphone 2, and controls the display operation of the image (content image) by the image projection units 104a and 104b. In addition, the control unit 205 detects that another person (another HMD) is near by the distance image acquisition unit 106 or the smartphone 2, and for the purpose of gesture operation in order to avoid collision of the bodies of the users. Adjust the operation space.
  • FIG. 3 is a diagram for explaining the position information acquisition function of the HMD.
  • the HMD 1 can acquire the position information of the HMD 1 by the beacons 5 a and 5 b for acquiring position information provided in the room.
  • the beacons 5a and 5b for acquiring location information transmit identification numbers of the respective beacons using a wireless technology such as Bluetooth (registered trademark) Low Energy, for example, iBeacon (registered trademark).
  • Bluetooth registered trademark
  • iBeacon registered trademark
  • a beacon device using Bluetooth is described in Japanese Patent Laid-Open No. 2010-130661 and the like.
  • the position information radio wave receiver (position information acquisition means) 103a, 103b of the HMD 1 receives radio waves from the beacons 5a, 5b and measures the strength of the radio waves to know the distances from the two beacons 5a, 5b. Can. At that time, the HMD 1 receives radio waves by the two position information radio wave receiving units 103a and 103b, and can know from which direction the HMD 1 is inclined from the beacons 5a and 5b from the difference strength. That is, position information of the HMD 1 based on the two beacons 5 a and 5 b and information of the direction of the user 3 who is using the HMD 1 can be acquired.
  • the position information of the other HMD 1 'based on the beacons 5a, 5b and the user 3' using the HMD 1 ' It is possible to obtain information on the direction of The user 3 and the user 3 'can exchange information on the position information and the direction information of the HMD acquired by each using the short-distance inter-terminal communication (smartphones 2, 2') of the fifth generation mobile communication .
  • FIG. 4 is a view showing a state in which the mixed reality object is displayed by the HMD, as viewed from the left side of the HMD 1.
  • the mixed reality object 300 projected from the image projection unit 104 b is displayed on the see-through lens 105 b.
  • the mixed reality object 300 can have various contents, such as image contents, objects for manipulation of gestures, and objects of manipulation space. Hereinafter, it will be called simply "object”.
  • FIG. 5 is a diagram for explaining various operation methods by the user for the HMD.
  • a spherical object 301 is displayed in front of the eye 31 of the HMD user.
  • the user gestures to move the hand 32 so as to touch the object 301 or pay the sideways.
  • the distance image acquisition unit 106 detects that the user's hand 32 gestures the object 301 at the position of the object 301. Thereby, the user can perform operations such as selection of content to be displayed on the HMD 1 to be displayed and viewing start / stop of viewing.
  • An object 302 in the shape of a smartphone is displayed in front of the eyes 31 of the HMD user.
  • the user gestures to move the hand 32 to operate the actual smartphone with respect to the object 302.
  • the distance image acquisition unit 106 detects that the user's hand 32 performs a gesture such as operating a smartphone at the position of the object 302.
  • the user can perform operations such as starting and stopping of an application, installation of an application, and start and end of communication, as with an operation on an actual smartphone.
  • the HMD can also be operated by the input button or the touch sensor via the input means 204 of FIG.
  • the distance image acquisition unit 106 acquires a silhouette in the form of the other person 4 and information on the distance to the other person 4. This makes it possible to recognize that another person approaches the vicinity, and to recognize that the approaching person, for example, the right hand 42 is presented to the HMD user.
  • FIG. 6 is a diagram showing an example of the operation object displayed to the HMD user.
  • An object (operation space object) 600 indicating a spherical gesture operation space is displayed around the user 3 sitting with the HMD 1 seated.
  • the operation space object 600 indicates the range of space in which the gesture operation performed by the user 3 is valid. If the range is exceeded, the operation is invalid and it means that there is a risk of collision with another person's body.
  • objects (operation objects) 601, 602, and 603 for performing selection operations of mixed reality content hereinafter simply referred to as content
  • FIG. 7 is a diagram showing a state in which the user performs a gesture operation to view content. For example, by performing a gesture such that the hand 32 of the user 3 touches the operation object 601, a desired content is selected. Then, the corresponding mixed reality content 701 is displayed in front of the user 3 and viewing can be started.
  • FIG. 8 is a diagram showing two HMD users using HMDs side by side. Operation space objects 600 and 600 'indicating the respective texture operation spaces are displayed around the HMD users 3 and 3'. In addition, in order to avoid that a drawing becomes complicated, operation space object 600, 600 'is shown only by the outermost circle (dashed-dotted line). In this case, each of the HMDs 1 and 1 'may display only the gesture operation space of the own device to the user, but may also display the gesture operation spaces of other users. This becomes possible by exchanging the information of the position and the size of the gesture operation space with another HMD by the inter-terminal communication function (smartphones 2, 2 ') of the fifth generation mobile communication. This allows user 3 to see not only his own object 600 but also the object 600 'for user 3'.
  • the inter-terminal communication function smarttphones 2, 2 '
  • operation objects 601 to 603 and 601 'to 603' for performing gesture operations of content selection / viewing start / viewing end are displayed.
  • the user 3, 3 ' may perform an operation of horizontally wiping the corresponding object (here, 601, 603') with the hand 32, 32 '.
  • the distance between the two is short, there is a risk that the hands 32, 32 'may collide with each other.
  • FIG. 9 is a view showing the case of moving the gesture operation space to avoid a collision.
  • the gesture operation spaces (objects 600 and 600 ') for the two HMD users 3 and 3' are moved away from each other to avoid overlapping of the operation spaces of each other. Further, the display positions of the objects (601 to 603, 601 'to 603') for gesture operation are moved, and the user is prompted to perform the gesture operation using hands 33 and 33 'on the side far from other users. This makes it possible to prevent the hands of the adjacent users 3 and 3 from colliding with each other.
  • FIG. 10 is a diagram showing the case where the gesture operation space is reduced to avoid a collision.
  • the size of the texture operation space objects 600 and 600 '
  • the size of the gesture operation objects (601 to 603, 601 'to 603') is also reduced so as to be within the reduced size operation space, and the display position is made closer.
  • the size of the gesture operation space is reduced, not only the spherical space is reduced, but also the operation space is limited to only the lower half of the spherical space or the shape of the operation space is deformed into a spheroid shape. You may This makes it possible to prevent the hands of the adjacent users 3 and 3 from colliding with each other.
  • the information of the operation space is exchanged between the HMD 1 and 1 'through the inter-terminal communication function (smartphones 2 and 2'). By doing this, it is determined whether or not the operation spaces overlap, and a new operation space is determined so as to avoid the overlap. That is, since the HMD 1 and the HMD 1 'can detect that they are close to each other by the inter-terminal communication function, they miss even if the other party's HMD is facing in any direction, or even if there is a shield on the way There is nothing to do. Moreover, since both HMDs 1 and 1 'cooperate with each other to determine the operation space, the adjusted operation space can be set to an optimal size without being too narrow.
  • FIG. 11 is a diagram showing a case where the gesture operation is switched to the operation by the smartphone. If the collision of the hands of the users 3 and 3 can not be avoided even if the adjustment of the gesture operation space is performed, the HMDs 1 and 1 ′ send the user 3 and 3 ′ to the operation space objects 600 and 600 ′. Exit the display to indicate that the operation by the gesture is not accepted. And user 3, 3 'switches to operation by real smart phone 2, 2'. In that case, in front of the users 3 and 3 ′, smartphone-like objects 611 and 611 ′ in the mixed reality and hand-like objects 612 and 612 ′ for operating the smartphone are displayed.
  • the real smartphone 2, 2 ' is operated by the hand 32, 32'
  • the display position of the hand-shaped object 612, 612 ' moves in conjunction with the movement of the operated hand 32, 32'.
  • the users 3 and 3 ' can operate the smartphones without looking at the real smartphones 2 and 2'. According to this, it is possible to operate, for example, content selection / viewing start / viewing end by operating the smartphones 2 and 2 'while putting them in the pocket.
  • FIG. 12 is a flowchart showing a method of adjusting the operation space when two HMD users are in proximity. Here, the case where the display position of the object is changed by the movement of the gesture operation space described in FIG. 9 is shown. This flow is repeatedly executed by the control unit 205 while the user 3 uses the HMD 1.
  • S801 The HMD 1 acquires position information (including the direction of the HMD 1) of the own device HMD 1 by the position information radio wave receiving units 103a and 103b.
  • step S803 Based on the information on the position and size of the operation space acquired from the neighboring HMD 1 ', it is determined whether the neighboring HMD 1' and the operation space of the own machine HMD 1 overlap. If the operation spaces do not overlap, the process ends. If the operation spaces overlap, the process advances to step S804.
  • S804 By moving the operation space of the own machine HMD 1 in the direction away from the operation space of the neighboring HMD 1 ′, the position where the operation spaces do not overlap each other is calculated.
  • S805 The calculated position information of the operation space is exchanged with the neighboring HMD 1 'by near-field terminal communication. At this time, position information of the operation space calculated by the neighboring HMD 1 ′ is acquired from the neighboring HMD 1 ′.
  • S 806 Based on the position information of the operation space after calculation acquired from the neighboring HMD 1 ′, it is determined whether the operation space after calculation of the own machine HMD 1 overlaps. If the operation spaces do not overlap, the process advances to step S807. If the operation spaces overlap, the process returns to step S804 to calculate again the positions where the operation spaces do not overlap. Then, it is repeated until the operation space does not overlap in the determination of S806.
  • S 807 The position of an operation object for performing a gesture operation on content is determined and displayed in the operation space after calculation.
  • S 808 Display an object indicating a new texture operation space according to the position change of the operation space.
  • S 809 According to the position change of the operation space, a new detection area at the time of detecting the gesture operation by the distance image acquisition means 106 is set.
  • the gesture operation when a plurality of HMD users are in proximity, collision of the bodies of the users can be avoided by the gesture operation. At this time, it is possible to reliably detect the HMD present in the vicinity, and provide the HMD having an operation space that is easy for the user to use.
  • the user using the HMD is prevented from colliding with the body of a person not using the HMD.
  • FIG. 13 is a diagram showing a state in which one HMD user is using the HMD.
  • the user 3 performs a gesture operation to view content.
  • operation objects 601 to 603 corresponding to the first group of contents and operation objects 604 to 606 for the second group of contents are displayed in a line with this.
  • the user 3 performs a gesture operation on the object 601 with the hand 32, and is in a state where the selected content 701 is displayed and viewed. It is assumed that a person who is not using the HMD approaches in this state.
  • FIG. 14 is a diagram showing the case where the gesture operation space is reduced to avoid a collision.
  • Another person 4 who does not use the HMD approaches in front of the HMD user 3 and enters into the gesture operation space (object 600), and may approach the display position of the objects 604 to 606. At this time, when the user 3 performs a gesture operation on the objects 604 to 606, the bodies of the user 3 and the other person 4 collide with each other.
  • the HMD 1 identifies from the information of the distance image acquisition means 106 that another person 4 is approaching. Then, the size of the gesture operation space (object 600) is reduced to a range that does not cause a collision. In addition, the operation objects 604 to 606 that can not be contained in the operation space due to reduction move to another position in the operation space. In this example, the user has moved to a position to the right of the content 701 being viewed. This makes it possible to avoid the collision between the user 3 and the body of another person.
  • the distance image acquisition means 106 measures the distance and direction to the other person 4 and the new operation space is set so that the position of the other person 4 and the operation space do not overlap. decide. Moreover, it goes without saying that not only the person but also the object are targeted to avoid the collision.
  • FIG. 15 is a diagram showing a case where part of an object is hidden to avoid a collision.
  • object 600 texture operation space
  • some objects here, 604 to 606
  • the operation corresponding to the non-displayed object is switched to another operation such as the smartphone 2.
  • the user 3 is notified that the object of the gesture operation is limited. This makes it possible to avoid the collision between the user 3 and the body of another person.
  • FIG. 16 is a flowchart showing a method of adjusting the operation space when another person who does not use the HMD approaches the HMD user. Here, the case where the display position of the object is changed by the reduction of the gesture operation space described in FIG. 14 is shown. This flow is repeatedly executed by the control unit 205 while the user 3 uses the HMD 1.
  • S901 The distance image acquisition unit 106 of the HMD 1 acquires a forward distance image.
  • S902 It is determined from the acquired distance image whether a person or an object is present in the gesture operation space. If no person or object exists in the operation space, the process advances to step S 907. If there is a person or object in the operation space, the process advances to step S903.
  • S 903 The size of the operation space is calculated so that the position where the person or object exists and the operation space do not overlap. In the calculation method, for example, the radius of the spherical operation space is reduced to check whether overlapping with a person or an object occurs.
  • S904 An operation object for performing a gesture operation is displayed in the calculated operation space. The determination of the display position at that time is made as far as possible from the person or object shown in the distance image. For example, the upper, lower, left, and right spaces around content being viewed are remembered as candidates for the display position, and a position as far as possible from a person or an object appearing in the distance image is selected from the candidates.
  • S 905 Display an object indicating a new texture operation space according to the size change of the operation space.
  • S 906 According to the size change of the operation space, a new detection area at the time of detecting the gesture operation by the distance image acquisition means 106 is set. This completes the adjustment of the operation space.
  • the HMD user when sitting is described, but may be standing or walking and using.
  • the user when using while walking, even if no other person is in the gesture operation space, it may be expected that another person will enter the operation space by continuing walking as it is.
  • the user may be alerted by displaying an alert object or emitting an audible alert.
  • warning when warning is issued, it is identified from the distance image of distance image acquisition means whether approaching is an adult or a child, and in the case of a child, a warning is issued earlier, etc. You may provide.
  • the user using the HMD is prevented from colliding with the body of the person not using the nearby HMD by the gesture operation, and the HMD has an operation space that is easy for the user to use. Can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ユーザ３のゼスチャー動作で操作を行うヘッドマウントディスプレイ（ＨＭＤ）１は、ゼスチャー操作を検出する距離画像取得手段１０６と、ＨＭＤ１の位置情報を取得する位置情報取得手段１０３と、他のＨＭＤ１'と通信を行う通信手段２と、を備える。制御部２０５は、ユーザ３のゼスチャー操作が有効となる操作空間６００を設定して表示するとともに、通信手段２により、他のＨＭＤ１との間でそれぞれの位置情報と操作空間の情報を交換し、互いの操作空間６００，６００'が重複しないよう自機ＨＭＤの操作空間を調整する。あるいは、距離画像取得手段１０６で近隣の人４を検出した場合、検出した人の存在位置と操作空間６００とが重ならないように操作空間を調整する。

Description

ヘッドマウントディスプレイ
　本発明は、複合現実の画像を表示し、ユーザのゼスチャー動作により操作可能なヘッドマウントディスプレイに関する。
　近年、メガネやゴーグルの形状で、透明度の高いレンズに相当する部分に複合現実の画像を投影することで、現実の空間に複合現実のオブジェクトを重ねて表示し、複合現実オブジェクトが実際に存在するかのように見ることができるヘッドマウントディスプレイ（以降、ＨＭＤと表記する）が開発されている。特許文献１には、複合現実環境において共有仮想オブジェクトおよびプライベート仮想オブジェクトを表示するシステムが記載されている。
　また、ＨＭＤによるコンテンツ視聴開始やコンテンツ選択などの操作を行うため、ユーザの手の動きにより操作を行うゼスチャーユーザインターフェース（ゼスチャーＵＩ）がある。ゼスチャーＵＩは、操作用の機器を手に持つことなくＨＭＤの操作が可能であり利便性が高い。しかし、ゼスチャーＵＩでは身体の動きを伴うため、別のＨＭＤを操作するユーザがすぐ近くにいるような状況では、ゼスチャー操作のためにユーザ同士の身体と衝突する恐れがある。このような衝突を回避するため、特許文献２には、ＨＭＤに自機器の位置を特定するための機器情報通知部（マーカー）を備え、これをカメラで撮影してマーカーの距離や方向を検出し、ＨＭＤ同士のゼスチャー操作空間が重複しないように、ＨＭＤの操作空間を調整することが記載されている。
特表２０１６－５２５７４１号公報 特開２０１２－１０８５７７号公報
　特許文献１では、ゼスチャー操作による他人との衝突回避については考慮されていない。また特許文献２では、ＨＭＤを使用していない人との衝突回避については考慮されていない。特許文献２に記載の方法を採用した場合でも、他のユーザのＨＭＤが反対方向を向いていたり途中に遮蔽物が存在したりすると、ＨＭＤに備えたマーカーをカメラで検出できない場合がある。その場合は、他のユーザのＨＭＤの距離や方向を知ることができず、衝突する可能性がある。また、ゼスチャー操作空間の調整は自機器のみで行っているため、互いの操作空間を遠ざけようとして、ユーザに対する操作空間が狭すぎるように調整されることがあり、使い勝手が悪くなる。
　本発明の目的は、ＨＭＤを使用しているユーザ同士だけでなく、ＨＭＤを使用していない人との間でゼスチャー操作による身体の衝突を回避し、ユーザにとって使い易い操作空間を有するＨＭＤを提供することである。
　本発明のヘッドマウントディスプレイは、画像を投影する画像投影部と、画像投影部から投影された画像を周囲の空間に重ねて複合現実オブジェクトとして表示するシースルーレンズと、距離画像を取得してユーザのゼスチャー操作を検出する距離画像取得手段と、ヘッドマウントディスプレイ（自機ＨＭＤ）の位置情報を取得する位置情報取得手段と、外部端末と通信を行う通信手段と、距離画像取得手段で検出したユーザのゼスチャー操作に基づき、画像投影部による画像の投影動作を制御する制御部を備える。前記制御部は、ユーザの行うゼスチャー操作が有効となる操作空間を設定して複合現実オブジェクトとして表示するとともに、通信手段により他のヘッドマウントディスプレイ（他機ＨＭＤ）と通信して、自機ＨＭＤと他機ＨＭＤのそれぞれの位置情報と操作空間の情報を交換し、自機ＨＭＤの操作空間と他機ＨＭＤの操作空間とが重複しないよう、自機ＨＭＤの操作空間を調整する。
　また本発明のヘッドマウントディスプレイは、画像を投影する画像投影部と、画像投影部から投影された画像を周囲の空間に重ねて複合現実オブジェクトとして表示するシースルーレンズと、距離画像を取得して、ユーザのゼスチャー操作や近隣の人や物体を検出する距離画像取得手段と、距離画像取得手段で検出したユーザのゼスチャー操作に基づき、画像投影部による画像の投影動作を制御する制御部を備える。前記制御部は、ユーザの行うゼスチャー操作が有効となる操作空間を設定して複合現実オブジェクトとして表示するとともに、距離画像取得手段により検出した人や物体が前記操作空間内に存在する場合、検出した人や物体の存在位置と操作空間とが重ならないように、操作空間を調整する。
　本発明によれば、ＨＭＤを使用しているユーザ同士だけでなく、ＨＭＤを使用していない人との間でゼスチャー操作による身体の衝突を回避し、ユーザにとって使い易い操作空間を有するＨＭＤを提供できる。
ＨＭＤの外観構成を示す図（実施例１）。 ＨＭＤのシステム構成を示す図。 ＨＭＤの位置情報取得機能を説明する図。 ＨＭＤにより複合現実オブジェクトを表示する状態を示す図。 ＨＭＤに対するユーザによる様々な操作方法を説明する図。 ＨＭＤユーザに対し表示される操作用オブジェクトの例を示す図。 ユーザがゼスチャー操作を行いコンテンツを視聴する状態を示す図。 ２人のＨＭＤユーザが並んでＨＭＤを使用している状態を示す図。 衝突を回避するためにゼスチャー操作空間を移動する場合を示す図。 衝突を回避するためにゼスチャー操作空間を縮小する場合を示す図。 ゼスチャー操作からスマートフォンの操作に切り替えた場合を示す図。 ２人のＨＭＤユーザが近接している場合の操作空間の調整方法を示すフローチャート。 １人のＨＭＤユーザがＨＭＤを使用している状態を示す図（実施例２）。 衝突を回避するためにゼスチャー操作空間を縮小する場合を示す図。 衝突を回避するためにオブジェクトの一部を非表示にする場合を示す図。 操作空間の縮小によりオブジェクトの表示位置を変更する場合のフローチャート。
　以下、本発明の実施の形態を図面を用いて説明する。
　実施例１では、複数のＨＭＤユーザが近くにいる場合に、ゼスチャー操作によりユーザ同士の身体が衝突することを回避することについて説明する。
　図１は、本実施例に係るＨＭＤ（ヘッドマウントディスプレイ）の外観構成を示す図である。ＨＭＤ１は、制御部、メモリ、ストレージなどを格納したシステム格納部１０１ａ，１０１ｂと、カメラ１０２ａ，１０２ｂと、位置情報電波受信部（位置情報取得手段）１０３ａ，１０３ｂと、複合現実オブジェクトの画像を投影する画像投影部１０４ａ，１０４ｂと、投影された複合現実オブジェクトを周囲の空間に重ねて映すシースルーレンズ１０５ａ，１０５ｂと、距離画像を取得する距離画像取得手段１０６を有する。
　ここでは、２つの画像投影部１０４ａ，１０４ｂにより左右のシースルーレンズ１０５ａに左右の画像を表示する両眼式ＨＭＤについて示すが、１つの画像を表示する単眼式ＨＭＤであってもよい。
　位置情報電波受信部１０３ａ，１０３ｂは、後述するビーコンから電波信号を受け、ＨＭＤ１の位置を取得する。距離画像取得手段１０６は、ユーザの手の動作（ゼスチャー操作）を検出する。また、ＨＭＤ１の前方に存在する人や物体を検出し、それらの距離や方向を計測する。距離画像取得手段１０６の具体例として、光の飛行時間から距離を計測するＴＯＦ（Time Of Flight）カメラを利用できる。
　またＨＭＤ１は、第５世代移動通信の仕様で定義される端末間通信機能を有するスマートフォン２と、通信ケーブル２０で接続されている。なお、通信ケーブル２０の代わりに、ＷｉＦｉやＢｌｕｅＴｏｏｔｈなどの無線通信を利用してもよい。さらに、システム格納部１０１ａ，１０１ｂが、第５世代移動通信の仕様で定義された通信機能を内蔵していれば、外部のスマートフォン２との通信を必要としない。
　図２は、図１に示したＨＭＤのシステム構成を示す図である。ＨＭＤ１のシステム格納部１０１ａ，１０１ｂには、実行中の各種プログラム機能部を格納するメモリ２０１と、各種データ、プログラム、コンテンツなどを格納するストレージ２０２と、プログラムの実行を行う制御部２０５と、スマートフォン２と通信を行うスマートフォン通信部２０６を有し、これらはバス２０３で接続されている。さらに入力手段２０４として、入力ボタンやＨＭＤフレームへの指先のタッチセンサ、ＨＭＤフレームの振動などによる入力部を備える。
　制御部２０５は、距離画像取得手段１０６や入力手段２０４、スマートフォン２を介してユーザの操作を受け付け、画像投影部１０４ａ，１０４ｂによる画像（コンテンツ画像）の表示動作を制御する。また制御部２０５は、距離画像取得手段１０６やスマートフォン２により他人（他のＨＭＤ）が近くにいることを検出して、ユーザ同士の身体が衝突することを回避するために、ゼスチャー操作のための操作空間を調整する。
　図３は、ＨＭＤの位置情報取得機能を説明する図である。ＨＭＤ１は、室内に備えた位置情報取得用のビーコン５ａ、５ｂによりＨＭＤ１の位置情報を取得することができる。位置情報取得用のビーコン５ａ、５ｂは、例えばｉＢｅａｃｏｎ（登録商標）のように、Ｂｌｕｅｔｏｏｔｈ（登録商標）　Ｌｏｗ　Ｅｎｅｒｇｙのような無線技術を用いて各ビーコンの識別番号を送信している。なお、Ｂｌｕｅｔｏｏｔｈ（登録商標）を利用したビーコン装置については、特開２０１０－１３０６６１号公報等に記載されている。
　ＨＭＤ１の位置情報電波受信部（位置情報取得手段）１０３ａ，１０３ｂは、ビーコン５ａ，５ｂからの電波を受信し、電波の強さを計測することで２つのビーコン５ａ，５ｂからの距離を知ることができる。そのときＨＭＤ１は、２つの位置情報電波受信部１０３ａ，１０３ｂで電波を受信し、その差分強度から、ＨＭＤ１がビーコン５ａ，５ｂから見て、どちらの方向に傾いているかを知ることができる。すなわち、２つのビーコン５ａ，５ｂを基準としたＨＭＤ１の位置情報と、ＨＭＤ１を使用しているユーザ３の方向の情報を取得することができる。
　さらに、同じ室内で他のユーザ３’が他のＨＭＤ１’を使用している場合は、ビーコン５ａ，５ｂを基準とした他のＨＭＤ１’の位置情報と、ＨＭＤ１’を使用しているユーザ３’の方向の情報を取得することができる。ユーザ３とユーザ３’は、それぞれが取得したＨＭＤの位置情報と方向の情報とを、第５世代移動通信の近距離端末間通信（スマートフォン２，２’）を用いて情報交換することができる。
　図４は、ＨＭＤにより複合現実オブジェクトを表示する状態を示す図で、ＨＭＤ１を左側から見た状態である。画像投影部１０４ｂから投影された複合現実オブジェクト３００は、シースルーレンズ１０５ｂに表示される。これをＨＭＤユーザの目３１から見ると、あたかも複合現実オブジェクト３００が実際の周囲の背景の中でＭＨＤユーザ前方の空間に浮かんでいるように見える。この複合現実オブジェクト３００は、画像コンテンツをはじめ、ゼスチャー操作用オブジェクトや操作空間オブジェクトなど、様々な内容のものが可能である。以下、単に「オブジェクト」とも呼ぶことにする。
　図５は、ＨＭＤに対するユーザによる様々な操作方法を説明する図である。
  （１）ＨＭＤユーザの目３１の前方に、球状のオブジェクト３０１が表示されている。ユーザは、オブジェクト３０１にタッチしたり、横に払ったりするように手３２を動かすゼスチャーを行う。距離画像取得手段１０６は、ユーザの手３２がオブジェクト３０１の位置で、オブジェクト３０１に対するゼスチャーを行ったことを検出する。これによりユーザは、表示するＨＭＤ１で表示するコンテンツの選択や、視聴開始／視聴停止などの操作を行うことができる。
　（２）ＨＭＤユーザの目３１の前方に、スマートフォンの形状をしたオブジェクト３０２を表示する。ユーザは、オブジェクト３０２に対して実際のスマートフォンを操作するように手３２を動かすゼスチャーを行う。距離画像取得手段１０６は、ユーザの手３２がオブジェクト３０２の位置で、スマートフォンを操作するようなゼスチャーを行ったことを検出する。これによりユーザは、実際のスマートフォンに対する操作と同様に、アプリケーションの起動や停止、アプリケーションのインストールや通信の開始、終了といった操作を行うことができる。
　（３）ゼスチャー以外の操作として、ＨＭＤ１に接続したスマートフォン２のタッチパネルへ実際に操作する場合である。ＨＭＤユーザの目３１の前方に、スマートフォンの形状をしたオブジェクト３０２とともに、手の形状をしたオブジェクト３０３が表示される。このときオブジェクト３０３は、ユーザのスマートフォン２への実際の操作に連動した動きで表示されるため、ユーザはスマートフォン２に視線を向けることなくＨＭＤへの操作を行うことができる。
　この他に、図２の入力手段２０４を介し、入力ボタンやタッチセンサにてＨＭＤを操作することもできる。また、ＨＭＤユーザの近傍に、ＨＭＤを使用していない他人４が近づいた場合、距離画像取得手段１０６により他人４の形のシルエットと、他人４までの距離の情報を取得する。これにより、近傍に他人が近づいたことを認識し、近づいた人の、例えば右手４２がＨＭＤユーザの方に差し出されていることを認識することができる。
　次に、ＨＭＤによる複合現実コンテンツの視聴方法の基本について説明する。
  図６は、ＨＭＤユーザに対し表示される操作用オブジェクトの例を示す図である。ＨＭＤ１を装着して座っているユーザ３の周りに、球状をしたゼスチャー操作空間を示すオブジェクト（操作空間オブジェクト）６００が表示される。この操作空間オブジェクト６００は、ユーザ３の行うゼスチャー操作が有効となる空間の範囲を示すもので、この範囲を越えると操作が無効であり、また他人の身体と衝突する恐れがあることを意味する。この操作空間の内部に、視聴したい複合現実コンテンツ（以下、単にコンテンツと呼ぶ）の選択、視聴開始、視聴終了のゼスチャー操作をするためのオブジェクト（操作用オブジェクト）６０１、６０２、６０３が表示される。
　図７は、ユーザがゼスチャー操作を行いコンテンツを視聴する状態を示す図である。例えば、ユーザ３の手３２が操作用オブジェクト６０１に触れるようなゼスチャーを行うことで、所望のコンテンツを選択する。すると、ユーザ３の前には、対応する複合現実コンテンツ７０１が表示され、視聴を開始することができる。
　次に、複数のＨＭＤユーザが近くにいる場合に、ゼスチャー操作によりユーザ同士の身体が衝突することを回避することについて説明する。
　図８は、２人のＨＭＤユーザが並んでＨＭＤを使用している状態を示す図である。ＨＭＤユーザ３，３’の周りには、それぞれのゼスチャー操作空間を示す操作空間オブジェクト６００，６００’を表示している。なお、図面が複雑になるのを避けるため、操作空間オブジェクト６００，６００’は最外周の円（一点鎖線）のみで示している。この場合、それぞれのＨＭＤ１，１’は、ユーザに対し自機のゼスチャー操作空間のみを表示してもよいが、他のユーザのゼスチャー操作空間も合わせて表示することもできる。これは、第５世代移動通信の端末間通信機能（スマートフォン２，２’）により、他のＨＭＤとの間で、ゼスチャー操作空間の位置や大きさの情報を交換することで可能となる。これにより、ユーザ３は自身のオブジェクト６００だけでなく、ユーザ３’に対するオブジェクト６００’も見ることができる。
　操作空間の中には、コンテンツの選択／視聴開始／視聴終了のゼスチャー操作をするための操作用オブジェクト６０１～６０３，６０１’～６０３’が表示されている。なお、図面が複雑になるのを避けるため、視聴中のコンテンツの表示については省略している。
　ユーザ３，３’が例えば視聴中のコンテンツの視聴を中断しようとして、対応するオブジェクト（ここでは６０１，６０３’）を手３２，３２’で横に払う動作を行う場合がある。２人の距離が近い場合には、互いの手３２，３２’が衝突する恐れがある。
　図９は、衝突を回避するためにゼスチャー操作空間を移動する場合を示す図である。２人のＨＭＤユーザ３，３’に対するゼスチャー操作空間（オブジェクト６００，６００’）を、互いに離れる方向に移動させることで、互いの操作空間の重複を避けるようにする。また、ゼスチャー操作用のオブジェクト（６０１～６０３，６０１’～６０３’）の表示位置を移動させ、互いに他のユーザから遠い側の手３３，３３’を使ってゼスチャー操作を行うように促す。これにより、近接するユーザ３，３’の互いの手が衝突することを回避できる。
　図１０は、衝突を回避するためにゼスチャー操作空間を縮小する場合を示す図である。２人のＨＭＤユーザ３，３’に対するゼスチャー操作空間（オブジェクト６００，６００’）の大きさを縮小することで、互いのゼスチャー操作空間の重複を避けるようにする。また、ゼスチャー操作のオブジェクト（６０１～６０３，６０１’～６０３’）の大きさも、縮小したゼスチャー操作空間内に収まるように縮小し、表示位置を近づける。なお、ゼスチャー操作空間の大きさを縮小する際には、球状空間のまま縮小するだけでなく、操作空間を球状空間の下半分のみに限定したり、操作空間の形状を回転楕円体状に変形したりしてもよい。これにより、近接するユーザ３，３’の互いの手が衝突することを回避できる。
　上記図９や図１０のように操作空間の移動や縮小を行う場合には、端末間通信機能（スマートフォン２，２’）を介し、ＨＭＤ１，１’の間で互いの操作空間の情報を交換することで操作空間が重複するか否かを判定し、重複を避けるように新たな操作空間を決定する。すなわちＨＭＤ１とＨＭＤ１’は、互いに近くの距離にいることを端末間通信機能により検知することができるので、相手のＨＭＤがどの方向を向いていても、また途中に遮蔽物が存在しても見逃すことはない。また、双方のＨＭＤ１，１’が互いに連携して操作空間を決定するので、調整後の操作空間は狭すぎることがなく最適なサイズに設定することができる。
　図１１は、ゼスチャー操作からスマートフォンによる操作に切り替えた場合を示す図である。ゼスチャー操作空間の調整を行ってもユーザ３，３’の手が衝突することが避けられない場合には、ＨＭＤ１，１’はユーザ３，３’に対して、操作空間オブジェクト６００，６００’の表示を終了して、ゼスチャーによる操作を受け付けないことを知らせる。そしてユーザ３，３’は、現実のスマートフォン２，２’による操作に切り替える。その場合、ユーザ３，３’の前には、複合現実によるスマートフォン状のオブジェクト６１１，６１１’と、スマートフォンを操作する手状のオブジェクト６１２，６１２’が表示される。そして、現実のスマートフォン２，２’を手３２，３２’で操作すると、操作する手３２，３２’の動きに連動して手状のオブジェクト６１２，６１２’の表示位置が移動する。これにより、ユーザ３，３’は現実のスマートフォン２，２’に視線を向けることなくスマートフォンを操作することができる。これによれば、例えば、スマートフォン２，２’をポケットに入れたまま操作して、コンテンツの選択／視聴開始／視聴終了の操作を行うことができる。
　図１２は、２人のＨＭＤユーザが近接している場合の操作空間の調整方法を示すフローチャートである。ここでは、図９で説明したゼスチャー操作空間の移動によりオブジェクトの表示位置を変更する場合を示す。なお、このフローはユーザ３がＨＭＤ１を使用している間、制御部２０５により繰り返して実行される。
　Ｓ８０１：ＨＭＤ１は位置情報電波受信部１０３ａ，１０３ｂにより、自機ＨＭＤ１の位置情報（ＨＭＤ１の向きを含む）を取得する。
  Ｓ８０２：ＨＭＤ１はスマートフォン２を介した第５世代移動通信の近距離端末間通信により、近隣のＨＭＤ１’との間で、ＨＭＤの位置情報（向きを含む）と、ゼスチャー操作空間情報（位置とサイズ）を交換する。これにより、近隣のＨＭＤ１’の位置情報と操作空間情報を取得する。
　Ｓ８０３：近隣のＨＭＤ１’から取得した操作空間の位置とサイズの情報を基に、近隣のＨＭＤ１’と自機ＨＭＤ１の操作空間とが重複しているかを判定する。操作空間が重複しない場合は終了する。操作空間が重複する場合は、Ｓ８０４に進む。
　Ｓ８０４：自機ＨＭＤ１の操作空間を近隣のＨＭＤ１’の操作空間から離れる方向に移動することで、互いの操作空間が重複しない位置を算出する。
  Ｓ８０５：算出した操作空間の位置情報を、近距離端末間通信により近隣のＨＭＤ１’と交換する。その際、近隣のＨＭＤ１’からは、近隣のＨＭＤ１’が算出した操作空間の位置情報を取得する。
　Ｓ８０６：近隣のＨＭＤ１’から取得した算出後の操作空間の位置情報を基に、自機ＨＭＤ１の算出後の操作空間と重複しているかを判定する。操作空間が重複しない場合はＳ８０７に進む。操作空間が重複する場合は、Ｓ８０４に戻り、再度、互いの操作空間が重複しない位置を算出する。そして、Ｓ８０６の判定で操作空間が重複しなくなるまで繰り返す。
　Ｓ８０７：算出後の操作空間内に、コンテンツに対してゼスチャー操作をするための操作用オブジェクトの位置を決定して表示する。
  Ｓ８０８：操作空間の位置変更に従い、新しいゼスチャー操作空間を示すオブジェクトを表示する。
  Ｓ８０９：操作空間の位置変更に従い、距離画像取得手段１０６によりゼスチャー操作を検出する際の、新しい検出領域を設定する。
　Ｓ８１０：近隣のＨＭＤ１’との間で操作空間が重複しないので、操作空間と操作用オブジェクトの表示位置、ゼスチャー操作の検出領域を初期値に戻す。
　上記フローチャートでは、衝突を回避するためにゼスチャー操作空間を移動させる場合について示したが、ゼスチャー操作空間を縮小させる場合も同様である。あるいは、両者を組み合わせて調整することも可能である。
  また、上記実施例では、２人のＨＭＤユーザが近くにいる場合を想定したが、２人以上複数のＨＭＤユーザが近くにいる場合も同様である。
　実施例１によれば、複数のＨＭＤユーザが近くにいる場合に、ゼスチャー操作によりユーザ同士の身体が衝突することを回避できる。その際、近くに存在するＨＭＤを確実に検知するとともに、ユーザにとって使い易い操作空間を有するＨＭＤを提供することができる。
　実施例２では、ＨＭＤを使用しているユーザがＨＭＤを使用していない人の身体と衝突することを回避することについて説明する。
　図１３は、１人のＨＭＤユーザがＨＭＤを使用している状態を示す図である。ユーザ３は、コンテンツ視聴のためにゼスチャー操作を行っている。操作空間オブジェクト６００内には、第１群のコンテンツに対応する操作用オブジェクト６０１～６０３と、これに並ぶ形で第２群のコンテンツに対する操作用オブジェクト６０４～６０６が表示されている。例えばユーザ３はオブジェクト６０１に対して手３２でゼスチャー操作を行い、選択したコンテンツ７０１を表示して視聴している状態である。この状態でＨＭＤを使用していない人が近づいた場合を想定する。
　図１４は、衝突を回避するためにゼスチャー操作空間を縮小する場合を示す図である。ＨＭＤユーザ３の前にＨＭＤを使用していない他人４が近づき、ゼスチャー操作空間（オブジェクト６００）内に入り、オブジェクト６０４～６０６の表示位置に接近する場合がある。そのとき、ユーザ３がオブジェクト６０４～６０６に対してゼスチャー操作を行うと、ユーザ３と他人４の身体が衝突することになる。
　これを回避するため、ＨＭＤ１は、距離画像取得手段１０６の情報から他人４が近づいていることを識別する。そして、ゼスチャー操作空間（オブジェクト６００）の大きさを、衝突しない範囲まで縮小する。また、縮小により操作空間内に収まらなくなった操作用オブジェクト６０４～６０６は、操作空間内の別の位置に移動する。この例では、視聴しているコンテンツ７０１の右側の位置に移動している。これにより、ユーザ３と他人の身体が衝突することを回避できる。
　上記例では、衝突を回避するためにゼスチャー操作空間を縮小し操作用オブジェクトを移動する場合を説明したが、ゼスチャー操作空間の移動や、操作用オブジェクトの縮小によっても対応できる。
　上記のように操作空間の縮小や移動を行う場合には、距離画像取得手段１０６により他人４までの距離や方向を計測し、他人４の位置と操作空間が重ならないように新たな操作空間を決定する。また、衝突を回避するのは人物だけでなく、物体も対象とするのは言うまでもない。
　図１５は、衝突を回避するためにオブジェクトの一部を非表示にする場合を示す図である。図１４のようにゼスチャー操作空間（オブジェクト６００）を縮小した結果、ゼスチャー操作空間内に収まらないオブジェクトが生じることがある。その場合には、一部のオブジェクト（ここでは６０４～６０６）を非表示にする。そして、非表示になったオブジェクトに対応する操作は、スマートフォン２など他の操作に切り替える。その場合にはユーザ３に対し、ゼスチャー操作の対象が制限されていることを知らせるようにする。これにより、ユーザ３と他人の身体が衝突することを回避できる。
　図１６は、ＨＭＤユーザにＨＭＤを使用していない他人が近接している場合の操作空間の調整方法を示すフローチャートである。ここでは、図１４で説明したゼスチャー操作空間の縮小によりオブジェクトの表示位置を変更する場合を示す。なお、このフローはユーザ３がＨＭＤ１を使用している間、制御部２０５により繰り返して実行される。
　Ｓ９０１：ＨＭＤ１の距離画像取得手段１０６により前方の距離画像を取得する。
  Ｓ９０２：取得した距離画像から、ゼスチャー操作空間内に人や物体が存在するかどうかを判定する。操作空間内に人や物体が存在しない場合はＳ９０７に進む。操作空間内に人や物体が存在する場合は、Ｓ９０３に進む。
　Ｓ９０３：人や物体の存在位置と操作空間とが重ならないように操作空間のサイズを算出する。算出方法では、例えば球状の操作空間の半径を小さくして、人や物体との重なりが生じるかどうかをチェックすることで行う。
  Ｓ９０４：算出した操作空間内に、ゼスチャー操作をするための操作用オブジェクトを表示する。その際の表示位置の決定は、距離画像に映っている人や物体からなるべく離れた位置とする。例えば、視聴中のコンテンツの周囲の上下左右の空間を表示位置の候補として覚えておき、候補の中から距離画像に映る人や物体からなるべく離れた位置を選択する。
　Ｓ９０５：操作空間のサイズ変更に従い、新しいゼスチャー操作空間を示すオブジェクトを表示する。
  Ｓ９０６：操作空間のサイズ変更に従い、距離画像取得手段１０６によりゼスチャー操作を検出する際の、新しい検出領域を設定する。これで操作空間の調整を終了する。
　Ｓ９０７：操作空間内に人や物体が存在しないので、操作空間のサイズ、操作用オブジェクトの表示位置、ゼスチャー操作の検出領域を初期値に戻す。
　上記フローチャートでは、衝突を回避するためにゼスチャー操作空間を縮小させる場合について示したが、ゼスチャー操作空間を移動させる場合も同様である。あるいは、両者を組み合わせて調整することも可能である。
　なお、上記実施例ではＨＭＤユーザが座っている場合について述べたが、立っている場合や、歩きながら使用する場合でもよい。特に、歩きながら使用する場合には、ゼスチャー操作空間内に他人が入っていなくても、そのまま歩き続けることで操作空間内に他人が入ることが予想される場合がある。そのときには、警告オブジェクトを表示する、または警告音を発するなどの方法で、ユーザに警告を発するのがよい。また、警告を発する場合には、近づいてくるのが大人か子供かを距離画像取得手段の距離画像から識別して、子供の場合は早めに警告を発するなど、警告を発する際の優先度を設けてもよい。
　実施例２によれば、ＨＭＤを使用しているユーザが、ゼスチャー操作により、近くにいるＨＭＤを使用していない人の身体と衝突することを回避し、ユーザにとって使い易い操作空間を有するＨＭＤを提供することができる。
　１，１’：ヘッドマウントディスプレイ（ＨＭＤ）、
　２，２’：スマートフォン、
　３，３’：ユーザ、
　４：他人、
　５ａ，５ｂ：位置情報取得用ビーコン、
　２０：通信ケーブル、
　３２，３２’，３３，３３’：ユーザの手、
　１０１ａ，１０１ｂ：システム格納部、
　１０２ａ，１０２ｂ：カメラ、
　１０３ａ，１０３ｂ：位置情報電波受信部（位置情報取得手段）、
　１０４ａ，１０４ｂ：画像投影部、
　１０５ａ，１０５ｂ：シースルーレンズ、
　１０６：距離画像取得手段、
　２０１：メモリ、
　２０２：ストレージ、
　２０３：バス、
　２０４：入力手段、
　２０５：制御部、
　２０６：スマートフォン通信部、
　３００～３０３：複合現実オブジェクト、
　６００，６００’：操作空間オブジェクト、
　６０１～６０６：操作用オブジェクト、
　６１１：スマートフォンのオブジェクト、
　６１２：ユーザの手のオブジェクト、
　７０１：複合現実コンテンツ。

Claims (6)

  1. 　複合現実の画像を表示し、ユーザのゼスチャー動作により操作が可能なヘッドマウントディスプレイにおいて、
    　画像を投影する画像投影部と、
    　前記画像投影部から投影された画像を周囲の空間に重ねて複合現実オブジェクトとして表示するシースルーレンズと、
    　距離画像を取得してユーザのゼスチャー操作を検出する距離画像取得手段と、
    　前記ヘッドマウントディスプレイ（以下、自機ＨＭＤ）の位置情報を取得する位置情報取得手段と、
    　スマートフォンまたは内蔵された無線通信手段を経由して、外部端末と通信を行う通信手段と、
    　前記距離画像取得手段で検出したユーザのゼスチャー操作に基づき、前記画像投影部による画像の投影動作を制御する制御部を備え、
    　前記制御部は、
    　ユーザの行うゼスチャー操作が有効となる操作空間を設定して複合現実オブジェクトとして表示するとともに、
    　前記通信手段により他のヘッドマウントディスプレイ（以下、他機ＨＭＤ）と通信して、自機ＨＭＤと他機ＨＭＤのそれぞれの位置情報と操作空間の情報を交換し、
    　自機ＨＭＤの操作空間と他機ＨＭＤの操作空間とが重複しないよう、自機ＨＭＤの操作空間を調整することを特徴とするヘッドマウントディスプレイ。
  2. 　請求項１に記載のヘッドマウントディスプレイにおいて、
    　前記制御部は、自機ＨＭＤの操作空間と他機ＨＭＤの操作空間とが重複する場合、自機ＨＭＤの操作空間の位置を移動する、サイズを縮小する、形状を変形する、のいずれか、またはこれらを組み合わせることで調整することを特徴とするヘッドマウントディスプレイ。
  3. 　請求項２に記載のヘッドマウントディスプレイにおいて、
    　前記制御部は、ユーザが前記画像投影部による表示画像の選択、表示開始、表示終了の操作を行うために、操作用オブジェクトを設定して複合現実オブジェクトとして表示するとともに、
    　自機ＨＭＤの操作空間を調整した場合、前記操作用オブジェクトが調整後の前記操作空間内に収まるように、位置を移動またはサイズを縮小して表示することを特徴とするヘッドマウントディスプレイ。
  4. 　複合現実の画像を表示し、ユーザのゼスチャー動作により操作が可能なヘッドマウントディスプレイにおいて、
    　画像を投影する画像投影部と、
    　前記画像投影部から投影された画像を周囲の空間に重ねて複合現実オブジェクトとして表示するシースルーレンズと、
    　距離画像を取得して、ユーザのゼスチャー操作や近隣の人や物体を検出する距離画像取得手段と、
    　前記距離画像取得手段で検出したユーザのゼスチャー操作に基づき、前記画像投影部による画像の投影動作を制御する制御部を備え、
    　前記制御部は、
    　ユーザの行うゼスチャー操作が有効となる操作空間を設定して複合現実オブジェクトとして表示するとともに、
    　前記距離画像取得手段により検出した人や物体が前記操作空間内に存在する場合、
    　検出した人や物体の存在位置と前記操作空間とが重ならないように、前記操作空間を調整することを特徴とするヘッドマウントディスプレイ。
  5. 　請求項４に記載のヘッドマウントディスプレイにおいて、
    　前記制御部は、検出した人や物体が前記操作空間内に存在する場合、前記操作空間の位置を移動する、サイズを縮小する、形状を変形する、のいずれか、またはこれらを組み合わせることで調整することを特徴とするヘッドマウントディスプレイ。
  6. 　請求項５に記載のヘッドマウントディスプレイにおいて、
    　前記制御部は、ユーザが前記画像投影部による表示画像の選択、表示開始、表示終了の操作を行うために、操作用オブジェクトを設定して複合現実オブジェクトとして表示するとともに、
    　前記操作空間を調整した場合、前記操作用オブジェクトが調整後の前記操作空間内に収まるように、位置を移動またはサイズを縮小して表示することを特徴とするヘッドマウントディスプレイ。
PCT/JP2017/030273 2017-08-24 2017-08-24 ヘッドマウントディスプレイ WO2019038875A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
PCT/JP2017/030273 WO2019038875A1 (ja) 2017-08-24 2017-08-24 ヘッドマウントディスプレイ
JP2019537497A JP6886024B2 (ja) 2017-08-24 2017-08-24 ヘッドマウントディスプレイ
US16/625,824 US11455042B2 (en) 2017-08-24 2017-08-24 Head-mounted display
CN201780093045.XA CN110869880A (zh) 2017-08-24 2017-08-24 头戴式显示装置
JP2021081700A JP2021144718A (ja) 2017-08-24 2021-05-13 表示装置
US17/892,320 US20220397963A1 (en) 2017-08-24 2022-08-22 Head-mounted display
JP2023033327A JP2023076451A (ja) 2017-08-24 2023-03-06 表示装置
US18/442,182 US20240201791A1 (en) 2017-08-24 2024-02-15 Head-mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/030273 WO2019038875A1 (ja) 2017-08-24 2017-08-24 ヘッドマウントディスプレイ

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/625,824 A-371-Of-International US11455042B2 (en) 2017-08-24 2017-08-24 Head-mounted display
US17/892,320 Continuation US20220397963A1 (en) 2017-08-24 2022-08-22 Head-mounted display

Publications (1)

Publication Number Publication Date
WO2019038875A1 true WO2019038875A1 (ja) 2019-02-28

Family

ID=65438476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030273 WO2019038875A1 (ja) 2017-08-24 2017-08-24 ヘッドマウントディスプレイ

Country Status (4)

Country Link
US (3) US11455042B2 (ja)
JP (3) JP6886024B2 (ja)
CN (1) CN110869880A (ja)
WO (1) WO2019038875A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021152717A (ja) * 2020-03-24 2021-09-30 マクセル株式会社 コンテンツ提供システム及びコンテンツ提供方法
JP2022156877A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 情報提供方法、プログラム及び情報提供装置
WO2023276216A1 (ja) * 2021-06-29 2023-01-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10581940B1 (en) * 2018-08-20 2020-03-03 Dell Products, L.P. Head-mounted devices (HMDs) discovery in co-located virtual, augmented, and mixed reality (xR) applications
US20230259194A1 (en) * 2022-02-16 2023-08-17 Meta Platforms Technologies, Llc Spatial Anchor Sharing for Multiple Virtual Reality Systems in Shared Real-World Environments

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012108577A (ja) * 2010-11-15 2012-06-07 Panasonic Corp ３ｄ−ｕｉ操作空間協調装置
JP2017037212A (ja) * 2015-08-11 2017-02-16 セイコーエプソン株式会社 音声認識装置、制御方法、及び、コンピュータープログラム
JP2017102603A (ja) * 2015-11-30 2017-06-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3766981B2 (ja) * 1994-04-05 2006-04-19 カシオ計算機株式会社 画像制御装置および画像制御方法
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
JP6333801B2 (ja) * 2013-02-19 2018-05-30 ミラマ サービス インク 表示制御装置、表示制御プログラム、および表示制御方法
US20140368537A1 (en) 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
KR102182161B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
CN104484523B (zh) * 2014-12-12 2017-12-08 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
JP6549871B2 (ja) * 2015-03-30 2019-07-24 オークラ輸送機株式会社 ピッキングシステム及びピッキング支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012108577A (ja) * 2010-11-15 2012-06-07 Panasonic Corp ３ｄ−ｕｉ操作空間協調装置
JP2017037212A (ja) * 2015-08-11 2017-02-16 セイコーエプソン株式会社 音声認識装置、制御方法、及び、コンピュータープログラム
JP2017102603A (ja) * 2015-11-30 2017-06-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021152717A (ja) * 2020-03-24 2021-09-30 マクセル株式会社 コンテンツ提供システム及びコンテンツ提供方法
JP7348121B2 (ja) 2020-03-24 2023-09-20 マクセル株式会社 コンテンツ提供システム及びコンテンツ提供方法
JP2022156877A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 情報提供方法、プログラム及び情報提供装置
JP7445620B2 (ja) 2021-03-31 2024-03-07 本田技研工業株式会社 情報提供方法、プログラム及び情報提供装置
WO2023276216A1 (ja) * 2021-06-29 2023-01-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JP6886024B2 (ja) 2021-06-16
US11455042B2 (en) 2022-09-27
US20240201791A1 (en) 2024-06-20
US20200167003A1 (en) 2020-05-28
US20220397963A1 (en) 2022-12-15
JP2023076451A (ja) 2023-06-01
JP2021144718A (ja) 2021-09-24
JPWO2019038875A1 (ja) 2020-03-26
CN110869880A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
JP6886024B2 (ja) ヘッドマウントディスプレイ
EP3380910B1 (en) Device pairing in augmented / virtual reality environment
KR102098277B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20140198017A1 (en) Wearable Behavior-Based Vision System
US20150379770A1 (en) Digital action in response to object interaction
US10999412B2 (en) Sharing mediated reality content
US20240144611A1 (en) Augmented reality eyewear with speech bubbles and translation
US11689877B2 (en) Immersive augmented reality experiences using spatial audio
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
JP2016110177A (ja) ３次元入力装置及び入力システム
JP6257825B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20150381970A1 (en) Input/output device, input/output program, and input/output method
KR20200040716A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP2015228095A (ja) 頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US20230007227A1 (en) Augmented reality eyewear with x-ray effect
JP2018185638A (ja) 表示装置、透過型ヘッドマウントディスプレイ、制御装置および表示システム
KR20240100021A (ko) 머리 착용형 디스플레이 장치 및 그 동작 방법
KR20230124363A (ko) 전자 장치 및 전자 장치의 제어 방법
CN118295520A (en) Information processing apparatus, information processing method, and storage medium
WO2016051483A1 (ja) 情報表示端末および情報表示方法
JP2018200671A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17922265

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019537497

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17922265

Country of ref document: EP

Kind code of ref document: A1