WO2021261463A1 - プログラム、ヘッドマウントディスプレイ及び情報処理装置 - Google Patents

プログラム、ヘッドマウントディスプレイ及び情報処理装置 Download PDF

Info

Publication number
WO2021261463A1
WO2021261463A1 PCT/JP2021/023491 JP2021023491W WO2021261463A1 WO 2021261463 A1 WO2021261463 A1 WO 2021261463A1 JP 2021023491 W JP2021023491 W JP 2021023491W WO 2021261463 A1 WO2021261463 A1 WO 2021261463A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
hand
head
virtual space
avatar
Prior art date
Application number
PCT/JP2021/023491
Other languages
English (en)
French (fr)
Inventor
亮 末冨
Original Assignee
株式会社電通
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社電通 filed Critical 株式会社電通
Priority to US18/003,115 priority Critical patent/US20230244318A1/en
Priority to CN202180045121.6A priority patent/CN115803704A/zh
Publication of WO2021261463A1 publication Critical patent/WO2021261463A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/105—Arrangements for software license management or administration, e.g. for managing licenses at corporate level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/101—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM] by binding digital rights to specific entities
    • G06F21/1015—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM] by binding digital rights to specific entities to users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to a program, a head-mounted display, and an information processing device.
  • Patent Document 1 discloses that the movement of any of the limbs of the user is detected, and that the imaging is performed based on the movement of any of the limbs.
  • Patent Document 1 Although it is possible to start shooting in the virtual space from the movement of the user's limbs, screen capture is performed by designating the capture range on the virtual space covered with the head-mounted display. There is a problem that it is difficult.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a program, a head-mounted display, and an information processing apparatus that facilitates acquisition of image data by designating a capture range in a virtual space. do.
  • the program according to the first aspect of the present invention is a program executed by the head-mounted display or an information processing device connected to the head-mounted display in order to provide virtual reality in the head-mounted display, and the head is A determination means for determining a capture range in a virtual space by using a hand gesture by a user's hand in the real space or a hand gesture by a hand object in the virtual space of the mounted display or the information processing apparatus, and the capture in the virtual space. It is a program for functioning as a capture means for acquiring the contents displayed in the range as image data.
  • the range shown by the user's hand in the real space or the range shown by the hand object in the virtual space can be captured and acquired as image data. Therefore, the capture range in the virtual space is specified and the image data is acquired. Can be facilitated.
  • the program according to the second aspect of the present invention is the program according to the first aspect, which is a distance detecting means for detecting the distance between the user's head and the user's hand in the real space, and a real space.
  • the determination means includes a range detecting means for detecting a range indicated by a user's hand or a range indicated by a hand object in a virtual space, and the determining means captures the capture range in the virtual space according to the range and the distance. decide.
  • the program according to the third aspect of the present invention is the program according to the second aspect, wherein the distance detecting means is a glove-type device worn in the user's hand or a controller held by the user and the head mount.
  • the distance to the display is detected as the distance between the user's head and the user's hand.
  • the distance between the user's head and hand can be detected.
  • the program according to the fourth aspect of the present invention is the program according to any one of the first to third aspects, and refers to the object information within the capture range to detect a non-photographable object or a non-photographable avatar.
  • a display processing means for performing a process for not displaying the non-photographable object or the non-photographable avatar is provided.
  • the captured image range includes a non-shootable object or a non-shootable avatar and the user is not granted a shooting license
  • a process is performed to prevent the non-shootable object or the non-shootable avatar from being displayed. This makes it possible to prevent a user who has not been granted a shooting license from acquiring image data of a non-shooting object or a non-shootable avatar.
  • the program according to the fifth aspect of the present invention is the program according to the fourth aspect, and the process for not displaying is the transparency process or the mosaic process for the non-photographable object or the non-photographable avatar, or the image data.
  • This is a transparency process or a mosaic process for the non-photographable object or non-photographable avatar reflected in.
  • the program according to the sixth aspect of the present invention is the program according to any one of the first to fifth aspects, and refers to the object information within the capture range to detect an object that cannot be photographed without permission or an avatar that cannot be photographed without permission.
  • the detection means for determining whether or not the shooting license is granted to the user when the unauthorized shooting impossible object or the unauthorized shooting impossible avatar is detected, and the shooting license is granted to the user. If not, the display processing means for performing a process for not displaying the object that cannot be photographed without permission or the avatar that cannot be photographed without permission is provided.
  • the captured image range includes an object that cannot be photographed without permission or an avatar that cannot be photographed without permission and the user is not granted a shooting license, the object that cannot be photographed without permission or the avatar that cannot be photographed without permission is not displayed.
  • the program according to the seventh aspect of the present invention is the program according to any one of the first to sixth aspects, and the process for not displaying the display is a transparent process for the object that cannot be photographed without permission or an avatar that cannot be photographed without permission. It is a mosaic process, or a transparency process or a mosaic process for the object that cannot be photographed without permission or the avatar that cannot be photographed without permission in the image data.
  • the head mount display according to the eighth aspect of the present invention is a determination means for determining a capture range in virtual space by using a hand gesture by a user's hand in real space or a hand gesture by a hand object in virtual space.
  • a capture means for acquiring the contents displayed in the determined capture range in the virtual space as image data is provided.
  • the range shown by the user's hand in the real space or the range shown by the hand object in the virtual space can be captured and acquired as image data. Therefore, the capture range in the virtual space is specified and the image data is acquired. Can be facilitated.
  • the information processing apparatus is a determination means for determining a capture range in virtual space by using a hand gesture by a user's hand in real space or a hand gesture by a hand object in virtual space.
  • a capture means for acquiring the contents displayed in the determined capture range in the virtual space as image data is provided.
  • the range shown by the user's hand in the real space or the range shown by the hand object in the virtual space can be captured and acquired as image data. Therefore, the capture range in the virtual space is specified and the image data is acquired. Can be facilitated.
  • the image data can be specified by designating the capture range in the virtual space. Can be facilitated to obtain.
  • FIG. 1 is a schematic configuration diagram of a head-mounted display system according to the first embodiment.
  • the head-mounted display system S1 according to the first embodiment includes a head-mounted display 1 and glove-type devices 3L and 3R which are examples of operation devices used by a user.
  • the head-mounted display 1 is connected to the server 4 via the communication network NW.
  • the server 4 stores user information, world information about the virtual reality world (referred to as a world), and information of other users in the world. From the server 4, these information or the information obtained by processing these information is transmitted to the head-mounted display 1 via the communication network NW.
  • FIG. 2 is a schematic configuration diagram of a head-mounted display according to the first embodiment.
  • the head-mounted display 1 according to the first embodiment includes a storage 11, a memory 12, a voice input means 13, a display 14, a communication module 15, and a processor 16.
  • the head-mounted display 1 may include a camera.
  • the storage 11 stores a program read and executed by the processor 16.
  • the memory 12 temporarily holds information.
  • the voice input means 13 receives voice by the user.
  • the display 14 displays an image for VR according to the instruction of the processor 16 and provides a virtual reality to the user.
  • the communication module 15 communicates with the server 4 and the globe-type devices 3L and 3R. This communication may be wired or wireless.
  • the determination means 161 By reading a program from the storage 11 and executing the processor 16, the determination means 161, the capture means 162, the distance detection means 163, the range detection means 164, the detection means 165, the determination means 166, the display processing means 167, and the mode switching means Functions as 168.
  • the determination means 161 determines the capture range in the virtual space by using the hand gesture by the user's hand in the real space or the hand gesture by the hand object in the virtual space.
  • the hand gesture is a gesture expressed by using the user's hand or an object of the hand.
  • the capture means 162 acquires the content displayed in the capture range determined by the determination means 161 in the virtual space as image data.
  • the capture means 162 is displayed in the capture range determined by the determination means 161 in the virtual space when the voice input means 13 receives a user's instruction (for example, a shooting instruction or a capture instruction). Acquire the contents as image data.
  • the distance detecting means 163 detects the distance between the user's head and the user's hand in the real space. Specifically, for example, the distance detecting means 163 sets the distance between the glove-shaped devices 3L and 3R fitted in the user's hand and the head-mounted display 1 as the distance between the user's head and the user's hand. Detect as.
  • the distance detecting means 163 includes a controller held by the user (for example, a hand tracking controller or a grip type controller) and a head mount. The distance between the display 1 and the user's head may be detected as the distance between the user's head and the user's hand.
  • the distance between the user's head and hand can be detected.
  • the distance is, for example, a photographed image of the glove-type devices 3L and 3R taken by a camera provided on the head-mounted display 1 or a photograph of the head-mounted display 1 and the glove-type devices 3L and 3R taken by an external camera. It may be determined from an image, it may be determined from the round-trip time of communication (for example, infrared communication) between the glove type device 3L and 3R and the head-mounted display 1, or it may be determined by another known method.
  • the range detecting means 164 detects the range indicated by the user's hand in the real space or the range indicated by the hand object in the virtual space.
  • the range shown by the user's hand in the real space is, for example, when the glove type device 3L and 3R have a sensor capable of tracking each finger, the communication module 15 receives the tracking signal received from the glove type device 3L and 3R.
  • the head mount display 1 is provided with a camera, the range indicated by the user's hand in the real space is detected from the images of the glove type devices 3L and 3R taken by the camera. It may be done, or it may be another known method.
  • the determination means 161 determines the capture range in the virtual space according to, for example, a predetermined rule or correspondence according to the range detected by the range detection means 164 and the distance detected by the distance detection means 163. According to this configuration, since the capture range in the virtual space changes according to the distance between the user's head and hand, it is possible to acquire the captured image data whose angle of view changes according to the distance between the user's head and hand. ..
  • the detection means 165 refers to the object information within the capture range and detects a non-captureable object or a non-captureable avatar.
  • the determination means 166 determines whether or not the shooting license is granted to the user when the shooting impossible object or the shooting impossible avatar is detected.
  • the display processing means 167 performs a process for not displaying the non-shootable object or the non-shootable avatar when the user is not granted a shooting license.
  • the process for not displaying the image is a transparency process or a mosaic process for the non-photographable object or the non-photographable avatar, or a transparent process or a mosaic process for the non-photographable object or the non-photographable avatar reflected in the image data.
  • the detection means 165 refers to the object information in the capture range and detects the object that cannot be photographed without permission or the avatar that cannot be photographed without permission.
  • the determination means 166 determines whether or not the user has a shooting license.
  • the display processing means 167 performs a process for not displaying the unauthorized shooting impossible object or the unauthorized shooting impossible avatar when the shooting license is not granted to the user. According to this configuration, if the captured image range includes a non-shootable object or a non-shootable avatar and the user is not granted a shooting license, a process is performed to prevent the non-shootable object or the non-shootable avatar from being displayed. This makes it possible to prevent a user who has not been granted a shooting license from acquiring image data of a non-shooting object or a non-shootable avatar.
  • the process for not displaying this is a transparency process or a mosaic process for the object that cannot be photographed without permission or an avatar that cannot be photographed without permission, or a transparency process or a mosaic process for the object that cannot be photographed without permission or the avatar that cannot be photographed without permission in the image data. ..
  • FIG. 3 is a schematic diagram for explaining the range shown by the hand object in the virtual space.
  • the left-hand object HL and the right-hand object HR are displayed in the virtual space so as to correspond to the positional relationship with the glove-type devices 3L and 3R in the real space.
  • the capture range R1 is specified by the object of the hand by designating the two diagonal points of the four corners of the rectangle with the left-hand object HL and the right-hand object HR.
  • a part of the object OB1 is displayed in this capture range R1.
  • the capture range also called the shooting size
  • This capture range can be saved as image data in a standard recording format such as FHD (Full High Definition) or 4K.
  • the left-hand object HL and the right-hand object HR in the virtual space are separated correspondingly, and the capture range expands from the capture range R1 to the capture range R2.
  • the entire same object OB1 is displayed in the capture range R2.
  • the left-handed object HL and the right-handed object HR in the virtual space move according to the positional relationship with the glove-type devices 3L and 3R in the real space, and the capture range in the virtual space is changed by, for example, a predetermined algorithm.
  • FIG. 4A is an example of the positional relationship between the head-mounted display and the glove-type device in the real space and the captured image data.
  • the shorter the distance between the head-mounted display 1 and the glove-type devices 3L and 3R the wider the capture range in the virtual space is displayed, and the wider the capture range is displayed according to the user's shooting instruction.
  • the contents are acquired as image data.
  • the image IM1 is obtained.
  • FIG. 4B is another example of the positional relationship between the head-mounted display and the glove-type device in the real space and the captured image data.
  • the longer the distance between the head-mounted display 1 and the glove-type devices 3L and 3R the more the capture range in the virtual space is displayed with a narrow angle, and the capture range is displayed in the capture range according to the user's shooting instruction.
  • the contents are acquired as image data.
  • the image IM2 is obtained.
  • the angle of view changes according to the distance between the head-mounted display 1 and the glove-type devices 3L and 3R (that is, the distance between the user's hand and the head).
  • FIG. 5 is a flowchart showing an example of the process according to the first embodiment.
  • Step S10 The determination means 166 determines whether or not a specific gesture (also referred to as a hand gesture) by the user's hand has been detected.
  • This gesture may be the user's actual hand or an object of the hand in the virtual space, depending on the operating device used by the user.
  • Step S20 When the gesture of the user's hand is detected in step S10, the mode switching means 168 switches to the shooting mode.
  • Step S30 The determination means 166 determines whether or not the voice input means 13 has received a capture instruction by voice such as "still image shooting".
  • a moving image shooting instruction may be accepted by a voice instruction such as "start recording”.
  • other input signals for example, if the operating device used by the user has a button, a button on / off signal transmitted from the controller when the user presses this button
  • Video recording may start.
  • the detection means 165 refers to the object information in the capture range (also referred to as the frame range).
  • Step S50 The determination means 166 determines whether or not the detection means 165 has detected a non-photographable object. If no non-photographable object is detected, the process proceeds to step S80.
  • Step S60 When a non-photographable object is detected in step S50, the determination means 166 determines whether or not the photographer has a license for the detected non-photographable object. If the photographer has a license for the detected non-photographable object, the process proceeds to step S80.
  • Step S70 If the photographer does not have a license for the non-photographable object detected in step S60, for example, a process for preventing the object from being displayed, such as transparency processing or mosaic processing, is performed. Then, the process proceeds to step S80.
  • Step S80 The determination means 166 determines whether or not the detection means 165 has detected an avatar that cannot be photographed without permission.
  • Step S90 When the unauthorized shooting impossible avatar is detected in step S80, the determination means 166 determines whether or not the photographer has a license for the detected unauthorized shooting impossible avatar. If the photographer has a license for the detected avatar that cannot be photographed without permission, the process proceeds to step S120.
  • Step S100 If the photographer does not have a license for the avatar that cannot be photographed without permission detected in step S90, the corresponding user corresponding to the avatar that cannot be photographed without permission is requested for permission to shoot.
  • the corresponding user is, for example, a user who creates and / or manages and / or owns the avatar that cannot be photographed without permission.
  • Step S110 The determination means 166 determines whether or not the shooting permission has been obtained from the corresponding user. For example, processing to prevent the object from being displayed, such as transparency processing and mosaic processing, is performed. Then, the process proceeds to step S80.
  • Step S120 When the shooting permission is obtained from the corresponding user in step S110, the image within the capture range (frame range) is extracted. Then, the process proceeds to step S140.
  • Step S130 If the shooting permission has not been obtained from the corresponding user in step S110, the corresponding avatar is subjected to processing such as transparency processing and mosaic processing so as not to be displayed, and the image within the captured range after the processing is extracted. Then, the process proceeds to step S140.
  • Step S140 The capture means 162 saves the image data within the capture range in, for example, the storage 11.
  • the storage destination does not have to be the storage 11, and may be the server 4 or the cloud storage.
  • the capture means 162 may acquire the pre-rendered image data from the server 4 or the storage 11.
  • the pre-rendered image data is a pre-rendered image, which is image data having a higher resolution than an image at the time of normal shooting. Then, the capture means 162 may save the pre-rendered image data within the capture range (frame range). Alternatively, the pre-rendered image data may be stored on the server 4 or the cloud.
  • Step S150 The determination means 166 determines whether or not the user has stopped a specific gesture (hand gesture).
  • Step S160 When it is determined in step S160 that the specific gesture (hand gesture) is stopped, the mode switching means 168 ends the shooting mode.
  • the program according to the first embodiment is a program executed on the head-mounted display 1 in order to provide virtual reality on the head-mounted display 1, and the head-mounted display 1 is used by a user in a real space.
  • a determination means 161 that determines a capture range in virtual space and a capture that acquires the content displayed in the capture range in the virtual space as image data. It is a program for functioning as means 162.
  • the head mount display 1 is a determination means 161 for determining a capture range in the virtual space by using a hand gesture by a user's hand in the real space or a hand gesture by a hand object in the virtual space.
  • a capture means 162 for acquiring the contents displayed in the capture range in the virtual space as image data.
  • the range shown by the user's hand in the real space or the range shown by the hand object in the virtual space can be captured and acquired as image data, so it is possible to specify the capture range in the virtual space and acquire the image data. It can be facilitated.
  • FIG. 6 is a schematic configuration diagram of the head-mounted display system according to the second embodiment.
  • the head-mounted display system S2 has a configuration in which an information processing device 2 connected to the head-mounted display 1 is added.
  • the information processing device 2 is, for example, a computer.
  • FIG. 7 is a schematic configuration diagram of the information processing apparatus according to the second embodiment.
  • the information processing apparatus 2 includes a storage 21, a memory 22, an input interface 23, an output interface 24, a communication interface 25, and a processor 26.
  • the program according to this embodiment is stored in the storage 21.
  • the memory 22 temporarily stores data.
  • the input interface 23 accepts input from the user.
  • the output interface 24 is connected to, for example, the head-mounted display 1 via wiring, and outputs a video signal to the head-mounted display 1.
  • the connection will be described as being wired, it may be connected by wireless communication.
  • the communication module 15 communicates with the server 4 and the globe-type devices 3L and 3R. This communication may be wired or wireless.
  • the program according to the second embodiment is a program executed by the information processing apparatus 2 connected to the head-mounted display 1 in order to provide virtual reality on the head-mounted display 1, and is the information processing apparatus.
  • 2 is displayed in the capture range in the virtual space and the determination means 161 for determining the capture range in the virtual space by using the hand gesture by the user's hand in the real space or the hand gesture by the hand object in the virtual space.
  • It is a program for functioning as a capture means 162 for acquiring the contents as image data.
  • the information processing apparatus 2 is a determination means 161 for determining a capture range in the virtual space by using a hand gesture by a user's hand in the real space or a hand gesture by a hand object in the virtual space.
  • a capture means 162 for acquiring the contents displayed in the capture range in the virtual space as image data.
  • the range shown by the user's hand in the real space or the range shown by the hand object in the virtual space can be captured and acquired as image data, so it is possible to specify the capture range in the virtual space and acquire the image data. It can be facilitated.
  • the cloud may be used instead of the server 4.
  • the head-mounted display 1 or the information processing apparatus 2 described in the above-described embodiment may be configured by hardware or software.
  • a program that realizes at least a part of the functions of the head-mounted display 1 or the information processing device 2 is stored in a recording medium such as a flexible disk or a CD-ROM, read by a computer, and executed. May be good.
  • the recording medium is not limited to a removable one such as a magnetic disk or an optical disk, and may be a fixed recording medium such as a hard disk device or a memory.
  • a program that realizes at least a part of the functions of the head-mounted display 1 or the information processing device 2 may be distributed via a communication line (including wireless communication) such as the Internet. Further, the program may be encrypted, modulated, compressed, and distributed via a wired line or a wireless line such as the Internet, or stored in a recording medium.
  • the information processing apparatus 2 may be operated by one or a plurality of information processing devices.
  • a plurality of information processing devices are used, even if one of the plurality of information processing devices is used as a computer and the computer executes a predetermined program, the function is realized as at least one means of the information processing device 2. good.
  • the present invention is not limited to the above embodiment as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof.
  • various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components may be removed from all the components shown in the embodiments. Further, components over different embodiments may be combined as appropriate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Technology Law (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ヘッドマウントディスプレイで仮想現実を提供するために当該ヘッドマウントディスプレイもしくは当該ヘッドマウントディスプレイに接続された情報処理装置で実行されるプログラムであって、当該ヘッドマウントディスプレイもしくは当該情報処理装置を、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、当該仮想空間において当該決定されたキャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、として機能させるためのプログラムである。

Description

プログラム、ヘッドマウントディスプレイ及び情報処理装置
　本発明は、プログラム、ヘッドマウントディスプレイ及び情報処理装置に関する。
　従来、仮想現実（ＶＲともいう）を提供するヘッドマウントディスプレイが知られており、仮想空間の中で、仮想空間上に表示されたアバターやオブジェクトを、ユーザが撮影することができる。例えば、特許文献１には、ユーザの四肢のいずれかの動きを検出し、この四肢のいずれかの動きに基づいて、撮影が行なわれることを検知することが開示されている。
特開２０１９－６７４５６号公報
　しかしながら、特許文献１の技術では、ユーザの四肢の動きから仮想空間内の撮影を開始することまではできるが、ヘッドマウントディスプレイを被った仮想空間上で、キャプチャ範囲を指定して、スクリーンキャプチャすることが難しいという問題がある。
　本発明は、上記問題に鑑みてなされたものであり、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化するプログラム、ヘッドマウントディスプレイ及び情報処理装置を提供することを目的とする。
　本発明の第１の態様に係るプログラムは、ヘッドマウントディスプレイで仮想現実を提供するために当該ヘッドマウントディスプレイもしくは当該ヘッドマウントディスプレイに接続された情報処理装置で実行されるプログラムであって、当該ヘッドマウントディスプレイもしくは当該情報処理装置を、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、として機能させるためのプログラムである。
　この構成によれば、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
　本発明の第２の態様に係るプログラムは、第１の態様に係るプログラムであって、現実空間における前記ユーザの頭と前記ユーザの手との間の距離を検出する距離検出手段と、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲を検出する範囲検出手段と、を備え、前記決定手段は、前記範囲と前記距離に応じて、前記仮想空間における前記キャプチャ範囲を決定する。
　この構成によれば、ユーザの頭と手の距離に応じて仮想空間におけるキャプチャ範囲が変化するので、ユーザの頭と手の距離に応じて画角が変化したキャプチャ画像データを取得することができる。
　本発明の第３の態様に係るプログラムは、第２の態様に係るプログラムであって、前記距離検出手段は、ユーザの手にはめられたグローブ型デバイスもしくはユーザが手に持つコントローラと前記ヘッドマウントディスプレイとの間の距離を、前記ユーザの頭と前記ユーザの手との間の距離として検出する。
　この構成によれば、ユーザの頭と手の距離を検出することができる。
　本発明の第４の態様に係るプログラムは、第１から３のいずれかの態様に係るプログラムであって、前記キャプチャ範囲内のオブジェクト情報を参照し、撮影不可オブジェクトもしくは撮影不可アバターを検出する検出手段と、前記撮影不可オブジェクトもしくは前記撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、前記ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施す表示処理手段と、を備える。
　この構成によれば、キャプチャ画像範囲に、撮影不可オブジェクトもしくは撮影不可アバターが含まれ、ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施すことにより、撮影ライセンスが付与されていないユーザに対して、撮影不可オブジェクトもしくは撮影不可アバターの画像データを取得できないようにすることができる。
　本発明の第５の態様に係るプログラムは、第４の態様に係るプログラムであって、前記表示させないための処理は、前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理である。
　この構成によれば、撮影ライセンスが付与されていないユーザに対して、撮影不可オブジェクトもしくは撮影不可アバターの画像データを取得できないようにすることができる。
　本発明の第６の態様に係るプログラムは、第１から５のいずれかの態様に係るプログラムであって、前記キャプチャ範囲内のオブジェクト情報を参照し、無断撮影不可オブジェクトもしくは無断撮影不可アバターを検出する検出手段と、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、前記ユーザに撮影ライセンスが付与されていない場合、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターを表示させないための処理を施す表示処理手段と、を備える。
　この構成によれば、キャプチャ画像範囲に、無断撮影不可オブジェクトもしくは無断撮影不可アバターが含まれ、ユーザに撮影ライセンスが付与されていない場合、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターを表示させないための処理を施すことにより、撮影ライセンスが付与されていないユーザに対して、無断撮影不可オブジェクトもしくは無断撮影不可アバターの画像データを取得できないようにすることができる。
　本発明の第７の態様に係るプログラムは、第１から６のいずれかの態様に係るプログラムであって、前記表示させないための処理は、前記無断撮影不可オブジェクトもしくは無断撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターに対する透過処理もしくはモザイク処理である。
　この構成によれば、撮影ライセンスが付与されていないユーザに対して、無断撮影不可オブジェクトもしくは無断撮影不可アバターの画像データを取得できないようにすることができる。
　本発明の第８の態様に係るヘッドマウントディスプレイは、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、前記仮想空間において前記決定されたキャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、を備える。
　この構成によれば、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
　本発明の第９の態様に係る情報処理装置は、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、前記仮想空間において前記決定されたキャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、を備える。
　この構成によれば、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
　本発明の一態様によれば、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
第１の実施形態に係るヘッドマウントディスプレイシステムの概略構成図である。 第１の実施形態に係るヘッドマウントディスプレイの概略構成図である。 仮想空間における手のオブジェクトで示す範囲を説明するための模式図である。 現実空間におけるヘッドマウントディスプレイとグローブ型デバイスとの位置関係と、キャプチャされる画像データの一例である。 現実空間におけるヘッドマウントディスプレイとグローブ型デバイスとの位置関係と、キャプチャされる画像データの別の例である。 第１の実施形態に係る処理の一例を示すフローチャートである。 第２の実施形態に係るヘッドマウントディスプレイシステムの概略構成図である。 第２の実施形態に係る情報処理装置の概略構成図である。
　以下、各実施形態について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　＜第１の実施形態＞
　図１は、第１の実施形態に係るヘッドマウントディスプレイシステムの概略構成図である。図１に示すように、第１の実施形態に係るヘッドマウントディスプレイシステムＳ１は、ヘッドマウントディスプレイ１と、ユーザが使用する操作デバイスの一例であるグローブ型デバイス３Ｌ、３Ｒを備える。ヘッドマウントディスプレイ１は、通信回路網ＮＷを介して、サーバ４と接続されている。サーバ４には、ユーザ情報、仮想現実の世界（ワールドという）に関するワールド情報、ワールド内の他のユーザの情報が格納されている。サーバ４から、これらの情報もしくはこれらの情報を加工した情報が通信回路網ＮＷを介して、ヘッドマウントディスプレイ１に送信される。
　図２は、第１の実施形態に係るヘッドマウントディスプレイの概略構成図である。図２に示すように、第１の実施形態に係るヘッドマウントディスプレイ１は、ストレージ１１、メモリ１２、音声入力手段１３、ディスプレイ１４、通信モジュール１５、プロセッサ１６を備える。なおヘッドマウントディスプレイ１はカメラを備えてもよい。
　ストレージ１１は、プロセッサ１６が読み出して実行するプログラムが記憶されている。メモリ１２は、一時的に情報を保持する。音声入力手段１３は、ユーザによる音声を受け付ける。ディスプレイ１４は、プロセッサ１６の指令に従って、ＶＲ用の画像を表示し、仮想現実をユーザに提供する。通信モジュール１５は、サーバ４及びグローブ型デバイス３Ｌ、３Ｒと通信する。この通信は有線であっても無線であってもよい。
　プロセッサ１６は、ストレージ１１からプログラムを読み出して実行することにより、決定手段１６１、キャプチャ手段１６２、距離検出手段１６３、範囲検出手段１６４、検出手段１６５、判定手段１６６、表示処理手段１６７、モード切替手段１６８として機能する。
　決定手段１６１は、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する。ここで、ハンドジェスチャは、ユーザの手もしくは手のオブジェクトを使って表現されるジェスチャである。
　キャプチャ手段１６２は、仮想空間において決定手段１６１によって決定されたキャプチャ範囲に表示された内容を画像データとして取得する。本実施形態ではその一例として、キャプチャ手段１６２は、音声入力手段１３がユーザの指示（例えば撮影指示もしくはキャプチャ指示）を受け付けた場合、仮想空間において決定手段１６１によって決定されたキャプチャ範囲に表示された内容を画像データとして取得する。
　距離検出手段１６３は、現実空間における前記ユーザの頭と前記ユーザの手との間の距離を検出する。具体的には例えば距離検出手段１６３は、ユーザの手にはめられたグローブ型デバイス３Ｌ、３Ｒとヘッドマウントディスプレイ１との間の距離を、前記ユーザの頭と前記ユーザの手との間の距離として検出する。なお、グローブ型デバイス３Ｌ、３Ｒではなく、ユーザが手に持つコントローラが用いられる場合には、距離検出手段１６３は、ユーザが手に持つコントローラ（例えば、ハンドトラッキングコントローラまたはグリップ型コントローラ）とヘッドマウントディスプレイ１との間の距離を、前記ユーザの頭と前記ユーザの手との間の距離として検出してもよい。いずれの構成にしろ、ユーザの頭と手の距離を検出することができる。ここで距離は、例えばヘッドマウントディスプレイ１に設けられたカメラによってグローブ型デバイス３Ｌ、３Ｒを写した撮影画像または外部に設けられたカメラによってヘッドマウントディスプレイ１とグローブ型デバイス３Ｌ、３Ｒを写した撮影画像から決定されてもよいし、グローブ型デバイス３Ｌ、３Ｒとヘッドマウントディスプレイ１との間の通信（例えば赤外線通信）の往復時間から決定されてもよいし、他の公知の方法でもよい。
　範囲検出手段１６４は、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲を検出する。ここで現実空間におけるユーザの手で示す範囲は、例えばグローブ型デバイス３Ｌ、３Ｒが指ごとのトラッキングが可能なセンサを有する場合、通信モジュール１５が当該グローブ型デバイス３Ｌ、３Ｒから受信したトラッキング信号を用いて検出されてもよいし、ヘッドマウントディスプレイ１にカメラが設けられている場合には、このカメラによって撮影されたグローブ型デバイス３Ｌ、３Ｒの画像から現実空間におけるユーザの手で示す範囲が検出されてもよいし、他の公知の方法でもよい。
　決定手段１６１は、範囲検出手段１６４によって検出された範囲と距離検出手段１６３によって検出された距離に応じて、例えば所定の規則または対応関係に従って前記仮想空間における前記キャプチャ範囲を決定する。この構成によれば、ユーザの頭と手の距離に応じて仮想空間におけるキャプチャ範囲が変化するので、ユーザの頭と手の距離に応じて画角が変化したキャプチャ画像データを取得することができる。
　検出手段１６５は、前記キャプチャ範囲内のオブジェクト情報を参照し、撮影不可オブジェクトもしくは撮影不可アバターを検出する。
　判定手段１６６は、前記撮影不可オブジェクトもしくは前記撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する。
　表示処理手段１６７は、ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施す。この前記表示させないための処理は、前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理である。
　また検出手段１６５は、キャプチャ範囲内のオブジェクト情報を参照し、無断撮影不可オブジェクトもしくは無断撮影不可アバターを検出する。
　判定手段１６６は、撮影不可オブジェクトもしくは前記撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する。
　表示処理手段１６７は、前記ユーザに撮影ライセンスが付与されていない場合、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターを表示させないための処理を施す。この構成によれば、キャプチャ画像範囲に、撮影不可オブジェクトもしくは撮影不可アバターが含まれ、ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施すことにより、撮影ライセンスが付与されていないユーザに対して、撮影不可オブジェクトもしくは撮影不可アバターの画像データを取得できないようにすることができる。この表示させないための処理は、前記無断撮影不可オブジェクトもしくは無断撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記無断撮影不可オブジェクトもしくは無断撮影不可アバターに対する透過処理もしくはモザイク処理である。
　図３は、仮想空間における手のオブジェクトで示す範囲を説明するための模式図である。図３に示すように、現実空間におけるグローブ型デバイス３Ｌ、３Ｒに位置関係に対応するように、仮想空間において左手オブジェクトＨＬ及び右手オブジェクトＨＲが表示される。そして、左手オブジェクトＨＬ及び右手オブジェクトＨＲで長方形の四隅の対角の２点が指定されることによって、手のオブジェクトによってキャプチャ範囲Ｒ１が指定される。このキャプチャ範囲Ｒ１内に、オブジェクトＯＢ１の一部が表示される。このように、仮想空間における手のオブジェクトで作り出す四角（スクエア）のサイズでキャプチャ範囲（撮影サイズともいう）が変化する。このキャプチャ範囲を例えば、ＦＨＤ（Full High Definition）、４Ｋなど標準的な記録フォーマットで画像データとして保存することが可能である。
　ここで、現実空間におけるグローブ型デバイス３Ｌ、３Ｒを離すようにするとそれに対応して、仮想空間における左手オブジェクトＨＬと右手オブジェクトＨＲが離れ、キャプチャ範囲がキャプチャ範囲Ｒ１からキャプチャ範囲Ｒ２に広がる。これにより、このキャプチャ範囲Ｒ２内に、同じオブジェクトＯＢ１の全体が表示される。このように、現実空間におけるグローブ型デバイス３Ｌ、３Ｒに位置関係に対応して、仮想空間における左手オブジェクトＨＬと右手オブジェクトＨＲが動くとともに、例えば所定のアルゴリズムで仮想空間内におけるキャプチャ範囲が変わる。
　続いて図４Ａ及び図４Ｂを用いて、現実空間におけるヘッドマウントディスプレイとグローブ型デバイスとの距離に応じて、ヘッドマウントディスプレイに表示される画像が変化することを説明する。
　図４Ａは、現実空間におけるヘッドマウントディスプレイとグローブ型デバイスとの位置関係と、キャプチャされる画像データの一例である。図４Ａに示すように、ヘッドマウントディスプレイ１とグローブ型デバイス３Ｌ、３Ｒとの距離が短いほど、仮想空間内のキャプチャ範囲が広角で表示され、ユーザの撮影指示に応じて、キャプチャ範囲に表示された内容を画像データとして取得される。これによって、例えば画像ＩＭ１が得られる。
　図４Ｂは、現実空間におけるヘッドマウントディスプレイとグローブ型デバイスとの位置関係と、キャプチャされる画像データの別の例である。図４Ｂに示すように、ヘッドマウントディスプレイ１とグローブ型デバイス３Ｌ、３Ｒとの距離が長いほど、仮想空間内のキャプチャ範囲が挟角で表示され、ユーザの撮影指示に応じて、キャプチャ範囲に表示された内容を画像データとして取得される。これによって、例えば画像ＩＭ２が得られる。このように、ヘッドマウントディスプレイ１とグローブ型デバイス３Ｌ、３Ｒとの距離（すなわちユーザの手と頭の間の距離）に応じて、画角が変化する。
　図５は、第１の実施形態に係る処理の一例を示すフローチャートである。
　（ステップＳ１０）判定手段１６６は、ユーザの手による特定のジェスチャ（ハンドジェスチャともいう）を検出したか否か判定する。このジェスチャは、ユーザが使用する操作デバイスに応じて、ユーザの実際の手であってもよいし、仮想空間内の手のオブジェクトであってもよい。
　（ステップＳ２０）ステップＳ１０においてユーザの手のジェスチャを検出された場合、モード切替手段１６８は、撮影モードに切り替える。
　（ステップＳ３０）判定手段１６６は、音声入力手段１３が「静止画撮影」などの音声でキャプチャ指示を受け付けたか否か判定する。なお、ここでは、動画を撮影するときには、「録画開始」などの音声指示によって動画撮影指示を受け付けてもよい。また、音声指示ではなく、その他の入力信号（例えば、ユーザが使用する操作デバイスにボタンがある場合、ユーザがこのボタンを押した場合に、コントローラから送信されるボタンオンオフ信号）によって、静止画もしくは動画の撮影が開始されてよい。
　（ステップＳ４０）検出手段１６５は、キャプチャ範囲（フレーム範囲ともいう）内のオブジェクト情報を参照する。
　（ステップＳ５０）判定手段１６６は、検出手段１６５が撮影不可オブジェクトを検出したか否か判定する。撮影不可オブジェクトを検出しなかった場合、処理がステップＳ８０に進む。
　（ステップＳ６０）ステップＳ５０において撮影不可オブジェクトが検出された場合、判定手段１６６は、検出された撮影不可オブジェクトについて、撮影者にライセンスがあるか否か判定する。検出された撮影不可オブジェクトについて、撮影者にライセンスがある場合、処理がステップＳ８０に進む。
　（ステップＳ７０）ステップＳ６０において検出された撮影不可オブジェクトについて、撮影者にライセンスがない場合、例えば該当オブジェクトに透過処理、モザイク処理など表示させないための処理を施す。そして、処理がステップＳ８０に進む。
　（ステップＳ８０）判定手段１６６は、検出手段１６５が無断撮影不可アバターを検出したか否か判定する。
　（ステップＳ９０）ステップＳ８０において無断撮影不可アバターが検出された場合、判定手段１６６は、検出された無断撮影不可アバターについて、撮影者にライセンスがあるか否か判定する。検出された無断撮影不可アバターについて、撮影者にライセンスがある場合、処理がステップＳ１２０に進む。
　（ステップＳ１００）ステップＳ９０において検出された無断撮影不可アバターについて、撮影者にライセンスがない場合、当該無断撮影不可アバターに対応する該当ユーザに撮影許可を求める。ここで、該当ユーザは例えば、当該無断撮影不可アバターを製作及び／または管理及び／または所有するユーザである。
　（ステップＳ１１０）判定手段１６６は、該当ユーザから撮影許可を取得したか否か判定する。例えば該当オブジェクトに透過処理、モザイク処理など表示させないための処理を施す。そして、処理がステップＳ８０に進む。
　（ステップＳ１２０）ステップＳ１１０において該当ユーザから撮影許可を取得した場合、キャプチャ範囲（フレーム範囲）内の画像を抽出する。そして、処理がステップＳ１４０に進む。
　（ステップＳ１３０）ステップＳ１１０において該当ユーザから撮影許可を取得していない場合、該当アバターに透過処理、モザイク処理など表示させないための処理を施し、処理後のキャプチャ範囲内の画像を抽出する。そして、処理がステップＳ１４０に進む。
　（ステップＳ１４０）キャプチャ手段１６２は、キャプチャ範囲内の画像データを例えばストレージ１１に保存する。保存先は、ストレージ１１ではなくてもよく、サーバ４であってもクラウドストレージであってもよい。
　なお、キャプチャ手段１６２は、プリレンダリング画像データをサーバ４もしくはストレージ１１から取得してもよい。ここで、プリレンダリング画像データは、予めレンダリングされた画像で、通常の撮影時の画像よりも高解像度の画像データである。そしてキャプチャ手段１６２は、キャプチャ範囲（フレーム範囲）内のプリレンダリング画像データを保存してもよい。あるいは、サーバ４もしくはクラウド上に、プリレンダリング画像データが保存されてもよい。
　（ステップＳ１５０）判定手段１６６は、ユーザの手による特定のジェスチャ（ハンドジェスチャ）をやめたか否か判定する。
　（ステップＳ１６０）ステップＳ１６０で特定のジェスチャ（ハンドジェスチャ）をやめたと判定された場合、モード切替手段１６８は撮影モードを終了する。
　以上、第１の実施形態に係るプログラムは、ヘッドマウントディスプレイ１で仮想現実を提供するために当該ヘッドマウントディスプレイ１で実行されるプログラムであって、当該ヘッドマウントディスプレイ１を、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段１６１と、前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段１６２と、として機能させるためのプログラムである。
　また、第１の実施形態に係るヘッドマウントディスプレイ１は、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段１６１と、前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段１６２と、を備える。
　この構成により、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
　＜第２の実施形態＞
　続いて第２の実施形態について説明する。第１の実施形態ではヘッドマウントディスプレイ１がプログラムを実行したが、第２の実施形態では、ヘッドマウントディスプレイ１に接続された情報処理装置２がプログラムを実行する。
　図６は、第２の実施形態に係るヘッドマウントディスプレイシステムの概略構成図である。図１のヘッドマウントディスプレイシステムＳ１と比べて、ヘッドマウントディスプレイシステムＳ２は、ヘッドマウントディスプレイ１に接続された情報処理装置２が追加された構成になっている。情報処理装置２は例えばコンピュータである。
　図７は、第２の実施形態に係る情報処理装置の概略構成図である。図７に示すように、情報処理装置２は、ストレージ２１と、メモリ２２と、入力インタフェース２３、出力インタフェース２４、通信インタフェース２５と、プロセッサ２６とを備える。
　ストレージ２１には、本実施形態に係るプログラムが記憶されている。メモリ２２は、一時的にデータを記憶する。入力インタフェース２３は、ユーザからの入力を受け付ける。出力インタフェース２４は、例えばヘッドマウントディスプレイ１に配線を介して接続されており、ヘッドマウントディスプレイ１に映像信号を出力する。なお、一例として接続は有線であるものとして説明するが無線通信で接続されてもよい。通信モジュール１５は、サーバ４及びグローブ型デバイス３Ｌ、３Ｒと通信する。この通信は有線であっても無線であってもよい。
　プロセッサ２６は、ストレージ２１からプログラムを読み出して実行することにより、決定手段１６１、キャプチャ手段１６２、距離検出手段１６３、範囲検出手段１６４、検出手段１６５、判定手段１６６、表示処理手段１６７、モード切替手段１６８として機能する。これらの手段の処理は、第１の実施形態と同様であるので、その説明を省略する。
　以上、第２の実施形態に係るプログラムは、ヘッドマウントディスプレイ１で仮想現実を提供するために当該ヘッドマウントディスプレイ１に接続された情報処理装置２で実行されるプログラムであって、当該情報処理装置２を、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段１６１と、前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段１６２と、として機能させるためのプログラムである。
　また、第２の実施形態に係る情報処理装置２は、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段１６１と、前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段１６２と、を備える。
　この構成により、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
　なお、各実施形態では、サーバ４ではなく、クラウドであってもよい。
　なお、上述した実施形態で説明したヘッドマウントディスプレイ１または情報処理装置２の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、ヘッドマウントディスプレイ１または情報処理装置２の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
　また、ヘッドマウントディスプレイ１または情報処理装置２の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
　さらに、一つまたは複数の情報処理機器によって情報処理装置２を機能させてもよい。複数の情報処理機器を用いる場合、複数の情報処理機器のうちの１つをコンピュータとし、当該コンピュータが所定のプログラムを実行することにより情報処理装置２の少なくとも１つの手段として機能が実現されてもよい。
　以上、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１　ヘッドマウントディスプレイ
１１　ストレージ
１２　メモリ
１３　音声入力手段
１４　ディスプレイ
１５　通信モジュール
１６　プロセッサ
１６１　決定手段
１６２　キャプチャ手段
１６３　距離検出手段
１６４　範囲検出手段
１６５　検出手段
１６６　判定手段
１６７　表示処理手段
１６８　モード切替手段
２　情報処理装置
２１　ストレージ
２２　メモリ
２３　入力インタフェース
２４　出力インタフェース
２５　通信インタフェース
２６　プロセッサ
３Ｌ、３Ｒ　グローブ型デバイス
４　サーバ
Ｓ１、Ｓ２　ヘッドマウントディスプレイシステム

Claims (9)

  1. 　ヘッドマウントディスプレイで仮想現実を提供するために当該ヘッドマウントディスプレイもしくは当該ヘッドマウントディスプレイに接続された情報処理装置で実行されるプログラムであって、
    　当該ヘッドマウントディスプレイもしくは当該情報処理装置を、
    　現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    　前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段として機能させるためのプログラム。
  2. 　現実空間における前記ユーザの頭と前記ユーザの手との間の距離を検出する距離検出手段と、
    　現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲を検出する範囲検出手段として機能させるためのプログラムであって、
    　前記決定手段は、前記範囲と前記距離に応じて、前記仮想空間における前記キャプチャ範囲を決定する
    　請求項１に記載のプログラム。
  3. 　前記距離検出手段は、ユーザの手にはめられたグローブ型デバイスもしくはユーザが手に持つコントローラと前記ヘッドマウントディスプレイとの間の距離を、前記ユーザの頭と前記ユーザの手との間の距離として検出する
    　請求項２に記載のプログラム。
  4. 　前記キャプチャ範囲内のオブジェクト情報を参照し、撮影不可オブジェクトもしくは撮影不可アバターを検出する検出手段と、
    　前記撮影不可オブジェクトもしくは前記撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、
    　前記ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施す表示処理手段として機能させるための請求項１から３のいずれか一項に記載のプログラム。
  5. 　前記表示させないための処理は、前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理である
    　請求項４に記載のプログラム。
  6. 　前記キャプチャ範囲内のオブジェクト情報を参照し、無断撮影不可オブジェクトもしくは無断撮影不可アバターを検出する検出手段と、
    　前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、
    　前記ユーザに撮影ライセンスが付与されていない場合、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターを表示させないための処理を施す表示処理手段として機能させるための請求項１から５のいずれか一項に記載のプログラム。
  7. 　前記表示させないための処理は、前記無断撮影不可オブジェクトもしくは無断撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターに対する透過処理もしくはモザイク処理である
    　請求項６に記載のプログラム。
  8. 　現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    　前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    　を備えるヘッドマウントディスプレイ。
  9. 　現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    　前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    　を備える情報処理装置。

     
PCT/JP2021/023491 2020-06-24 2021-06-22 プログラム、ヘッドマウントディスプレイ及び情報処理装置 WO2021261463A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/003,115 US20230244318A1 (en) 2020-06-24 2021-06-22 Program, head-mounted display, and information processing device
CN202180045121.6A CN115803704A (zh) 2020-06-24 2021-06-22 程序、头戴式显示器和信息处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-108746 2020-06-24
JP2020108746A JP7057393B2 (ja) 2020-06-24 2020-06-24 プログラム、ヘッドマウントディスプレイ及び情報処理装置

Publications (1)

Publication Number Publication Date
WO2021261463A1 true WO2021261463A1 (ja) 2021-12-30

Family

ID=79281189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023491 WO2021261463A1 (ja) 2020-06-24 2021-06-22 プログラム、ヘッドマウントディスプレイ及び情報処理装置

Country Status (4)

Country Link
US (1) US20230244318A1 (ja)
JP (1) JP7057393B2 (ja)
CN (1) CN115803704A (ja)
WO (1) WO2021261463A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024062590A1 (ja) * 2022-09-22 2024-03-28 マクセル株式会社 仮想現実システム及びそれに用いるヘッドマウントディスプレイ

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101898A (ja) * 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 電子カメラ
JP2010206673A (ja) * 2009-03-05 2010-09-16 Brother Ind Ltd ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
WO2014128748A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
JP2016514298A (ja) * 2013-02-14 2016-05-19 クアルコム，インコーポレイテッド Ｈｍｄのための人体ジェスチャーベースの領域および体積の選択
JP2019067222A (ja) * 2017-10-03 2019-04-25 株式会社コロプラ 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016133541A (ja) * 2015-01-16 2016-07-25 株式会社ブリリアントサービス 電子眼鏡および電子眼鏡の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101898A (ja) * 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 電子カメラ
JP2010206673A (ja) * 2009-03-05 2010-09-16 Brother Ind Ltd ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
JP2016514298A (ja) * 2013-02-14 2016-05-19 クアルコム，インコーポレイテッド Ｈｍｄのための人体ジェスチャーベースの領域および体積の選択
WO2014128748A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
JP2019067222A (ja) * 2017-10-03 2019-04-25 株式会社コロプラ 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置

Also Published As

Publication number Publication date
JP7057393B2 (ja) 2022-04-19
JP2022006502A (ja) 2022-01-13
CN115803704A (zh) 2023-03-14
US20230244318A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
US10198867B2 (en) Display control device, display control method, and program
US20190377416A1 (en) Picture-Taking Within Virtual Reality
US8441435B2 (en) Image processing apparatus, image processing method, program, and recording medium
US9767612B2 (en) Method, system and apparatus for removing a marker projected in a scene
US20210390765A1 (en) Output of virtual content
US20090059094A1 (en) Apparatus and method for overlaying image in video presentation system having embedded operating system
WO2019059020A1 (ja) 制御装置、制御方法、及びプログラム
JP7371264B2 (ja) 画像処理方法、電子機器及びコンピュータ可読記憶媒体
WO2021261463A1 (ja) プログラム、ヘッドマウントディスプレイ及び情報処理装置
JP2014171121A (ja) 投影システム、投影装置、投影方法、及び投影プログラム
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
WO2020170604A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2017037375A (ja) 撮像装置及びその制御方法
US10194087B2 (en) Transmission apparatus, setting apparatus, transmission method, reception method, and storage medium
JP2007060448A (ja) 撮像装置及び画像処理方法
JP6208910B1 (ja) 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム
JP6655751B1 (ja) 映像表示制御装置、方法およびプログラム
JP4544262B2 (ja) 仮想現実空間共有システムおよび方法、並びに、情報処理装置および方法
JP4478047B2 (ja) 情報提示装置及び情報提示方法とそのプログラム
JP2008072322A (ja) 携帯情報端末、及びコンテンツ情報の取得／操作方法、並びにこの方法のプログラム
JP2021005168A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
JP7148779B2 (ja) 画像処理装置と、その処理方法、プログラム
JP2002094980A (ja) 映像投影システム
JP2017204666A (ja) 撮像装置
JP2016220148A (ja) 制御装置、制御方法、システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21829020

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21829020

Country of ref document: EP

Kind code of ref document: A1