WO2020012997A1 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

情報処理装置、プログラム及び情報処理方法 Download PDF

Info

Publication number
WO2020012997A1
WO2020012997A1 PCT/JP2019/026038 JP2019026038W WO2020012997A1 WO 2020012997 A1 WO2020012997 A1 WO 2020012997A1 JP 2019026038 W JP2019026038 W JP 2019026038W WO 2020012997 A1 WO2020012997 A1 WO 2020012997A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
display
information processing
display area
virtual
Prior art date
Application number
PCT/JP2019/026038
Other languages
English (en)
French (fr)
Inventor
康之 古賀
慧 新田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112019003579.7T priority Critical patent/DE112019003579T5/de
Priority to US17/250,333 priority patent/US11523246B2/en
Publication of WO2020012997A1 publication Critical patent/WO2020012997A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the present technology relates to an information processing apparatus, a program, and an information processing method for presenting a virtual object.
  • Stereophonic sound is used in the fields of AR (Augmented Reality) and VR (Virtual Reality).
  • AR Augmented Reality
  • VR Virtual Reality
  • the stereophonic sound makes it possible for the user to perceive the virtual sound source at the position of the virtual object.
  • Patent Literature 1 discloses a technique in which a head motion of a user is determined using a gyro sensor and an acceleration sensor mounted on a head-mounted display, and a virtual sound source is localized according to the determination result.
  • the user cannot point his or her gaze at the virtual object, and the virtual angle of view does not include the virtual object, so that the user cannot visually recognize the virtual object. For this reason, there is a problem that the gaze guidance to the virtual object is not established.
  • an object of the present technology is to provide an information processing device, a program, and an information processing method capable of promptly guiding a user's gaze to a virtual object.
  • an information processing device includes a determination unit and a display control unit.
  • the determination unit obtains a position of the virtual object with respect to a display area, and when the virtual object is located outside the display area, at least a correction allowable area set in a different area from the virtual object and the display area. It is determined whether or not some overlap.
  • the display control unit displays at least a part of the display object indicating the virtual object in the display area when the determination unit determines that the correction allowable area and at least a part of the display area overlap. .
  • a display object indicating the virtual object is displayed in the display area. This allows the display object to be displayed before the user accurately adjusts the display area to the virtual object, so that the user can quickly visually recognize the virtual object.
  • the display control unit may move the virtual object to a contact position where the correction allowable area and the display area are in contact, and at least a part of the virtual object may be the display object.
  • the information processing apparatus further includes an acoustic processing unit that localizes a virtual sound source to the virtual object, The sound processing unit may move the virtual sound source with the movement of the virtual object when the display control unit moves the virtual object to the contact position.
  • the display control unit may use a copy image of the virtual object as the display object, and display the copy image at a position closest to the virtual object in the display area.
  • the display control unit may move the copy image so as to overlap the virtual object when the virtual object moves into the display area.
  • the display control unit may generate an enlarged image of the virtual object centered on the virtual object, and use a portion of the enlarged image included in the display area as the display object.
  • the display control unit may cause the enlarged image to contract toward the virtual object when the virtual object moves into the display area.
  • the display control unit may generate a graphic indicating the direction of the virtual object as the display object.
  • the information processing apparatus further includes an acoustic processing unit that localizes a virtual sound source to the virtual object, The determination unit determines whether the correction allowable area and the display area overlap with each other when the virtual object is not located within the display area after a lapse of a predetermined time after the sound is generated from the virtual sound source. May be.
  • the information processing apparatus further includes an acoustic processing unit that localizes a virtual sound source to the virtual object,
  • the determination unit is configured to determine whether the correction allowable area and the display area overlap with each other when a moving speed of the display area with respect to the virtual object is equal to or less than a certain value after the sound is generated from the virtual sound source. You may.
  • a program causes an information processing device to operate as a determination unit and a display control unit.
  • the determination unit obtains a position of the virtual object with respect to a display area of the display device, and displays the correction allowable area set in a different area from the virtual object when the virtual object is located outside the display area, and the display. It is determined whether at least a part of the area overlaps.
  • the display control unit displays at least a part of the display object indicating the virtual object in the display area when the determination unit determines that the correction allowable area and at least a part of the display area overlap. Display control unit.
  • the determining unit obtains a position of the virtual object with respect to a display area of the display device, and performs the processing when the virtual object is located outside the display area. It is determined whether or not at least a part of the display area overlaps with the correction allowable area set in an area different from the virtual object.
  • the display control unit causes the display unit to display at least a part of the display object indicating the virtual object when the determination unit determines that the correction allowable area and at least a part of the display area overlap.
  • FIG. 1 is a schematic diagram of an information processing device according to an embodiment of the present technology.
  • FIG. 2 is a block diagram illustrating a functional configuration of the information processing apparatus. It is a schematic diagram of the virtual object arrange
  • FIG. 4 is a schematic diagram of gaze guidance to a virtual object by the information processing device.
  • FIG. 3 is a schematic diagram of a display object generated by a display control unit included in the information processing device. It is a schematic diagram which shows the movement of the virtual object by the display control part with which the information processing apparatus is provided.
  • 4 is a flowchart illustrating an operation of the information processing apparatus.
  • FIG. 3 is a schematic diagram of a display object (copy image) generated by a display control unit included in the information processing apparatus.
  • FIG. 3 is a schematic diagram of a display object (enlarged image) generated by a display control unit included in the information processing apparatus. It is a schematic diagram of the display object (suggestion figure) produced
  • FIG. 2 is a block diagram illustrating a hardware configuration of the information processing apparatus.
  • FIG. 1 is a schematic diagram of an information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 can be an HMD (Head Mounted Display) that can be mounted on the head of the user U.
  • the information processing unit 100 is not limited to the HMD, and may be an electronic device including a display such as a smartphone.
  • the information processing apparatus 100 includes a display 101, a speaker 102, and a sensor 103.
  • the display 101 is a display device arranged in front of the user's eyes, and may be a transmissive display or a non-transmissive display.
  • the speaker 102 is attached directly to the user's ear or in the vicinity of the ear, and outputs sound.
  • the speaker 102 may be a headphone or the like connected to the information processing device 100.
  • the sensor 103 detects the orientation of the information processing device 100.
  • the sensor 103 is a gyro sensor, an acceleration sensor, or the like, and may be any sensor that can detect the orientation of the information processing device 100. Further, the sensor 103 may be an image sensor that captures an image from which the orientation of the information processing device 100 can be calculated.
  • FIG. 2 is a block diagram showing a functional configuration of the information processing apparatus 100.
  • the information processing apparatus 100 includes a direction detection processing unit 111, a display control unit 112, a display unit 113, a sound processing unit 114, a sound output unit 115, and a determination unit 116.
  • the direction detection processing unit 111 is connected to the sensor 103 and detects the direction of the information processing device 100 based on the output of the sensor 103.
  • the direction detection processing unit 111 supplies the detected direction of the information processing device 100 to the display control unit 112, the sound processing unit 114, and the determination unit 116.
  • the display control unit 112 generates a video (hereinafter, a display video) displayed on the display 101.
  • the display control unit 112 arranges the virtual objects based on the orientation of the information processing device 100 detected by the orientation detection processing unit 111.
  • FIG. 3 is a schematic diagram showing a user U wearing the information processing apparatus 100 and a visual field range H that is a range that the user U can visually recognize via the display 101.
  • the display control unit 112 arranges the virtual object V at a predetermined position with respect to the information processing device 100 as shown in FIG.
  • the shape and number of the virtual objects V are not particularly limited.
  • the display control unit 112 supplies the generated display video to the display unit 113, and supplies the position of the virtual object V to the determination unit 116.
  • the display unit 113 supplies the display image generated by the display control unit 112 to the display 101 and causes the display 101 to display the display image.
  • FIG. 4 is a schematic diagram showing a display image displayed in the display area R of the display 101. As shown in FIG. 4, a display image including the display object P is generated by the display control unit 112, and the display unit 113 displays the display image in the display area R.
  • the user U When the user U visually recognizes the display object P displayed in the display area R, the user U can recognize that the virtual object V exists at a predetermined position as shown in FIG.
  • the sound processing unit 114 performs sound processing such that the virtual sound source exists at a predetermined position, and supplies the sound processing unit 114 with the sound processing unit 114.
  • the sound processing unit 114 can localize a virtual sound source using a head-related transfer function (HRTF).
  • HRTF head-related transfer function
  • the sound output unit 115 supplies the audio signal supplied from the audio processing unit 114 to the speaker 102, and causes the speaker 102 to generate audio.
  • FIG. 5 is a schematic diagram showing virtual sound source localization by the acoustic processing unit 114.
  • the sound processing unit 114 can localize the virtual sound source A at the position of the virtual object V. In this case, the user can perceive the virtual object V as if it were a sound source.
  • the determination unit 116 sets a correction allowable area (collider) in an area different from the virtual object V.
  • the area different from the virtual object V is, for example, around the virtual object V, or may be an area separated from the virtual object V.
  • FIG. 5 is a schematic diagram showing a correction allowable area C set around the virtual object V.
  • the ⁇ ⁇ correction allowable area C is a three-dimensional area set in an area different from the virtual object V, and can be a cubic range surrounding the virtual object V. Further, the correction allowable area C may be a range of a spherical shape surrounding the virtual object V, or may be another shape. The size of the correction allowable area C with respect to the virtual object V is not particularly limited.
  • the determination unit 116 performs a contact determination process based on the orientation of the information processing device 100 supplied from the orientation detection processing unit 111 and the position of the virtual object V supplied from the display control unit 112, and displays the processing result on the display control unit. 112 and the audio processing unit 114. Details of the contact determination processing will be described later.
  • the information processing device 100 has the above configuration.
  • the above-described functional configuration of the information processing apparatus 100 may be entirely mounted on the HMD, or only part of the functional configuration may be mounted on the HMD, and another configuration may be another information processing apparatus connected to the HMD such as a smartphone or a server. It may be mounted on.
  • the orientation detection processing unit 111, the display unit 113, and the sound output unit 115 are mounted on the HMD, and the display control unit 112, the sound processing unit 114, and the determination unit 116 are mounted on a server or the like is also possible.
  • the display control unit 112, the sound processing unit 114, and the determination unit 116 communicate with the orientation detection processing unit 111, the display unit 113, and the sound output unit 115 via the communication unit, and can realize the above functional configuration. .
  • FIG. 7 is a schematic diagram illustrating the operation of the information processing apparatus 100.
  • the processing device 100 causes the virtual object V to localize the virtual sound source A.
  • the display object P is displayed in the display area R (see FIG. 3). You can see it.
  • FIG. 7B is a schematic diagram illustrating a state in which the direction D1 of the virtual sound source A generated by the information processing apparatus 100 is different from the direction D2 of the virtual sound source A recognized by the user U.
  • the user U turns the view range H in the direction D2 in which the virtual sound source A is recognized as being present, but turns the view range H in a direction in which the virtual sound source A does not actually exist.
  • the display object P is not displayed in the display area R, and the user U cannot visually recognize the virtual object V. Therefore, the user U needs to search for the virtual object V, and the guidance of the line of sight is not established.
  • the information processing apparatus 100 handles the case where the direction in which the virtual sound source A is actually located is different from the direction of the virtual sound source A recognized by the user U as described below.
  • the determination unit 116 may execute the contact determination process at the time when the sound is generated from the virtual sound source A. After the sound is generated, the virtual object V is not included in the visual field range H even after a certain period of time has elapsed. In this case, a contact determination process may be performed.
  • FIGS. 8 to 10 are schematic diagrams showing the contact determination processing. As shown in FIG. 8A, when the information processing apparatus 100 localizes the virtual sound source A to the virtual object V, the user U responds to the sound and moves the visual field range H in the direction of the virtual sound source A (in the figure). , Arrows).
  • FIG. 8B is a schematic diagram showing a virtual positional relationship between the display area R and the virtual object V on the same plane as the display area R at this time.
  • the display area R moves toward the virtual object V with the movement of the visual field range H (arrows in the figure).
  • the determination unit 116 determines whether the correction allowable area C and the display area R overlap.
  • the determination unit 116 determines the two-dimensional size of the correction allowable area C on the same plane as the display area R, and determines whether at least a part of the display area R and the correction allowable area C overlap. it can.
  • FIGS. 9A and 9B show a state in which the user U further moves the visual field range H and the display area R and the correction allowable area C are in contact with each other.
  • the contact position T is a position where the allowable area C has contacted.
  • the determination unit 116 notifies the display control unit 112 of the coordinates of the contact position T.
  • FIGS. 10A and 10B show a state in which the virtual object V has been moved to the coordinates of the contact position T. Note that the contact position T has moved from the position shown in FIG.
  • the sound processing unit 114 moves the virtual sound source A in accordance with the moved virtual object V.
  • FIG. 11 is a schematic diagram showing the display object P displayed in the display area R at this time.
  • a portion (solid line in the figure) overlapping with the display area R is displayed as a display object P.
  • the display control unit 112 may further move the virtual object V to the display area R side and display the entire virtual object V as the display object P in the display area R. Further, the display control unit 112 may display only a part of the display object P in the display area R.
  • the user U can visually recognize the virtual object V, that is, guidance of the line of sight to the virtual object V is established.
  • the sound processing unit 114 can suppress the uncomfortable feeling given to the user U. Further, when the visual field range H is not moving, the sound processing unit 114 may reduce the moving speed of the virtual sound source A to reduce the sense of discomfort.
  • FIGS. 12A and 12B are schematic diagrams showing a case where only the virtual object V moves. As shown in the drawing, when the display area R and the correction allowable area C come into contact with each other, the display control unit 112 may move the virtual object V, and the sound processing unit 114 may maintain the position of the virtual sound source A.
  • the display control unit 112 may return the virtual object V to the original coordinates when the initial coordinates of the virtual object V enter the visual field range H.
  • the sound processing unit 114 may return the virtual sound source A to the initial coordinates of the virtual object V.
  • FIG. 13 is a flowchart showing the operation of the information processing apparatus 100.
  • the information processing apparatus 100 arranges the virtual object V at predetermined coordinates according to the direction of the information processing apparatus 100, and localizes the virtual sound source A to the virtual object V to output sound (St101). ).
  • the determination unit 116 performs a contact determination process (St102).
  • the information processing apparatus 100 continuously arranges the virtual object V at predetermined coordinates and generates sound from the virtual sound source A (St101). .
  • the display control unit 112 moves the virtual object V to the contact coordinates of the display area R and the correction allowable area C (St103). As a result, the display object P is displayed in the display area R. Further, the sound processing unit 114 moves the virtual sound source A to the coordinates of the moved virtual object V (St104).
  • the display control unit 112 causes the display object R to be displayed in the display area R according to the moved virtual object V and the orientation of the information processing apparatus 100.
  • the sound processing unit 114 may maintain the virtual sound source A at the initial position of the virtual object V as described above, and St104 may not be necessarily performed.
  • the determination unit 116 sets the correction allowable area C in an area different from the virtual object V.
  • the correction allowable area C can be set for all the virtual objects V.
  • the determination unit 116 may set the correction allowable area C only for some virtual objects V, for example, the virtual objects V with low visibility or the virtual objects V that the user particularly wants to visually recognize.
  • the virtual object V having low visibility is, for example, a virtual object having a small size, a low luminance, or a high transparency.
  • the determining unit 116 may set the size of the correction allowable area C according to the visibility of the virtual object V. For example, when the size of the virtual object V is small, the correction allowable area C can be increased, and when the size is large, the correction allowable area C can be reduced.
  • the determination unit 116 may execute the contact determination process only when the user cannot find the virtual object V immediately. For example, after the sound is generated from the virtual sound source A, the determination unit 116 can execute the contact determination process only when the virtual object V does not enter the visual field range H after a predetermined time has elapsed.
  • the determination unit 116 performs the contact determination process only when the moving speed of the display region R is equal to or less than a certain value after the sound is generated from the virtual sound source A, that is, when the user U cannot quickly adjust the visual field range H to the virtual object V. May be executed.
  • the user U accurately recognizes the position of the virtual object V on which the virtual sound source A is located, and performs the contact determination processing even when the user is moving in the visual field range H, that is, the movement of the coordinates of the virtual object V. Can be prevented from occurring.
  • the determination unit 116 may execute a contact determination process according to the type of the virtual sound source A. For example, when the images of the virtual sound source A and the virtual object V match (for example, when the virtual object V is a bottle and the virtual sound source A is the sound of water), the determination unit 116 does not perform the contact determination process, and The contact determination process may be executed only when the images of the sound source A and the virtual object V are different.
  • the determining unit 116 may execute the contact determining process according to the position of the virtual sound source A. For example, when the virtual sound source A is located on the median plane of a human (a plane having the same distance from the left and right ears), the position of the virtual sound source A is difficult to perceive. For this reason, the determination unit 116 may execute the contact determination process only when the virtual object V that localizes the virtual sound source A exists on the median plane or at a position close to the median plane.
  • the determination unit 116 may execute the contact determination process according to the frequency of the sound forming the virtual sound source A.
  • low sounds have low directivity compared to high sounds, so when the sound forming the virtual sound source A is low sound, it is difficult to grasp the direction of the virtual sound source A. For this reason, the determination unit 116 may execute the contact determination process only when the frequency of the sound generating the virtual sound source A is lower than the predetermined value.
  • the display control unit 112 can move the virtual object V to the coordinates where the display area R and the correction allowable area C are in contact in the contact determination processing, and can display the display object P in the display area R (FIG. 11). reference).
  • the display control unit 112 may generate a display object indicating the position of the virtual object V without moving the virtual object V when the display region R and the correction allowable region C come into contact with each other.
  • FIGS. 14 to 16 are schematic diagrams showing various display objects generated by the display control unit 112.
  • FIG. 14 to 16 are schematic diagrams showing various display objects generated by the display control unit 112.
  • the display control unit 112 does not move the virtual object V and displays a copy image P1 which is an image obtained by copying the virtual object V. It may be displayed as an object.
  • the copied image P1 is, for example, a translucent image or an unclear image of the virtual object V, and is an image that allows the user to recognize that the virtual object V is not the main body of the virtual object V.
  • the position of the copy image P1 is preferably the position closest to the virtual object V in the display area R.
  • the user can visually recognize the copy image P1 and know that the virtual object V exists in the direction of the copy image P1.
  • the display control unit 112 causes the copy image P1 to overlap the display object P, which is the image of the virtual object V body.
  • P1 can be moved (arrow in the figure).
  • the user can recognize the virtual object V that is the main body of the copy image P1.
  • the display control unit 112 does not move the virtual object V, but enlarges the virtual object V, which is an enlarged image of the virtual object V. May be arranged around the virtual object V.
  • the enlarged image W an enlarged image P2 which is a part included in the display region R is displayed in the display region R as a display object.
  • the enlarged image P2 is, for example, an image in which the virtual object V is translucent or an unclear image, and is an image that allows the user to recognize that the virtual object V is not the main body of the virtual object V.
  • the user can visually recognize the enlarged image P2 and can grasp that the virtual object V exists in the center direction of the enlarged image P2.
  • the display control unit 112 enlarges the display object P, which is the image of the virtual object V, by contracting the enlarged image P2.
  • the image P2 can be deformed (arrows in the figure). This allows the user to recognize the virtual object V that is the main body of the enlarged image P2.
  • the display control unit 112 does not move the virtual object V and displays a graphic indicating the direction of the virtual object V as the display object P3. May be.
  • the display object P3 can have, for example, an arrow shape as shown in FIG.
  • the display object P3 may have another shape suggesting the virtual object V.
  • the user can visually recognize the display object P3 and know that the virtual object V exists in the direction indicated by the display object P3.
  • FIG. 17 is a schematic diagram illustrating a hardware configuration of the information processing apparatus 100.
  • the information processing apparatus 100 has a CPU 1001, a GPU 1002, a memory 1003, a storage 1004, and an input / output unit (I / O) 1005 as a hardware configuration. These are connected to each other by a bus 1006.
  • a CPU (Central Processing Unit) 1001 controls other components according to a program stored in the memory 1003, performs data processing according to the program, and stores a processing result in the memory 1003.
  • CPU 1001 can be a microprocessor.
  • a GPU (Graphic Processing Unit) 1002 executes image processing under the control of the CPU 1001.
  • GPU 1002 can be a microprocessor.
  • the memory 1003 stores programs and data executed by the CPU 1001.
  • the memory 1003 can be a RAM (Random Access Memory).
  • the storage 1004 stores programs and data.
  • the storage 1004 can be a hard disk drive (HDD) or a solid state drive (SSD).
  • the input / output unit 1005 receives an input to the information processing device 100 and supplies an output of the information processing device 100 to the outside.
  • the input / output unit 1005 includes input devices such as a touch panel and a keyboard, output devices such as a display, and a connection interface such as a network.
  • the hardware configuration of the information processing apparatus 100 is not limited to the one shown here, and may be any as long as the functional configuration of the information processing apparatus 100 can be realized. Further, a part or all of the hardware configuration may exist on a network.
  • the present technology can have the following configurations.
  • a determination unit for determining whether or not A display control unit configured to display at least a part of the display object representing the virtual object in the display area when the determination unit determines that the correction allowable area and at least a part of the display area overlap with each other.
  • Information processing device configured to display at least a part of the display object representing the virtual object in the display area when the determination unit determines that the correction allowable area and at least a part of the display area overlap with each other.
  • the information processing apparatus according to any one of (1) to (8), The information processing device according to claim 1, A sound processing unit for localizing a virtual sound source to the virtual object; The determination unit determines whether the correction allowable area and the display area overlap with each other when the virtual object is not located in the display area after a predetermined time has elapsed after a sound is generated from the virtual sound source.
  • Information processing device
  • a sound processing unit for localizing a virtual sound source to the virtual object The determination unit determines whether or not the correction allowable area and the display area overlap with each other when a moving speed of the display area with respect to the virtual object is equal to or less than a predetermined value after a sound is generated from the virtual sound source.
  • Information processing device The information processing apparatus according to any one of (1) to (8), A sound processing unit for localizing a virtual sound source to the virtual object; The determination unit determines whether or not the correction allowable area and the display area overlap with each other when a moving speed of the display area with respect to the virtual object is equal to or less than a predetermined value after a sound is generated from the virtual sound source.
  • (11) Acquiring the position of the virtual object with respect to the display area of the display device, and when the virtual object is located outside the display area, at least a part of the correction allowable area and the display area set in an area different from the virtual object
  • a determination unit for determining whether or not A display controller configured to display at least a part of the display object indicating the virtual object in the display area when the determination unit determines that the correction allowable area and at least a part of the display area overlap with each other;
  • a program for operating a processing device A program for operating a processing device.
  • a determining unit that obtains a position of the virtual object with respect to a display area of the display device, and a correction allowable area and the display area that are set to areas different from the virtual object when the virtual object is positioned outside the display area Judge whether at least a part of overlaps, A display control unit configured to display at least a part of the display object indicating the virtual object in the display area when the determination unit determines that the correction allowable area and at least a part of the display area overlap with each other. Processing method.
  • Reference Signs List 100 information processing device 101 display 102 speaker 103 sensor 111 detection processing unit 112 display control unit 113 display unit 114 sound processing unit 115 sound output unit 116 determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの視線を仮想オブジェクトへ速やかに誘導することが可能な情報処理装置、プログラム及び情報処理方法を提供すること。 【解決手段】本技術に係る情報処理装置は判定部と、表示制御部とを具備する。判定部は、表示装置の表示領域に対する仮想オブジェクトの位置を取得し、仮想オブジェクトが表示領域外に位置しているときに仮想オブジェクトと異なる領域に設定された補正許容領域と表示領域の少なくとも一部が重なっているか否かを判定する。表示制御部は、判定部によって補正許容領域と表示領域の少なくとも一部が重なっていると判定された場合、表示領域に仮想オブジェクトを示す表示オブジェクトの少なくとも一部を表示させる。

Description

情報処理装置、プログラム及び情報処理方法
　本技術は、仮想オブジェクトの提示に係る情報処理装置、プログラム及び情報処理方法に関する。
　ＡＲ（Augmented Reality）やＶＲ（Virtual Reality）の分野において立体音響が利用されている。立体音響によって、仮想オブジェクトの位置に仮想音源が存在するようにユーザに知覚させることが可能となる。
　例えば特許文献１では、ヘッドマウントディスプレイに搭載されたジャイロセンサ及び加速度センサを用いてユーザの頭部動作を判定し、判定結果に応じて仮想音源を定位する技術が開示されている。
特開２０１０－０５６５８９号公報
　しかしながら、人間の聴覚における空間知覚の解像度は低いため、ＡＲデバイスやＶＲデバイスにおける表示画角の外側に位置する仮想オブジェクトに仮想音源を定位させた場合、ユーザは仮想音源のある程度の方向はわかっても正確な方向はわからないおそれがある。
　この場合、ユーザは視線を仮想オブジェクトに向けることができず、表示画角に仮想オブジェクトが含まれないため、ユーザが仮想オブジェクトを視認できない。このため、仮想オブジェクトへの視線の誘導が成立しないという問題が生じる。
　以上のような事情に鑑み、本技術の目的は、ユーザの視線を仮想オブジェクトへ速やかに誘導することが可能な情報処理装置、プログラム及び情報処理方法を提供することにある。
　上記目的を達成するため、本技術に係る情報処理装置は、判定部と、表示制御部とを具備する。
　上記判定部は、表示領域に対する仮想オブジェクトの位置を取得し、上記仮想オブジェクトが上記表示領域外に位置しているときに上記仮想オブジェクトと異なる領域に設定された補正許容領域と上記表示領域の少なくとも一部が重なっているか否かを判定する。
　上記表示制御部は、上記判定部によって上記補正許容領域と上記表示領域の少なくとも一部が重なっていると判定された場合、上記表示領域に上記仮想オブジェクトを示す表示オブジェクトの少なくとも一部を表示させる。
　この構成によれば、ユーザが表示装置を移動させ、表示領域が補正許容領域に重なると、仮想オブジェクトを示す表示オブジェクトが表示領域に表示される。これによりユーザが表示領域を正確に仮想オブジェクトに合わせる前に表示オブジェクトが表示されるため、ユーザは速やかに仮想オブジェクトを視認することが可能となる。
　上記表示制御部は、上記補正許容領域と上記表示領域が接触した位置である接触位置に上記仮想オブジェクトを移動させ、上記仮想オブジェクトの少なくとも一部を上記表示オブジェクトとしてもよい。
　上記情報処理装置は、上記仮想オブジェクトに仮想音源を定位させる音響処理部をさらに具備し、
　上記音響処理部は、上記表示制御部が上記接触位置に上記仮想オブジェクトを移動させると、上記仮想オブジェクトの移動に伴って上記仮想音源を移動させてもよい。
　上記表示制御部は、上記仮想オブジェクトの複写像を上記表示オブジェクトとし、上記表示領域において上記仮想オブジェクトに最も近接する位置に上記複写像を表示させてもよい。
　上記表示制御部は、上記仮想オブジェクトが上記表示領域内に移動すると、上記複写像を上記仮想オブジェクトに重なるように移動させてもよい。
　上記表示制御部は、上記仮想オブジェクトを中心とする上記仮想オブジェクトの拡大像を生成し、上記拡大像のうち上記表示領域に含まれる部分を上記表示オブジェクトとしてもよい。
　上記表示制御部は、上記仮想オブジェクトが上記表示領域内に移動すると、上記拡大像を上記仮想オブジェクトに向かって収縮させてもよい。
　上記表示制御部は、上記仮想オブジェクトの方向を示唆する図形を上記表示オブジェクトとして生成してもよい。
　上記情報処理装置は、上記仮想オブジェクトに仮想音源を定位させる音響処理部をさらに具備し、
　上記判定部は、上記仮想音源から音声が発生された後、一定時間経過後に上記表示領域内に上記仮想オブジェクトが位置しない場合に、上記補正許容領域と上記表示領域が重なっているか否かを判定してもよい。
　上記情報処理装置は、上記仮想オブジェクトに仮想音源を定位させる音響処理部をさらに具備し、
　上記判定部は、上記仮想音源から音声が発生された後、上記仮想オブジェクトに対する上記表示領域の移動速度が一定以下の場合に、上記補正許容領域と上記表示領域が重なっているか否かを判定してもよい。
　上記目的を達成するため、本技術に係るプログラムは、判定部と、表示制御部ととして情報処理装置を動作させる。
　上記判定部は、表示装置の表示領域に対する仮想オブジェクトの位置を取得し、上記仮想オブジェクトが上記表示領域外に位置しているときに上記仮想オブジェクトと異なる領域に設定された補正許容領域と上記表示領域の少なくとも一部が重なっているか否かを判定する。
　上記表示制御部は、上記判定部によって上記補正許容領域と上記表示領域の少なくとも一部が重なっていると判定された場合、上記表示領域に上記仮想オブジェクトを示す表示オブジェクトの少なくとも一部を表示させる表示制御部。
　上記目的を達成するため、本技術に係る情報処理方法は、判定部が、表示装置の表示領域に対する仮想オブジェクトの位置を取得し、上記仮想オブジェクトが上記表示領域外に位置しているときに上記仮想オブジェクトと異なる領域に設定された補正許容領域と上記表示領域の少なくとも一部が重なっているか否かを判定する。
　表示制御部が、上記判定部によって上記補正許容領域と上記表示領域の少なくとも一部が重なっていると判定された場合、上記表示領域に上記仮想オブジェクトを示す表示オブジェクトの少なくとも一部を表示させる。
　以上のように、本技術によれば、ユーザの視線を仮想オブジェクトへ速やかに誘導することが可能な情報処理装置、プログラム及び情報処理方法を提供することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施形態に係る情報処理装置の模式図である。 同情報処理装置の機能的構成を示すブロック図である。 同情報処理装置が備える表示制御部が配置する仮想オブジェクトの模式図である。 同情報処理装置が備える表示部によって表示される表示オブジェクトの模式図である。 同情報処理装置が備える音響処理部によって仮想オブジェクトに定位される仮想音源の模式図である。 同情報処理装置が備える判定部によって設定される補正許容領域の模式図である。 同情報処理装置による仮想オブジェクトへの視線誘導の模式図である。 同情報処理装置が備える判定部による接触判定処理の模式図である。 同情報処理装置が備える判定部による接触判定処理の模式図である。 同情報処理装置が備える表示制御部による仮想オブジェクトの移動を示す模式式図である。 同情報処理装置が備える表示制御部によって生成される表示オブジェクトの模式図である。 同情報処理装置が備える表示制御部による仮想オブジェクトの移動を示す模式式図である。 同情報処理装置の動作を示すフローチャートである。 同情報処理装置が備える表示制御部によって生成される表示オブジェクト（複写像）の模式図である。 同情報処理装置が備える表示制御部によって生成される表示オブジェクト（拡大像）の模式図である。 同情報処理装置が備える表示制御部によって生成される表示オブジェクト（示唆図形）の模式図である。 同情報処理装置のハードウェア構成を示すブロック図である。
　本実施形態に係る情報処理装置について説明する。
　［情報処理装置の構成］
　図１は、本実施形態に係る情報処理装置１００の模式図である。同図に示すように、情報処理装置１００は、ユーザＵの頭部に装着可能はＨＭＤ（Head Mounted Display）とすることができる。また、情報処理措置１００はＨＭＤに限られず、スマートフォン等のディスプレイを備える電子機器であってもよい。
　情報処理装置１００は、ディスプレイ１０１、スピーカ１０２及びセンサ１０３を備える。
　ディスプレイ１０１は、ユーザの眼前に配置される表示装置であり、透過型ディスプレイ又は非透過型ディスプレイとすることができる。
　スピーカ１０２は、ユーザの耳に直接、又は耳の近傍に装着され、音を出力する。スピーカ１０２は、情報処理装置１００に接続されたヘッドフォン等であってもよい。
　センサ１０３は、情報処理装置１００の向きを検出する。センサ１０３は、ジャイロセンサ及び加速度センサ等であり、情報処理装置１００の向きを検出可能なものであればよい。また、センサ１０３は、情報処理装置１００の向きを算出することが可能な画像を撮像する画像センサであってもよい。
　図２は、情報処理装置１００の機能的構成を示すブロック図である。
　同図に示すように、情報処理装置１００は、向き検出処理部１１１、表示制御部１１２、表示部１１３、音響処理部１１４、音出力部１１５及び判定部１１６を備える。
　向き検出処理部１１１は、センサ１０３に接続され、センサ１０３の出力に基づいて情報処理装置１００の向きを検出する。向き検出処理部１１１は、検出した情報処理装置１００の向きを表示制御部１１２、音響処理部１１４及び判定部１１６に供給する。
　表示制御部１１２は、ディスプレイ１０１に表示される映像（以下、表示映像）を生成する。表示制御部１１２は、向き検出処理部１１１によって検出された情報処理装置１００の向きに基づいて、仮想オブジェクトを配置する。
　図３は、情報処理装置１００を装着するユーザＵと、ユーザＵがディスプレイ１０１を介して視認する範囲である視野範囲Ｈを示す模式図である。表示制御部１１２は、同図に示すように情報処理装置１００に対して所定の位置に仮想オブジェクトＶを配置する。仮想オブジェクトＶの形状や数は特に限定されない。表示制御部１１２は生成した表示映像を表示部１１３に供給し、仮想オブジェクトＶの位置を判定部１１６に供給する。
　表示部１１３は、表示制御部１１２によって生成された表示映像をディスプレイ１０１に供給し、表示させる。図４は、ディスプレイ１０１の表示領域Ｒに表示される表示映像を示す模式図である。表示制御部１１２によって図４に示すように表示オブジェクトＰを含む表示映像が生成され、表示部１１３はこの表示映像を表示領域Ｒに表示させる。
　ユーザＵが表示領域Ｒに表示された表示オブジェクトＰを視認すると、図３に示すようにユーザＵは所定位置に仮想オブジェクトＶが存在するように認識することができる。
　一方、仮想オブジェクトがユーザＵの視野範囲Ｈから外れている場合、表示領域Ｒには表示オブジェクトＰは表示されず、ユーザＵは仮想オブジェクトＶを視認することができない。
　音響処理部１１４は、仮想音源が所定位置に存在するような音響処理を施して音出力部１１５に供給する。音響処理部１１４は、頭部伝達関数 (HRTF：Head-Related Transfer Function）を用いて仮想音源の定位を行うことができる。
　音出力部１１５は、音響処理部１１４から供給された音声信号をスピーカ１０２に供給し、スピーカ１０２に音声を生成させる。
　図５は、音響処理部１１４による仮想音源定位を示す模式図である。同図に示すように、音響処理部１１４は、仮想オブジェクトＶの位置に仮想音源Ａを定位させることができる。この場合ユーザは、仮想オブジェクトＶが音源であるかのように知覚することができる。
　判定部１１６は、仮想オブジェクトＶと異なる領域に補正許容領域（コライダー）を設定する。仮想オブジェクトＶと異なる領域は、例えば仮想オブジェクトＶの周囲であり、また、仮想オブジェクトＶとは離間した領域であってもよい。図５は、仮想オブジェクトＶの周囲に設定された補正許容領域Ｃを示す模式図である。
　補正許容領域Ｃは、仮想オブジェクトＶと異なる領域に設定された三次元の領域であり、仮想オブジェクトＶを囲む立方体形状の範囲とすることができる。また、補正許容領域Ｃは仮想オブジェクトＶを囲む球体形状の範囲であってもよく、その他の形状であってもよい。補正許容領域Ｃの仮想オブジェクトＶに対する大きさは特に限定されない。
　判定部１１６は、向き検出処理部１１１から供給される情報処理装置１００の向き及び表示制御部１１２から供給される仮想オブジェクトＶの位置に基づいて接触判定処理を実行し、処理結果を表示制御部１１２及び音響処理部１１４に供給する。接触判定処理の詳細については後述する。
　情報処理装置１００は以上のような構成を有する。上述した情報処理装置１００の機能的構成は、全部がＨＭＤに搭載されてもよく、一部のみがＨＭＤに搭載され、他の構成は
スマートフォンやサーバ等のＨＭＤに接続された別の情報処理装置に搭載されてもよい。
　例えば、向き検出処理部１１１、表示部１１３及び音出力部１１５がＨＭＤに搭載され、表示制御部１１２、音響処理部１１４及び判定部１１６がサーバ等に搭載された構成とすることも可能である。この場合、表示制御部１１２、音響処理部１１４及び判定部１１６は通信部を介して向き検出処理部１１１、表示部１１３及び音出力部１１５と通信し、上記機能的構成を実現することができる。
　［情報処理装置の動作］
　情報処理装置１００の動作について説明する。図７は情報処理装置１００の動作を示す模式図である。
　図７（ａ）に示すように、ユーザＵの視野範囲Ｈが、仮想オブジェクトＶが存在する方向Ｄ１とは異なる方向を向いている状態で、視野範囲Ｈを仮想オブジェクトＶに誘導する場合、情報処理装置１００は仮想オブジェクトＶに仮想音源Ａを定位させる。
　ユーザＵが仮想音源Ａが存在する方向Ｄ１を正確に認識し、方向Ｄ１に視野範囲Ｈを向ければ、表示領域Ｒに表示オブジェクトＰが表示され（図３参照）、ユーザＵは仮想オブジェクトＶを視認することができる。
　しかしながら、人間の聴覚における空間知覚の解像度は限られており、仮想音源Ａの方向を正確に認識できない場合がある。
　図７（ｂ）は情報処理装置１００が生成した仮想音源Ａの方向Ｄ１と、ユーザＵが認識した仮想音源Ａの方向Ｄ２が相違した状態を示す模式図である。同図に示すように、ユーザＵは、仮想音源Ａが存在すると認識した方向Ｄ２に視野範囲Ｈを向けるが、実際には仮想音源Ａが存在しない方向に視野範囲Ｈを向けることとなる。
　この場合、表示領域Ｒには、表示オブジェクトＰが表示されず、ユーザＵは仮想オブジェクトＶを視認することができない。このため、ユーザＵは仮想オブジェクトＶを探す必要があり、視線の誘導が成立しないことになる。
　特に近年では、仮想音源定位の精度が向上しており、サイズが小さい仮想オブジェクトにも正確に仮想音源を定位させることが可能となっている。このため、仮想オブジェクトＶに正確に視野範囲を一致させないと、仮想オブジェクトＶを視認できないことが多くなっている。
　また、ユーザＵが仮想音源Ａの方向を正確に認識できない理由として、他にもスピーカ１０２のズレ等による頭部伝達関数の相違や汎用的な頭部伝達関数の利用による仮想音源定位の誤差等も挙げられる。
　このように、実際に仮想音源Ａが位置する方向とユーザＵが認識した仮想音源Ａの方向が相違する場合に対して、情報処理装置１００では以下のようにして対応する。
　［接触判定処理について］
　判定部１１６は、視野範囲Ｈに仮想オブジェクトＶが入っていない場合、接触判定処理を実行する。
　判定部１１６は、仮想音源Ａから音声が発生された時点で接触判定処理を実行してもよく、音声が発生された後、一定時間経過しても視野範囲Ｈに仮想オブジェクトＶが入っていない場合に接触判定処理を実行してもよい。
　図８乃至図１０は接触判定処理を示す模式図である。図８（ａ）に示すように、情報処理装置１００が仮想オブジェクトＶに仮想音源Ａを定位させると、ユーザＵは音に反応し、仮想音源Ａの方向に視野範囲Ｈを移動させる（図中、矢印）。
　図８（ｂ）はこのときの表示領域Ｒと仮想オブジェクトＶの、表示領域Ｒと同一平面上での仮想的な位置関係を示す模式図である。表示領域Ｒは視野範囲Ｈの移動に伴って、仮想オブジェクトＶに向かって移動する（図中、矢印）。
　判定部１１６は、補正許容領域Ｃと表示領域Ｒが重なっているか否かを判定する。判定部１１６は、表示領域Ｒと同一平面上での補正許容領域Ｃの二次元上の大きさを特定し、表示領域Ｒと補正許容領域Ｃの少なくとも一部が重なっているかを判定することができる。
　図９（ａ）及び図９（ｂ）は、ユーザＵがさらに視野範囲Ｈを移動させ、表示領域Ｒと補正許容領域Ｃが接触した状態を示し、図９（ｂ）において表示領域Ｒと補正許容領域Ｃが接触した位置である接触位置Ｔを示す。判定部１１６は、図９（ｂ）に示すように表示領域Ｒが補正許容領域Ｃと接触すると、表示制御部１１２に接触位置Ｔの座標を通知する。
　表示制御部１１２は、判定部１１６から接触位置Ｔの座標を通知されると、仮想オブジェクトＶを接触位置Ｔの座標に移動させる。図１０（ａ）及び図１０（ｂ）は、仮想オブジェクトＶを接触位置Ｔの座標に移動させた状態を示す。なお、接触位置Ｔは、視野範囲Ｈの移動により、表示領域Ｒにおいて図９（ｂ）に示す位置から移動している。
　また、図１０（ａ）及び図１０（ｂ）に示すように、音響処理部１１４は仮想音源Ａを移動した仮想オブジェクトＶに合わせて移動させる。
　図１１は、このときに表示領域Ｒに表示される表示オブジェクトＰを示す模式図である。同図に示すように表示領域Ｒには、表示制御部１１２によって移動された仮想オブジェクトＶのうち、表示領域Ｒに重複する部分（図中、実線部）が表示オブジェクトＰとして表示される。なお、表示制御部１１２は、仮想オブジェクトＶをさらに表示領域Ｒ側に移動させ、仮想オブジェクトＶの全体を表示オブジェクトＰとして表示領域Ｒに表示させてもよい。また、表示制御部１１２は、表示オブジェクトＰの一部のみを表示領域Ｒに表示させてもよい。
　これにより、ユーザＵは仮想オブジェクトＶを視認することができ、即ち、仮想オブジェクトＶへの視線の誘導が成立する。
　なお、音響処理部１１４は、ユーザＵが視野範囲Ｈを移動させている間に仮想音源Ａを移動させると、ユーザＵに与える違和感を抑えることができる。また、音響処理部１１４は、視野範囲Ｈが移動していない場合には仮想音源Ａの移動速度を小さくして違和感を抑えてもよい。
　また、音響処理部１１４は、仮想音源Ａを仮想オブジェクトＶと共に移動させなくてもよい。図１２（ａ）及び図１２（ｂ）は、仮想オブジェクトＶのみが移動する場合を示す模式図である。同図に示すように、表示領域Ｒと補正許容領域Ｃが接触すると、表示制御部１１２は仮想オブジェクトＶを移動させ、音響処理部１１４は仮想音源Ａの位置を維持してもよい。
　さらに、表示制御部１１２は、仮想オブジェクトＶの座標を移動させた後、仮想オブジェクトＶの当初の座標が視野範囲Ｈに入った場合には仮想オブジェクトＶを当初の座標に戻してもよい。この場合、音響処理部１１４も仮想音源Ａを仮想オブジェクトＶの当初の座標に戻してもよい。
　図１３は、情報処理装置１００の動作を示すフローチャートである。同図に示すように、情報処理装置１００は、情報処理装置１００の向きに応じて仮想オブジェクトＶを所定の座標に配置し、仮想オブジェクトＶに仮想音源Ａを定位させて音声を出力する（Ｓｔ１０１）。
　続いて、判定部１１６が接触判定処理を実行する（Ｓｔ１０２）。表示領域Ｒに補正許容領域Ｃが接触していない場合（Ｓｔ１０２：Ｎｏ）、情報処理装置１００は継続して仮想オブジェクトＶを所定の座標に配置し、仮想音源Ａから音声を発生させる（Ｓｔ１０１）。
　表示領域Ｒに補正許容領域Ｃが接触すると（Ｓｔ１０２：Ｙｅｓ）、表示制御部１１２は表示領域Ｒと補正許容領域Ｃの接触座標に仮想オブジェクトＶを移動させる（Ｓｔ１０３）。
これにより、表示領域Ｒに表示オブジェクトＰが表示される。さらに、音響処理部１１４は仮想音源Ａを移動させた仮想オブジェクトＶの座標に移動させる（Ｓｔ１０４）。
　以降、表示制御部１１２は移動させた仮想オブジェクトＶと情報処理装置１００の向きに応じて表示領域Ｒに表示オブジェクトＰを表示させる。なお、音響処理部１１４は、上述のように仮想音源Ａを当初の仮想オブジェクトＶの位置に維持してもよく、Ｓｔ１０４は必ずしも実行されなくてもよい。
　［接触判定処理の態様について］
　上記のように、判定部１１６は、仮想オブジェクトＶとは異なる領域に補正許容領域Ｃを設定する。仮想オブジェクトＶが複数存在する場合には、全ての仮想オブジェクトＶに補正許容領域Ｃを設定することができる。
　また、判定部１１６は、一部の仮想オブジェクトＶ、例えば視認性が小さい仮想オブジェクトＶや特にユーザに視認して欲しい仮想オブジェクトＶにのみ補正許容領域Ｃを設定してもよい。視認性が小さい仮想オブジェクトＶは例えばサイズが小さい、輝度が小さい、あるいは透明度が大きい仮想オブジェクトである。
　また、判定部１１６は、仮想オブジェクトＶの視認性に応じて補正許容領域Ｃの大きさを設定してもよい。例えば、仮想オブジェクトＶのサイズが小さい場合には補正許容領域Ｃを大きくし、サイズが大きい場合には補正許容領域Ｃを小さくすることができる。
　また、判定部１１６は、ユーザが仮想オブジェクトＶをすぐに見つけられない場合にのみ、接触判定処理を実行してもよい。例えば判定部１１６は、仮想音源Ａから音声が発生された後、一定時間経過後に視野範囲Ｈに仮想オブジェクトＶが入らない場合にのみ接触判定処理を実行することができる。
　もしくは判定部１１６は、表示領域Ｒの移動速度が、仮想音源Ａから音声が発生された後に一定以下、即ちユーザＵが迅速に視野範囲Ｈを仮想オブジェクトＶに合わせられない場合にのみ接触判定処理を実行してもよい。
　これにより、ユーザＵが、仮想音源Ａが定位された仮想オブジェクトＶの位置を正確に認識し、視野範囲Ｈを移動中の場合であっても接触判定処理、即ち仮想オブジェクトＶの座標の移動が生じることを防止することができる。
　さらに、判定部１１６は、仮想音源Ａの種類に応じて接触判定処理を実行してもよい。例えば判定部１１６は、仮想音源Ａと仮想オブジェクトＶのイメージが一致する場合（仮想オブジェクトＶが瓶であり、仮想音源Ａが水の音である場合等）には接触判定処理をせず、仮想音源Ａと仮想オブジェクトＶのイメージが異なる場合にのみ接触判定処理を実行してもよい。
　また、判定部１１６は、仮想音源Ａの位置に応じて接触判定処理を実行してもよい。例えば、人間の正中面（左右の耳からの距離が等しい面）上に仮想音源Ａが位置すると、仮想音源Ａの位置が知覚しにくくなる。このため、判定部１１６は、仮想音源Ａを定位する仮想オブジェクトＶが正中面上あるいは正中面に近接した位置に存在する場合にのみ接触判定処理を実行してもよい。
　また、判定部１１６は、仮想音源Ａを形成する音の周波数に応じて接触判定処理を実行してもよい。一般に低音は高音に比べて指向性が小さいため、仮想音源Ａを形成する音が低音の場合、仮想音源Ａの方向が把握しにくい。このため、判定部１１６は仮想音源Ａを生成する音の周波数が所定値より低い場合にのみ接触判定処理を実行してもよい。
　［表示オブジェクトについて］
　上記のように表示制御部１１２は、接触判定処理において表示領域Ｒと補正許容領域Ｃが接触した座標に仮想オブジェクトＶを移動させ、表示領域Ｒに表示オブジェクトＰを表示させることができる（図１１参照）。
　ここで、表示制御部１１２は、表示領域Ｒと補正許容領域Ｃが接触した場合に、仮想オブジェクトＶを移動させず、仮想オブジェクトＶの位置を示唆する表示オブジェクトを生成してもよい。
　図１４乃至図１６は、表示制御部１１２が生成する各種の表示オブジェクトを示す模式図である。
　表示制御部１１２は、図１４（ａ）に示すように、表示領域Ｒと補正許容領域Ｃが接触すると、仮想オブジェクトＶを移動させず、仮想オブジェクトＶを複写した像である複写像Ｐ１を表示オブジェクトとして表示してもよい。
　複写像Ｐ１は例えば、仮想オブジェクトＶを半透明とした像や不鮮明とした像であり、仮想オブジェクトＶの本体ではないことをユーザが把握可能な像である。複写像Ｐ１の位置は、表示領域Ｒにおいて仮想オブジェクトＶに最も近接する位置が好適である。
　ユーザは、複写像Ｐ１を視認して、複写像Ｐ１の方向に仮想オブジェクトＶが存在することを把握することができる。
　また、ユーザが複写像Ｐ１を参照して視野範囲Ｈを仮想オブジェクトＶに合わせると、表示制御部１１２は、仮想オブジェクトＶ本体の像である表示オブジェクトＰに複写像Ｐ１を重ねるようにして複写像Ｐ１を移動させる（図中、矢印）ことができる。これによりユーザは、複写像Ｐ１の本体である仮想オブジェクトＶを認識することができる。
　また、表示制御部１１２は、図１５（ａ）に示すように、表示領域Ｒと補正許容領域Ｃが接触すると、仮想オブジェクトＶを移動させず、仮想オブジェクトＶを拡大した像である拡大像Ｗを仮想オブジェクトＶの周囲に配置してもよい。拡大像Ｗのうち、表示領域Ｒに含まれる部分である拡大像Ｐ２が表示オブジェクトとして表示領域Ｒに表示される。
　拡大像Ｐ２は例えば、仮想オブジェクトＶを半透明とした像や不鮮明とした像であり、仮想オブジェクトＶの本体ではないことをユーザが把握可能な像である。ユーザは、拡大像Ｐ２を視認して、拡大像Ｐ２の中心方向に仮想オブジェクトＶが存在することを把握することができる。
　また、ユーザが拡大像Ｐ２を参照して視野範囲Ｈを仮想オブジェクトＶに合わせると、表示制御部１１２は、仮想オブジェクトＶ本体の像である表示オブジェクトＰに拡大像Ｐ２を収縮させるようにして拡大像Ｐ２を変形させる（図中、矢印）ことができる。これによりユーザは、拡大像Ｐ２の本体である仮想オブジェクトＶを認識することができる。
　さらに、表示制御部１１２は、図１６に示すように、表示領域Ｒと補正許容領域Ｃが接触すると、仮想オブジェクトＶを移動させず、仮想オブジェクトＶの方向を示唆する図形を表示オブジェクトＰ３として表示してもよい。表示オブジェクトＰ３は例えば、図１６に示すような矢印形状とすることができる。また、表示オブジェクトＰ３は仮想オブジェクトＶを示唆する他の形状であってもよい。
　ユーザは、表示オブジェクトＰ３を視認して、表示オブジェクトＰ３が指示する方向に仮想オブジェクトＶが存在することを把握することができる。
　［ハードウェア構成について］
　上述した情報処理装置１００の機能的構成は、ハードウェアとプログラムの協働によって実現することが可能である。
　図１７は、情報処理装置１００のハードウェア構成を示す模式図である。同図に示すように情報処理装置１００はハードウェア構成として、ＣＰＵ１００１、ＧＰＵ１００２、メモリ１００３、ストレージ１００４及び入出力部（Ｉ／Ｏ）１００５を有する。これらはバス１００６によって互いに接続されている。
　ＣＰＵ（Central Processing Unit）１００１は、メモリ１００３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１００３に格納する。ＣＰＵ１００１はマイクロプロセッサとすることができる。
　ＧＰＵ（Graphic Processing Unit）１００２は、ＣＰＵ１００１による制御を受けて、画像処理を実行する。ＧＰＵ１００２はマイクロプロセッサとすることができる。
　メモリ１００３はＣＰＵ１００１によって実行されるプログラム及びデータを格納する。メモリ１００３はＲＡＭ（Random Access Memory）とすることができる。
　ストレージ１００４は、プログラムやデータを格納する。ストレージ１００４はＨＤＤ（hard disk drive）又はＳＳＤ（solid state drive）とすることができる。
　入出力部１００５は情報処理装置１００に対する入力を受け付け、また情報処理装置１００の出力を外部に供給する。入出力部１００５は、タッチパネルやキーボード等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。
　情報処理装置１００のハードウェア構成はここに示すものに限られず、情報処理装置１００の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
　なお、本技術は以下のような構成もとることができる。
　（１）
　表示領域に対する仮想オブジェクトの位置を取得し、上記仮想オブジェクトが上記表示領域外に位置しているときに上記仮想オブジェクトと異なる領域に設定された補正許容領域と上記表示領域の少なくとも一部が重なっているか否かを判定する判定部と、
　上記判定部によって上記補正許容領域と上記表示領域の少なくとも一部が重なっていると判定された場合、上記表示領域に上記仮想オブジェクトを示す表示オブジェクトの少なくとも一部を表示させる表示制御部
　を具備する情報処理装置。
　（２）
　上記（１）に記載の情報処理装置であって、
　上記表示制御部は、上記補正許容領域と上記表示領域が接触した位置である接触位置に上記仮想オブジェクトを移動させ、上記仮想オブジェクトの少なくとも一部を上記表示オブジェクトとする
　情報処理装置。
　（３）
　上記（２）に記載の情報処理装置であって、
　上記仮想オブジェクトに仮想音源を定位させる音響処理部をさらに具備し、
　上記音響処理部は、上記表示制御部が上記接触位置に上記仮想オブジェクトを移動させると、上記仮想オブジェクトの移動に伴って上記仮想音源を移動させる
　情報処理装置。
　（４）
　上記（１）に記載の情報処理装置であって、
　上記表示制御部は、上記仮想オブジェクトの複写像を上記表示オブジェクトとし、上記表示領域において上記仮想オブジェクトに最も近接する位置に上記複写像を表示させる
　情報処理装置。
　（５）
　上記（４）に記載の情報処理装置であって、
　上記表示制御部は、上記仮想オブジェクトが上記表示領域内に移動すると、上記複写像を上記仮想オブジェクトに重なるように移動させる
　情報処理装置。
　（６）
　上記（１）に記載の情報処理装置であって、
　上記表示制御部は、上記仮想オブジェクトを中心とする上記仮想オブジェクトの拡大像を生成し、上記拡大像のうち上記表示領域に含まれる部分を上記表示オブジェクトとする
　情報処理装置。
　（７）
　上記（６）に記載の情報処理装置であって、
　上記表示制御部は、上記仮想オブジェクトが上記表示領域内に移動すると、上記拡大像を上記仮想オブジェクトに向かって収縮させる
　情報処理装置。
　（８）
　上記（１）に記載の情報処理装置であって、
　上記表示制御部は、上記仮想オブジェクトの方向を示唆する図形を上記表示オブジェクトとして生成する
　情報処理装置。
　（９）
　上記（１）から（８）のうちいずれか一つに記載の情報処理装置であって、
　請求項１に記載の情報処理装置であって、
　上記仮想オブジェクトに仮想音源を定位させる音響処理部をさらに具備し、
　上記判定部は、上記仮想音源から音声が発生された後、一定時間経過後に上記表示領域内に上記仮想オブジェクトが位置しない場合に、上記補正許容領域と上記表示領域が重なっているか否かを判定する
　情報処理装置。
　（１０）
　上記（１）から（８）のうちいずれか一つに記載の情報処理装置であって、
　上記仮想オブジェクトに仮想音源を定位させる音響処理部をさらに具備し、
　上記判定部は、上記仮想音源から音声が発生された後、上記仮想オブジェクトに対する上記表示領域の移動速度が一定以下の場合に、上記補正許容領域と上記表示領域が重なっているか否かを判定する
　情報処理装置。
　（１１）
　表示装置の表示領域に対する仮想オブジェクトの位置を取得し、上記仮想オブジェクトが上記表示領域外に位置しているときに上記仮想オブジェクトと異なる領域に設定された補正許容領域と上記表示領域の少なくとも一部が重なっているか否かを判定する判定部と、
　上記判定部によって上記補正許容領域と上記表示領域の少なくとも一部が重なっていると判定された場合、上記表示領域に上記仮想オブジェクトを示す表示オブジェクトの少なくとも一部を表示させる表示制御部と
　として情報処理装置を動作させるプログラム。
　（１２）
　判定部が、表示装置の表示領域に対する仮想オブジェクトの位置を取得し、上記仮想オブジェクトが上記表示領域外に位置しているときに上記仮想オブジェクトと異なる領域に設定された補正許容領域と上記表示領域の少なくとも一部が重なっているか否かを判定し、
　表示制御部が、上記判定部によって上記補正許容領域と上記表示領域の少なくとも一部が重なっていると判定された場合、上記表示領域に上記仮想オブジェクトを示す表示オブジェクトの少なくとも一部を表示させる
　情報処理方法。
　１００…情報処理装置
　１０１…ディスプレイ
　１０２…スピーカ
　１０３…センサ
　１１１…向き検出処理部
　１１２…表示制御部
　１１３…表示部
　１１４…音響処理部
　１１５…音出力部
　１１６…判定部

Claims (12)

  1. 　表示領域に対する仮想オブジェクトの位置を取得し、前記仮想オブジェクトが前記表示領域外に位置しているときに前記仮想オブジェクトと異なる領域に設定された補正許容領域と前記表示領域の少なくとも一部が重なっているか否かを判定する判定部と、
    　前記判定部によって前記補正許容領域と前記表示領域の少なくとも一部が重なっていると判定された場合、前記表示領域に前記仮想オブジェクトを示す表示オブジェクトの少なくとも一部を表示させる表示制御部
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記補正許容領域と前記表示領域が接触した位置である接触位置に前記仮想オブジェクトを移動させ、前記仮想オブジェクトの少なくとも一部を前記表示オブジェクトとする
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記仮想オブジェクトに仮想音源を定位させる音響処理部をさらに具備し、
    　前記音響処理部は、前記表示制御部が前記接触位置に前記仮想オブジェクトを移動させると、前記仮想オブジェクトの移動に伴って前記仮想音源を移動させる
    　情報処理装置。
  4. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記仮想オブジェクトの複写像を前記表示オブジェクトとし、前記表示領域において前記仮想オブジェクトに最も近接する位置に前記複写像を表示させる
    　情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記表示制御部は、前記仮想オブジェクトが前記表示領域内に移動すると、前記複写像を前記仮想オブジェクトに重なるように移動させる
    　情報処理装置。
  6. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記仮想オブジェクトを中心とする前記仮想オブジェクトの拡大像を生成し、前記拡大像のうち前記表示領域に含まれる部分を前記表示オブジェクトとする
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記表示制御部は、前記仮想オブジェクトが前記表示領域内に移動すると、前記拡大像を前記仮想オブジェクトに向かって収縮させる
    　情報処理装置。
  8. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記仮想オブジェクトの方向を示唆する図形を前記表示オブジェクトとして生成する
    　情報処理装置。
  9. 　請求項１に記載の情報処理装置であって、
    　前記仮想オブジェクトに仮想音源を定位させる音響処理部をさらに具備し、
    　前記判定部は、前記仮想音源から音声が発生された後、一定時間経過後に前記表示領域内に前記仮想オブジェクトが位置しない場合に、前記補正許容領域と前記表示領域が重なっているか否かを判定する
    　情報処理装置。
  10. 　請求項１に記載の情報処理装置であって、
    　前記仮想オブジェクトに仮想音源を定位させる音響処理部をさらに具備し、
    　前記判定部は、前記仮想音源から音声が発生された後、前記仮想オブジェクトに対する前記表示領域の移動速度が一定以下の場合に、前記補正許容領域と前記表示領域が重なっているか否かを判定する
    　情報処理装置。
  11. 　表示装置の表示領域に対する仮想オブジェクトの位置を取得し、前記仮想オブジェクトが前記表示領域外に位置しているときに前記仮想オブジェクトと異なる領域に設定された補正許容領域と前記表示領域の少なくとも一部が重なっているか否かを判定する判定部と、
    　前記判定部によって前記補正許容領域と前記表示領域の少なくとも一部が重なっていると判定された場合、前記表示領域に前記仮想オブジェクトを示す表示オブジェクトの少なくとも一部を表示させる表示制御部と
    　として情報処理装置を動作させるプログラム。
  12. 　判定部が、表示領域に対する仮想オブジェクトの位置を取得し、前記仮想オブジェクトが前記表示領域外に位置しているときに前記仮想オブジェクトと異なる領域に設定された補正許容領域と前記表示領域の少なくとも一部が重なっているか否かを判定し、
    　表示制御部が、前記判定部によって前記補正許容領域と前記表示領域の少なくとも一部が重なっていると判定された場合、前記表示領域に前記仮想オブジェクトを示す表示オブジェクトの少なくとも一部を表示させる
    　情報処理方法。
PCT/JP2019/026038 2018-07-13 2019-07-01 情報処理装置、プログラム及び情報処理方法 WO2020012997A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112019003579.7T DE112019003579T5 (de) 2018-07-13 2019-07-01 Informationsverarbeitungseinrichtung, programm undinformationsverarbeitungsverfahren
US17/250,333 US11523246B2 (en) 2018-07-13 2019-07-01 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018133742 2018-07-13
JP2018-133742 2018-07-13

Publications (1)

Publication Number Publication Date
WO2020012997A1 true WO2020012997A1 (ja) 2020-01-16

Family

ID=69142409

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026038 WO2020012997A1 (ja) 2018-07-13 2019-07-01 情報処理装置、プログラム及び情報処理方法

Country Status (3)

Country Link
US (1) US11523246B2 (ja)
DE (1) DE112019003579T5 (ja)
WO (1) WO2020012997A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209317A1 (ja) * 2021-03-29 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120645A (ja) * 2009-12-08 2011-06-23 Nintendo Co Ltd ゲームプログラム、ゲーム装置及びゲームの表示方法
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2017005387A (ja) * 2015-06-05 2017-01-05 キヤノン株式会社 通信装置およびその制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4735993B2 (ja) 2008-08-26 2011-07-27 ソニー株式会社 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120645A (ja) * 2009-12-08 2011-06-23 Nintendo Co Ltd ゲームプログラム、ゲーム装置及びゲームの表示方法
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2017005387A (ja) * 2015-06-05 2017-01-05 キヤノン株式会社 通信装置およびその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209317A1 (ja) * 2021-03-29 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US20210281966A1 (en) 2021-09-09
DE112019003579T5 (de) 2021-07-15
US11523246B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
CN109564472B (zh) 用于选取与虚拟对象的交互方法的方法、介质和系统
EP3411777B1 (en) Method of object motion tracking with remote device for mixed reality system, mixed reality system and computer readable medium
US10949057B2 (en) Position-dependent modification of descriptive content in a virtual reality environment
US10115235B2 (en) Method for controlling head mounted display, and system for implemeting the method
US11314396B2 (en) Selecting a text input field using eye gaze
US11822708B2 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
US9600938B1 (en) 3D augmented reality with comfortable 3D viewing
WO2019069536A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
KR102310994B1 (ko) 3차원 상호작용 컴퓨팅 장치 및 방법
WO2020012997A1 (ja) 情報処理装置、プログラム及び情報処理方法
KR102190072B1 (ko) 콘텐츠 발견
EP3702008A1 (en) Displaying a viewport of a virtual space
WO2019130900A1 (ja) 情報処理装置、情報処理方法、および、プログラム
JP2018195172A (ja) 情報処理方法、情報処理プログラム及び情報処理装置
US20200210051A1 (en) Information processing device, information processing method, and program
US11688148B2 (en) Methods and systems for selection of objects
US12008160B2 (en) Eye tracking based selection of a user interface (UI) element based on targeting criteria
US11205307B2 (en) Rendering a message within a volumetric space
US11983810B1 (en) Projection based hair rendering
US11836871B2 (en) Indicating a position of an occluded physical object
JP6275809B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
EP4254143A1 (en) Eye tracking based selection of a user interface element based on targeting criteria
EP4312105A1 (en) Head-mounted display and image displaying method
EP3422150A1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
KR20220115886A (ko) 포인트 선택에 기초한 측정

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19833845

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19833845

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP