WO2021124920A1 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
WO2021124920A1
WO2021124920A1 PCT/JP2020/045173 JP2020045173W WO2021124920A1 WO 2021124920 A1 WO2021124920 A1 WO 2021124920A1 JP 2020045173 W JP2020045173 W JP 2020045173W WO 2021124920 A1 WO2021124920 A1 WO 2021124920A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
spherical image
image
viewpoint position
Prior art date
Application number
PCT/JP2020/045173
Other languages
English (en)
French (fr)
Inventor
賢次 杉原
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP20901821.7A priority Critical patent/EP4080463A4/en
Priority to CN202080085282.3A priority patent/CN114787874A/zh
Priority to US17/778,260 priority patent/US20230005101A1/en
Priority to JP2021565468A priority patent/JPWO2021124920A1/ja
Publication of WO2021124920A1 publication Critical patent/WO2021124920A1/ja
Priority to US18/616,856 priority patent/US20240242307A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a recording medium, and more particularly to an information processing device, an information processing method, and a recording medium that enable a user to provide a more natural viewing experience.
  • Patent Document 1 discloses a technique for presenting a GUI (Graphical User Interface) for performing zoom control of a predetermined area in a virtual space.
  • GUI Graphic User Interface
  • NUI Natural User Interface
  • a 3DoF (Degrees of Freedom) viewing experience that reflects the rotation of the user's viewpoint (head) is provided.
  • the two-dimensional image projected three-dimensionally does not reflect the translational movement of the user's viewpoint back and forth, left and right, and up and down, which may give the user a sense of discomfort.
  • This disclosure has been made in view of such a situation, and is intended to enable a user who views a two-dimensional image projected three-dimensionally to provide a more natural viewing experience.
  • the information processing apparatus of the present disclosure includes a control unit that controls the display of a two-dimensional image including a plurality of objects having distance information in a three-dimensional coordinate system based on a user's viewpoint position, and the control unit is the control unit.
  • This is an information processing device that controls the display magnification of the two-dimensional image according to the amount of movement of the viewpoint position in the real space based on the distance information of the object that is the area of interest of the user.
  • the information processing apparatus controls the display of a two-dimensional image including a plurality of objects having distance information in a three-dimensional coordinate system based on the user's viewpoint position, and the user's attention area.
  • This is an information processing method that controls the display magnification of the two-dimensional image according to the amount of movement of the viewpoint position in the real space based on the distance information of the object.
  • the recording medium of the present disclosure controls the display of a two-dimensional image including a plurality of objects having distance information in a three-dimensional coordinate system based on the viewpoint position of the user, and the object of interest of the user. It is a computer-readable recording medium that records a program for executing a process of controlling the display magnification of the two-dimensional image according to the amount of movement of the viewpoint position in the real space based on the distance information.
  • the display of a two-dimensional image including a plurality of objects having distance information is controlled, and the distance information of the object having a region of interest of the user.
  • the display magnification of the two-dimensional image is controlled according to the amount of movement of the viewpoint position in the real space.
  • An image presentation system to which the technique according to the present disclosure (the present technique) is applied displays a two-dimensional image including a plurality of objects having distance information in a three-dimensional coordinate system based on a user's viewpoint position.
  • the two-dimensional image 20 is displayed at a position separated from the viewpoint position U of the user 10 by a predetermined distance.
  • the two-dimensional image 20 is not a three-dimensional image composed of CG (Computer Graphics) data, but is, for example, an image obtained by three-dimensionally projecting two-dimensional data obtained by photographing the real world.
  • CG Computer Graphics
  • the two-dimensional image 20 includes a first object 21 and a second object 22.
  • the object 21 and the object 22 each have distance information.
  • the distance information corresponds to, for example, the distance (actual distance) in the real world between the camera and the objects 21 and 22 at the time of shooting the two-dimensional image 20.
  • the object 22 exists at a position farther than the object 21 in the real world and has a distance information larger than that of the object 21 in the two-dimensional image 20.
  • the display magnification of the two-dimensional image 20 according to the amount of movement of the viewpoint position U of the user 10 in the real space is based on the distance information of the object in front of the line of sight of the user 10. Be controlled. Specifically, the viewpoint position of the user 10 is different depending on whether the line of sight of the user 10 is on the object 21 as shown by the arrow # 1 in FIG. 1 or on the object 22 as shown by the arrow # 2. The amount of change in the display magnification of the two-dimensional image 20 according to the amount of movement of U is made different.
  • the two-dimensional image 20 is enlarged and displayed by the amount that the viewpoint position U approaches the two-dimensional image 20 as shown in FIG.
  • the two-dimensional image 20 is enlarged and displayed by the amount that the viewpoint position U approaches the two-dimensional image 20.
  • the amount of change in the display magnification is smaller than that in the example of FIG.
  • the larger the distance information of the object in front of the line of sight of the user 10 the smaller the amount of change in the display magnification of the two-dimensional image 20 corresponding to the amount of movement of the viewpoint position U.
  • FIG. 4 is a block diagram showing a configuration example of an image presentation system that realizes the above-mentioned image presentation.
  • the image presentation system of FIG. 4 is composed of an information processing device 50 and a display device 60.
  • the information processing device 50 is configured as, for example, a PC (Personal Computer).
  • the information processing device 50 supplies a display device 60 that three-dimensionally projects a two-dimensional image obtained by photographing.
  • the display device 60 is configured as, for example, an HMD worn on the user's head, and includes a non-transparent display unit. A two-dimensional image is displayed on the display unit.
  • the information processing device 50 includes a control unit 51 and a storage unit 52.
  • the control unit 51 controls the display of the two-dimensional image stored in the storage unit 52 on the display device 60 in the three-dimensional coordinate system based on the viewpoint position of the user.
  • the storage unit 52 stores a two-dimensional image including a plurality of objects having distance information.
  • the control unit 51 responds to the amount of movement of the user's viewpoint position in the real space based on the distance information of the object that is the area of interest (area of interest) of the user in the two-dimensional image displayed on the display device 60. Controls the display magnification of a two-dimensional image.
  • the information processing device 50 is configured separately from the display device 60 in FIG. 4, it may be configured integrally with the display device 60.
  • a spherical image is presented as a two-dimensional image, but the present invention is not limited to this, and a hemispherical image of 180 degrees may be presented, for example.
  • the spherical image reproduces a 360-degree image taken by a 360-degree camera by fixing the positional relationship between the viewpoint position and the presentation surface.
  • the spherical image needs to be presented following the movement of the head even when the user who views the image moves the head.
  • the position of the spherical image is fixed, so that the appearance is visible. Does not match what it looks like when the user moves his head in the real world.
  • the user 10 is looking at the tree 71 and the house 72 in the field of view 70 in the real world.
  • the distance between the user 10 and the tree 71 is 1 m
  • the distance between the user 10 and the house 72 is 3 m.
  • the distance between the user 10 and the tree 71 is 0.5 m and the distance between the user 10 and the house 72 as shown on the right side of FIG. Is 2.5 m.
  • the near object (tree 71) looks large even if it approaches a little, while the distant object (house 72) does not change so much even if it approaches a little. In this way, the appearance in the real world is affected by the change in distance as the object is closer.
  • the distance between the user 10 and the viewing area 80 is 0.5 m as shown on the right side of FIG.
  • the nearby object (tree 71) looks large when it gets a little closer, and the distant object (house 72) also looks big when it gets a little closer. In this way, the appearance of the spherical image is equally affected by the change in distance for all objects.
  • the appearance of the viewing area (image size and position) when the position of the spherical image is fixed and the user's head is moved changes depending on the distance between the viewpoint position and the presentation surface. For example, when the actual distance between the camera and the object at the time of capturing the spherical image matches the radius of the spherical image, it matches the appearance when the head is moved in the real world. On the other hand, various objects with different actual distances from the camera are reflected in the spherical image. Therefore, when the radius of the spherical image is adjusted to the actual distance of a specific object, it does not match the actual distance of other objects, which may give the user a sense of discomfort.
  • the radius of the spherical image is changed based on the distance information of the object that is the region of interest of the user in the spherical image, so that the movement amount of the user's viewpoint position (head) is adjusted.
  • a configuration for controlling the display magnification of the spherical image will be described.
  • FIG. 7 is a diagram showing an external configuration of the HMD according to the present embodiment.
  • FIG. 7 shows the HMD 100 worn on the head of the user 10.
  • the HMD100 is configured as a display device capable of displaying spherical images, and includes a non-transmissive display.
  • the spherical image 110 is displayed on the display.
  • the field of view (viewing area) of the user 10 in the spherical image 110 is moved by the user 10 wearing the HMD 100 on the head by changing the direction of the head.
  • FIG. 8 is a block diagram showing a hardware configuration example of the HMD 100 according to the present embodiment.
  • the HMD 100 of FIG. 8 includes a CPU (Central Processor Unit) 121, a memory 122, a sensor unit 123, an input unit 124, an output unit 125, and a communication unit 126. These are connected to each other via bus 127.
  • CPU Central Processor Unit
  • the CPU 121 executes processing for realizing various functions included in the HMD 100 according to a program or data stored in the memory 122.
  • the memory 122 is composed of a storage medium such as a semiconductor memory or a hard disk, and stores programs and data for processing by the CPU 121.
  • the sensor unit 123 is composed of various sensors such as an image sensor, a microphone, a gyro sensor, and an acceleration sensor. Various sensor information acquired by the sensor unit 123 is also used for processing by the CPU 121.
  • the input unit 124 is composed of buttons, keys, a touch panel, and the like.
  • the output unit 125 is composed of the above-mentioned display, speaker, and the like.
  • the communication unit 126 is configured as a communication interface that mediates various types of communication.
  • FIG. 9 is a block diagram showing a functional configuration example of the HMD 100.
  • the HMD 100 of FIG. 9 includes a control unit 150, a sensor unit 160, a storage unit 170, and a display unit 180.
  • the sensor unit 160, the storage unit 170, and the display unit 180 correspond to the displays constituting the sensor unit 123, the memory 122, and the output unit 125 of FIG. 8, respectively.
  • the control unit 150 includes a viewpoint position / line-of-sight direction acquisition unit 151, a head position / posture acquisition unit 152, a radius setting unit 153, an attention area setting unit 154, and a display control unit 155.
  • the functional block included in the control unit 150 is realized by the CPU 121 of FIG. 8 executing a predetermined program.
  • the viewpoint position / line-of-sight direction acquisition unit 151 acquires the viewpoint position and line-of-sight direction of the user 10 in the virtual space based on the viewpoint position and line-of-sight direction of the user 10 in the real space sensed by the sensor unit 160, and the radius setting unit. It is supplied to 153 and the attention area setting unit 154.
  • the head position / posture acquisition unit 152 acquires the position and posture of the user 10's head in the virtual space based on the position and posture of the user 10's head in the real space sensed by the sensor unit 160, and obtains the position and posture of the user 10's head in the virtual space. It is supplied to the setting unit 154.
  • the radius setting unit 153 sets the radius of the spherical image stored in the storage unit 170 based on the viewpoint position of the user 10 acquired by the viewpoint position / line-of-sight direction acquisition unit 151.
  • the spherical image in which the radius is set is supplied to the attention area setting unit 154 and the display control unit 155.
  • the omnidirectional image 171 is stored in the storage unit 170.
  • the spherical image 171 includes a plurality of objects having the distance information 171a.
  • the distance information 171a is taken as depth data acquired at the time of capturing the spherical image.
  • the attention area setting unit 154 sets the attention area of the user 10 in the spherical image whose radius is set by the radius setting unit 153 based on the line-of-sight direction of the user 10 acquired by the viewpoint position / line-of-sight direction acquisition unit 151. To do.
  • the set area of interest is supplied to the radius setting unit 153.
  • the radius setting unit 153 sets the radius of the spherical image based on the distance information of the object to be the attention region set by the attention region setting unit 154 in the spherical image.
  • the display control unit 155 causes the display unit 180 to display the spherical image whose radius is set by the radius setting unit 153.
  • First display example of spherical image> (First display process) First, the first display processing of the spherical image will be described with reference to the flowchart of FIG. The process of FIG. 10 is executed when the user 10 wearing the HMD 100 on the head starts viewing the spherical image.
  • step S11 the viewpoint position / line-of-sight direction acquisition unit 151 acquires the viewpoint position U and the line-of-sight direction V of the user 10 in the virtual space as shown in FIG. 11A.
  • the viewpoint position U of the user 10 may be the position of the HMD 100 in the real space, or may be the position intermediate between the binocular lenses included in the HMD 100. Further, when the eyeball positions of both eyes of the user 10 are estimated, the position may be intermediate between the eyeball positions of both eyes.
  • the line-of-sight direction V of the user 10 may be the median value of the line-of-sight directions of both eyes of the user 10 obtained by the line-of-sight detection device built in the HMD 100, or when only the line-of-sight direction of one eye can be obtained.
  • the direction of the line of sight of one eye may be used.
  • the direction of the user 10's face estimated from the position and posture of the user 10's head acquired by the head position / posture acquisition unit 152 may be the line-of-sight direction V of the user 10.
  • the direction input from the pointing device such as the VR controller operated by the user 10 may be the line-of-sight direction V of the user 10.
  • the radius setting unit 153 sets the radius r of the spherical image with the viewpoint position U of the user 10 as the center position P, as shown in FIG. A of FIG. Make it readable.
  • the size of the spherical image at the time when the presentation is started does not have to be a size that cannot be viewed by the user 10.
  • the unviewable size is, for example, a size in which the diameter of the spherical image is less than the distance between the eyes of the user 10, the radius of the spherical image is outside the view clipping range, or is less than the shortest presentation distance of the HMD 100. There are sizes and so on.
  • step S13 the attention area setting unit 154 sets the attention area A on the spherical image from the intersection of the line-of-sight direction V of the user 10 and the spherical image, as shown in FIG. 11B.
  • the area of interest A may be an intersection of the line-of-sight direction V and the spherical image, or may be an object area in which an object including the intersection is reflected.
  • the object area is determined by identifying an object on the spherical image using semantic segmentation, a visual saliency map, or the like. Further, the object area may be obtained by acquiring the depth data on the spherical image by using semantic segmentation or the like.
  • the line-of-sight direction V of the user 10 intersects with the virtual object arranged in the spherical image instead of the object on the spherical image.
  • the display area of the virtual object may be set to the area of interest A.
  • a search area including the depth is set based on the line-of-sight direction V and the convergence angle, and even if the area in the vicinity of the search area is set as the attention area A. Good.
  • step S14 the radius setting unit 153 actually with the camera at the time of shooting the object reflected in the area of interest A, as shown in FIG. 11B, based on the distance information 171a stored in the storage unit 170. Get the distance d.
  • the distance information corresponding to the area of interest A is uniform, the distance information is regarded as the actual distance d.
  • the distance information corresponding to a specific point in the attention area A is regarded as the actual distance d.
  • Specific points are the center of the area of interest A, the point closest to the camera in the area of interest A, the point with the highest prominence and attractiveness, and the like.
  • the average value of the distance information corresponding to the region of interest A or the weighted average value weighted by the prominence or the like may be set as the actual distance d.
  • the distance information of the nearby region may be acquired, or the depth information estimated based on the line-of-sight direction and the convergence angle of both eyes of the user 10. May be acquired as distance information.
  • step S15 the radius setting unit 153 of the spherical image so that the radius r of the spherical image matches the actual distance d with the viewpoint position U as the center, as shown in FIG. C of FIG. Change the size. For example, the larger the distance information of the object in the region of interest A, the larger the radius r of the spherical image.
  • the spherical image is enlarged, but the radius r of the spherical image is changed so that the spherical image is reduced according to the acquired actual distance d. May be good.
  • the timing for changing the radius r of the spherical image may be the timing when the region of interest A changes (the line of sight of the user 10 moves) or the timing when the head (viewpoint position) of the user 10 moves in the real space. Good. Further, in a configuration in which the position of the virtual camera is controlled by a VR controller or the like, the radius r of the spherical image may be changed at the timing when the virtual camera moves.
  • the viewpoint position U of the user 10 goes out of the spherical image due to a change in the size (enlargement or reduction) of the spherical image or the movement of the user 10, the spherical image is linked to the position of the virtual camera.
  • the viewpoint position U of the user 10 may be accommodated in the spherical image.
  • the spherical image may not be visible by increasing the transparency or decreasing the brightness in the spherical image.
  • the radius r of the spherical image can be kept unchanged.
  • step S16 it is determined in step S16 whether or not the user 10 ends viewing the spherical image. If it is determined that the user 10 does not end viewing the spherical image, the process proceeds to step S17.
  • step S17 the viewpoint position / line-of-sight direction acquisition unit 151 updates (newly acquires) the viewpoint position U and the line-of-sight direction V of the user 10 in the virtual space as shown in FIG. 11A. After that, the process returns to step S13, and the subsequent processes are repeated.
  • step S16 when it is determined that the user 10 ends viewing the spherical image, the display processing of the spherical image ends.
  • the change in the appearance (image size and position) of the region of interest is perceived from the spherical image. It will be in line with the distance to be taken, and will match the appearance when the head is moved in the real world. This makes it possible to provide a more natural viewing experience to the user who views the spherical image without giving the user a sense of discomfort.
  • the spherical image is enlarged so that the radius r of the spherical image matches the actual distance d.
  • an image different from the viewing area before enlargement is displayed in the viewing area after enlargement indicated by the dotted line in the figure.
  • Second display example of spherical image> (Second display processing)
  • the viewpoint position is moved from the center position of the spherical image
  • the user's viewing area is the same before and after the movement of the viewpoint position.
  • a second display process of the spherical image that changes the radius of the spherical image will be described.
  • the process of FIG. 13 is also executed when the user 10 wearing the HMD 100 on the head starts viewing the spherical image.
  • steps S21 to S24, S26, and S27 of the flowchart of FIG. 13 is the same as the processing of steps S11 to S14, S16, and S17 of the flowchart of FIG. 10, so the description thereof will be omitted.
  • step S24 after the actual distance d from the camera at the time of shooting the object reflected in the area of interest A is acquired, in step S25, the radius setting unit 153 moves the center position of the spherical image. Match the radius r of the spherical image with the actual distance d.
  • the radius is defined as the center position P'of the spherical image before enlargement, the center position P of the spherical image after enlargement, and the viewpoint position U of the user 10.
  • PU represents the distance (vector) from P to U
  • P'U represents the distance (vector) from P'to U.
  • the distance from the viewpoint position U to all the points on the spherical image is multiplied by d / r based on the viewpoint position U of the user 10.
  • the center position P of the enlarged spherical image moves to a position obtained by multiplying the distance from the viewpoint position U to the center position P'of the spherical image before enlargement by d / r.
  • PU d / rP'U.
  • the viewpoint position U of the user 10 is moved, the size of the spherical image is changed with reference to the moved viewpoint position U, as shown in FIG. ,
  • the viewing area of the user 10 in the spherical image can be kept unchanged. This makes it possible to provide a more natural viewing experience to the user who views the spherical image without giving the user a sense of discomfort.
  • FIG. 16A when the size of the spherical image is changed while the viewpoint position U of the user 10 is moved, FIG. As shown in, the center position of the spherical image moves from P'to P.
  • steps S31, S32, S34 to S36, S39, and S40 of the flowcharts of FIGS. 17 and 18 are the same as the processes of steps S21 to S27 of the flowchart of FIG. 13, the description thereof will be omitted.
  • step S32 the radius r of the spherical image is set with the viewpoint position U of the user 10 as the center position P, and then in step S33, the radius setting unit 153 sets the center position P of the spherical image. It is held as the center position P'before enlargement.
  • step S36 the center position P of the spherical image moves and the radius r of the spherical image changes to the actual distance d, and then in step S37, the radius setting unit 153 moves the viewpoint position of the user 10. It is determined whether or not U is moving toward the center position P'before expansion.
  • the viewpoint position U is moving toward the center position P'. Is determined. Further, when the distance between the viewpoint position U of the user 10 and the center position P'before enlargement becomes a predetermined distance or less, it may be determined that the viewpoint position U is moving toward the center position P'. .. Further, when the motion of pulling the head is detected by the gesture determination using machine learning based on the direction of the face of the user 10 and the movement amount and the movement direction of the viewpoint position U of the user 10, the viewpoint position U is the center. It may be determined that the vehicle is moving toward the position P'.
  • step S38 when it is determined that the viewpoint position U is moving toward the center position P', the process proceeds to step S38, and the radius setting unit 153 sets the center position P of the spherical image. To the center position P'before enlargement.
  • the moving speed may be controlled.
  • the center position of the spherical image may move at a predetermined constant speed, or the speed may change during the movement, such as moving slowly at the start or end of the movement. Further, the center position of the spherical image may be moved at a speed corresponding to the moving speed of the head of the user 10.
  • the center position of the spherical image may be moved according to the viewpoint position U of the user 10. For example, the closer the viewpoint position U is to the center position P'before expansion, the closer the center position P after expansion is to the center position P'before expansion. Specifically, when the distance between the viewpoint position U and the center position P'before enlargement is halved, the distance between the center position P after enlargement and the center position P'before enlargement is also halved. The distance between the center position P after the expansion and the center position P'before the expansion may be changed at the same ratio as the distance between the center position P and the center position P'before the expansion. Further, by weighting the distance between the viewpoint position U and the center position P'before expansion, the closer the viewpoint position U is to the center position P'before expansion, the larger the amount of movement of the center position P after expansion is. You may.
  • step S37 determines whether the viewpoint position U has not moved toward the center position P'. If it is determined in step S37 that the viewpoint position U has not moved toward the center position P', the process proceeds to step S40, and after the viewpoint position U and the line-of-sight direction V of the user 10 are updated, the process proceeds to step S40. The process returns to step S34.
  • the series of processes described above can be executed by hardware or software.
  • the programs that make up the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 20 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU 501 the CPU 501, the ROM (Read Only Memory) 502, and the RAM (Random Access Memory) 503 are connected to each other by the bus 504.
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 509 includes a network interface and the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 into the RAM 503 via the input / output interface 505 and the bus 504 and executes the above-described series. Is processed.
  • the program executed by the computer (CPU501) can be recorded and provided on the removable media 511 as a package media or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by mounting the removable media 511 in the drive 510. Further, the program can be received by the communication unit 509 and installed in the storage unit 508 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 502 or the storage unit 508.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the present disclosure may have the following structure.
  • (1) It is equipped with a control unit that controls the display of a two-dimensional image including a plurality of objects having distance information in a three-dimensional coordinate system based on the user's viewpoint position.
  • the control unit is an information processing device that controls the display magnification of the two-dimensional image according to the amount of movement of the viewpoint position in the real space based on the distance information of the object that is the area of interest of the user.
  • the first object and the second object have different distance information and have different distance information.
  • the control unit determines that the area of interest is the first object.
  • the information processing apparatus according to (2) wherein the amount of change in the display magnification is reduced as compared with the case where the object is.
  • the two-dimensional image is a spherical image, and is The control unit changes the radius of the spherical image based on the distance information of the object, which is the region of interest, to display the spherical image according to the amount of movement of the viewpoint position.
  • the information processing apparatus according to any one of (1) to (3), which controls the magnification.
  • the distance information is the actual distance between the camera and the object at the time of shooting the spherical image.
  • the information processing device (4), wherein the control unit makes the radius of the spherical image match the actual distance to the object having the area of interest.
  • (6) The information processing device according to (5), wherein the control unit changes the radius of the spherical image around the viewpoint position.
  • the control unit performs the spherical image so that the viewing area of the user becomes the same before and after the movement of the viewpoint position.
  • the information processing apparatus which changes the radius of an image.
  • the information processing device (7), wherein the control unit moves the center position of the spherical image based on the viewpoint position after the movement to change the radius of the spherical image.
  • the control unit sets the center position of the spherical image after changing the radius to the spherical image before the movement.
  • the information processing device according to (8) which is moved to the center position of the spherical image.
  • the control unit sets a region in which the object including the intersection is projected as the region of interest in the two-dimensional image.
  • 50 information processing device 51 control unit, 52 storage unit, 60 display device, 100 HMD, 121 CPU, 122 memory, 123 sensor unit, 124 input unit, 125 output unit, 126 communication unit, 150 control unit, 160 sensor unit, 170 storage unit, 180 display unit, 151 line-of-sight position / line-of-sight direction acquisition unit, 152 head position / orientation acquisition unit, 153 radius setting unit, 154 attention area setting unit, 155 display control unit, 171 all-sky image, 171a distance information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示は、ユーザにより自然な視聴体験を提供することができるようにする情報処理装置、情報処理方法、および記録媒体に関する。 制御部は、ユーザの視点位置を基準とする三次元座標系に、距離情報を有する複数のオブジェクトを含む二次元画像の表示を制御する。制御部は、ユーザの注目領域となるオブジェクトの距離情報に基づいて、実空間における視点位置の移動量に応じた二次元画像の表示倍率を制御する。本開示は、例えば、全天球画像を提示するＨＭＤに適用することができる。

Description

情報処理装置、情報処理方法、および記録媒体
　本開示は、情報処理装置、情報処理方法、および記録媒体に関し、特に、ユーザにより自然な視聴体験を提供できるようにする情報処理装置、情報処理方法、および記録媒体に関する。
　従来、ユーザの頭部に装着されたＨＭＤ（Head Mounted Display）に仮想空間の画像を表示することで、没入感の高いＶＲ（Virtual Reality）体験を提供する技術が知られている。
　特許文献１には、仮想空間における所定領域のズーム制御を行うためのＧＵＩ（Graphical User Interface）を提示する技術が開示されている。
特開２０１９－１３９６７３号公報
　ＶＲ体験においては、ＧＵＩではなくＮＵＩ（Natural User Interface）が提供されることが望ましい。例えば、実空間におけるユーザの前後の移動が、仮想空間内のオブジェクトのズーム制御に反映されることが望ましい。
　ＶＲ体験において、例えば全天球画像などの二次元画像を三次元的に投影する場合、ユーザの視点（頭部）の回転を反映した３ＤｏＦ（Degrees of Freedom）の視聴体験が提供される。しかしながら、三次元的に投影された二次元画像では、６ＤｏＦのようにユーザの視点の前後、左右、上下の並進移動は反映されないため、ユーザに違和感を与えるおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、三次元的に投影された二次元画像を視聴するユーザにより自然な視聴体験を提供できるようにするものである。
　本開示の情報処理装置は、ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像の表示を制御する制御部を備え、前記制御部は、前記ユーザの注目領域となる前記オブジェクトの前記距離情報に基づいて、実空間における前記視点位置の移動量に応じた前記二次元画像の表示倍率を制御する情報処理装置である。
　本開示の情報処理方法は、情報処理装置が、ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像の表示を制御し、前記ユーザの注目領域がある前記オブジェクトの前記距離情報に基づいて、実空間における前記視点位置の移動量に応じた前記二次元画像の表示倍率を制御する情報処理方法である。
　本開示の記録媒体は、ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像の表示を制御し、前記ユーザの注目領域がある前記オブジェクトの前記距離情報に基づいて、実空間における前記視点位置の移動量に応じた前記二次元画像の表示倍率を制御する処理を実行させるためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
　本開示においては、ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像の表示が制御され、前記ユーザの注目領域がある前記オブジェクトの前記距離情報に基づいて、実空間における前記視点位置の移動量に応じた前記二次元画像の表示倍率が制御される。
本開示に係る技術による二次元画像の提示について説明する図である。 本開示に係る技術による二次元画像の提示について説明する図である。 本開示に係る技術による二次元画像の提示について説明する図である。 本開示に係る技術を適用した画像提示システムの構成例を示す図である。 現実世界での像の見え方について説明する図である。 全天球画像での像の見え方について説明する図である。 本実施の形態に係るＨＭＤの外観構成を示す図である。 ＨＭＤのハードウェア構成例を示すブロック図である。 ＨＭＤの機能構成例を示すブロック図である。 全天球画像の第１の表示処理について説明するフローチャートである。 全天球画像の半径の変化について説明する図である。 第１の表示処理の課題について説明する図である。 全天球画像の第２の表示処理について説明するフローチャートである。 全天球画像の中心位置の移動について説明する図である。 期待される全天球画像の中心位置の移動について説明する図である。 第２の表示処理の課題について説明する図である。 全天球画像の第３の表示処理について説明するフローチャートである。 全天球画像の第３の表示処理について説明するフローチャートである。 視点位置による全天球画像の中心位置の移動について説明する図である。 コンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．本開示に係る技術の概要
　２．全天球画像の提示とその課題
　３．ＨＭＤの構成
　４．全天球画像の第１の表示例
　５．全天球画像の第２の表示例
　６．全天球画像の第３の表示例
　７．コンピュータの構成例
＜１．本開示に係る技術の概要＞
（二次元画像の提示）
　本開示に係る技術（本技術）を適用した画像提示システムは、ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像を表示する。
　例えば、図１に示されるように、ユーザ１０の視点位置Ｕを原点としたｘｙｚ座標系において、ユーザ１０の視点位置Ｕから所定距離だけ離れた位置に、二次元画像２０が表示される。二次元画像２０は、ＣＧ（Computer Graphics）データからなる三次元画像ではなく、例えば、現実世界を撮影することで得られた二次元データが三次元的に投影された画像である。
　二次元画像２０には、第１のオブジェクト２１と第２のオブジェクト２２が含まれている。オブジェクト２１とオブジェクト２２は、それぞれ距離情報を有している。距離情報は、例えば、二次元画像２０の撮影時のカメラとオブジェクト２１，２２それぞれとの現実世界の距離（実距離）に対応する。図１の例では、オブジェクト２２は、現実世界ではオブジェクト２１より遠い位置に存在し、二次元画像２０ではオブジェクト２１より大きい距離情報を有しているものとする。
　本技術を適用した画像提示システムにおいては、ユーザ１０の視線の先にあるオブジェクトの距離情報に基づいて、実空間におけるユーザ１０の視点位置Ｕの移動量に応じた二次元画像２０の表示倍率が制御される。具体的には、ユーザ１０の視線が、図１の矢印＃１で示されるようにオブジェクト２１にある場合と、矢印＃２で示されるようにオブジェクト２２にある場合とで、ユーザ１０の視点位置Ｕの移動量に応じた二次元画像２０の表示倍率の変化量を異ならせる。
　例えば、ユーザ１０の視線がオブジェクト２１にある場合、図２に示されるように、視点位置Ｕが二次元画像２０に近づいた分だけ、二次元画像２０が拡大して表示される。
　一方で、ユーザ１０の視線がオブジェクト２２にある場合、図３に示されるように、視点位置Ｕが二次元画像２０に近づいた分だけ、二次元画像２０が拡大して表示されるが、その表示倍率の変化量は、図２の例より小さくなる。
　現実世界においては、ユーザが一定距離だけ前に移動した場合、近くにあるオブジェクトほど大きく見えるが、遠くにあるオブジェクトの見え方はさほど変化しない。
　本技術を適用した画像提示システムにおいては、ユーザ１０の視線の先にあるオブジェクトの距離情報が小さいほど、視点位置Ｕの移動量に対応する二次元画像２０の表示倍率の変化量が大きくなる。一方、ユーザ１０の視線の先にあるオブジェクトの距離情報が大きいほど、視点位置Ｕの移動量に対応する二次元画像２０の表示倍率の変化量が小さくなる。これにより、二次元画像２０を視聴するユーザ１０に、現実世界に近いより自然な視聴体験を提供することができる。
（画像提示システムの構成例）
　図４は、上述した画像提示を実現する画像提示システムの構成例を示すブロック図である。
　図４の画像提示システムは、情報処理装置５０と表示装置６０から構成される。
　情報処理装置５０は、例えばＰＣ（Personal Computer）などとして構成される。情報処理装置５０は、撮影により得られた二次元画像を三次元的に投影する表示装置６０に供給する。表示装置６０は、例えば、ユーザの頭部に装着されるＨＭＤとして構成され、非透過型の表示部を備える。その表示部には、二次元画像が表示される。
　情報処理装置５０は、制御部５１と記憶部５２を備えている。
　制御部５１は、ユーザの視点位置を基準とする三次元座標系において、記憶部５２に記憶されている二次元画像の表示装置６０における表示を制御する。記憶部５２には、距離情報を有する複数のオブジェクトを含む二次元画像が記憶されている。制御部５１は、表示装置６０において表示される二次元画像においてユーザの注目している領域（注目領域）となるオブジェクトの距離情報に基づいて、実空間におけるユーザの視点位置の移動量に応じた二次元画像の表示倍率を制御する。
　なお、図４においては、情報処理装置５０は、表示装置６０と別個に構成されているが、表示装置６０と一体で構成されてもよい。
　図４の画像提示システムにおいては、二次元画像として、全天球画像が提示されるものとするが、これに限らず、例えば１８０度の半天球画像が提示されてもよい。
＜２．全天球画像の提示とその課題＞
　全天球画像は、視点位置と提示面の位置関係を固定することによって、３６０度カメラにより撮影された３６０度画像を再現するものである。全天球画像は、それを視聴するユーザが頭部を動かした場合であっても、頭部の移動に追従して提示される必要がある。しかしながら、ユーザが、全天球画像の視聴時に、画像中のオブジェクトに近づいたり、覗き込んだりするなどして頭部を動かした場合、全天球画像の位置は固定されているため、その見え方は、現実世界でユーザが頭部を動かしたときの見え方と一致しない。
　例えば、図５左側に示されるように、ユーザ１０が、現実世界の視野７０の中で、木７１と家７２を見ているものとする。ユーザ１０と木７１との距離は１ｍ、ユーザ１０と家７２との距離は３ｍである。
　図５左側の状態から、ユーザ１０が０．５ｍだけ前方に移動した場合、図５右側に示されるように、ユーザ１０と木７１との距離は０．５ｍ、ユーザ１０と家７２との距離は２．５ｍとなる。このとき、ユーザ１０の視野７０の中では、近くのオブジェクト（木７１）は、少し近づくだけで大きく見える一方、遠くのオブジェクト（家７２）は、多少近づいても見え方はさほど変化しない。このように、現実世界での見え方は、近くのオブジェクトほど距離の変化の影響を受ける。
　一方、図６左側に示されるように、ユーザ１０が、全天球画像の視聴領域８０の中で、木７１と家７２を見ているものとする。ユーザ１０と視聴領域８０との距離（全天球画像の半径）は１ｍである。
　図６左側の状態から、ユーザ１０が０．５ｍだけ前方に移動した場合、図６右側に示されるように、ユーザ１０と視聴領域８０との距離は０．５ｍとなる。このとき、ユーザ１０の視聴領域８０の中では、近くのオブジェクト（木７１）は、少し近づくだけで大きく見え、遠くのオブジェクト（家７２）も、少し近づくだけで大きく見える。このように、全天球画像での見え方は、全てのオブジェクトが同等に距離の変化の影響を受ける。
　全天球画像の位置を固定してユーザの頭部を動かした場合の視聴領域の見え方（像の大きさや位置）は、視点位置と提示面との距離によって変化する。例えば、全天球画像の撮影時のカメラとオブジェクトとの実距離が、全天球画像の半径と一致している場合には、現実世界で頭部を動かした時の見え方と一致する。一方で、全天球画像には、カメラとの実距離が異なる様々なオブジェクトが映り込んでいる。そのため、全天球画像の半径を特定のオブジェクトの実距離に合わせた場合、他のオブジェクトの実距離とは合わなくなり、ユーザに違和感を与えるおそれがあった。
　そこで、以下においては、全天球画像におけるユーザの注目領域となるオブジェクトの距離情報に基づいて、全天球画像の半径を変化させることで、ユーザの視点位置（頭部）の移動量に応じた全天球画像の表示倍率を制御する構成について説明する。
＜３．ＨＭＤの構成＞
（外観構成）
　図７は、本実施の形態に係るＨＭＤの外観構成を示す図である。
　図７には、ユーザ１０の頭部に装着されているＨＭＤ１００が示されている。
　ＨＭＤ１００は、全天球画像を表示可能な表示装置として構成され、非透過型のディスプレイを備える。ディスプレイには、全天球画像１１０が表示される。
　全天球画像１１０内でのユーザ１０の視野（視聴領域）は、ＨＭＤ１００を頭部に装着したユーザ１０が、頭部の向きを変えることで移動する。
（ハードウェア構成例）
　図８は、本実施の形態に係るＨＭＤ１００のハードウェア構成例を示すブロック図である。
　図８のＨＭＤ１００は、ＣＰＵ（Central Processor Unit）１２１、メモリ１２２、センサ部１２３、入力部１２４、出力部１２５、および通信部１２６を備えている。これらは、バス１２７を介して相互に接続されている。
　ＣＰＵ１２１は、メモリ１２２に記憶されているプログラムやデータなどに従って、ＨＭＤ１００が備える各種の機能を実現するための処理を実行する。
　メモリ１２２は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、ＣＰＵ１２１による処理のためのプログラムやデータを格納する。
　センサ部１２３は、イメージセンサ、マイクロフォン、ジャイロセンサ、加速度センサなどの各種のセンサ類から構成される。センサ部１２３により取得された各種のセンサ情報もまた、ＣＰＵ１２１による処理に用いられる。
　入力部１２４は、ボタンやキー、タッチパネルなどから構成される。出力部１２５は、上述したディスプレイやスピーカなどから構成される。通信部１２６は、各種の通信を仲介する通信インタフェースとして構成される。
（機能構成例）
　図９は、ＨＭＤ１００の機能構成例を示すブロック図である。
　図９のＨＭＤ１００は、制御部１５０、センサ部１６０、記憶部１７０、および表示部１８０を備えている。センサ部１６０、記憶部１７０、および表示部１８０は、それぞれ図８のセンサ部１２３、メモリ１２２、出力部１２５を構成するディスプレイに対応する。
　制御部１５０は、視点位置・視線方向取得部１５１、頭部位置姿勢取得部１５２、半径設定部１５３、注目領域設定部１５４、および表示制御部１５５を備える。制御部１５０が備える機能ブロックは、図８のＣＰＵ１２１が所定のプログラムを実行することで実現される。
　視点位置・視線方向取得部１５１は、センサ部１６０によりセンシングされた実空間におけるユーザ１０の視点位置と視線方向に基づいて、仮想空間におけるユーザ１０の視点位置と視線方向を取得し、半径設定部１５３と注目領域設定部１５４に供給する。
　頭部位置姿勢取得部１５２は、センサ部１６０によりセンシングされた実空間におけるユーザ１０の頭部の位置と姿勢に基づいて、仮想空間におけるユーザ１０の頭部の位置と姿勢を取得し、注目領域設定部１５４に供給する。
　半径設定部１５３は、視点位置・視線方向取得部１５１により取得されたユーザ１０の視点位置に基づいて、記憶部１７０に記憶されている全天球画像の半径を設定する。半径が設定された全天球画像は、注目領域設定部１５４と表示制御部１５５に供給される。
　記憶部１７０には、全天球画像１７１が記憶されている。全天球画像１７１は、距離情報１７１ａを有する複数のオブジェクトを含んでいる。距離情報１７１ａは、全天球画像の撮影時に取得されたデプスデータなどとされる。
　注目領域設定部１５４は、視点位置・視線方向取得部１５１により取得されたユーザ１０の視線方向に基づいて、半径設定部１５３によって半径が設定された全天球画像におけるユーザ１０の注目領域を設定する。設定された注目領域は、半径設定部１５３に供給される。半径設定部１５３は、全天球画像において、注目領域設定部１５４により設定された注目領域となるオブジェクトの距離情報に基づいて、全天球画像の半径を設定する。
　表示制御部１５５は、半径設定部１５３によって半径が設定された全天球画像を、表示部１８０に表示させる。
　以下、ＨＭＤ１００における全天球画像の表示例について説明する。
＜４．全天球画像の第１の表示例＞
（第１の表示処理）
　まず、図１０のフローチャートを参照して、全天球画像の第１の表示処理について説明する。図１０の処理は、ＨＭＤ１００を頭部に装着しているユーザ１０が、全天球画像の視聴を開始すると実行される。
　ステップＳ１１において、視点位置・視線方向取得部１５１は、図１１のＡ図に示されるように、仮想空間におけるユーザ１０の視点位置Ｕと視線方向Ｖを取得する。
　ユーザ１０の視点位置Ｕは、実空間におけるＨＭＤ１００の位置であってもよいし、ＨＭＤ１００が備える両眼用レンズの中間の位置であってもよい。また、ユーザ１０の両眼の眼球位置が推定される場合には、両眼の眼球位置の中間の位置であってもよい。
　ユーザ１０の視線方向Ｖは、ＨＭＤ１００に内蔵された視線検出デバイスにより得られたユーザ１０の両眼の視線方向の中央値であってもよいし、片眼の視線方向しか得られない場合には、その片眼の視線方向であってもよい。また、頭部位置姿勢取得部１５２により取得されたユーザ１０の頭部の位置と姿勢から推定されるユーザ１０の顔の向きが、ユーザ１０の視線方向Ｖとされてもよい。さらに、ユーザ１０が操作するＶＲコントローラなどのポインティングデバイスから入力された方向を、ユーザ１０の視線方向Ｖとしてもよい。
　ステップＳ１２において、半径設定部１５３は、図１１のＡ図に示されるように、ユーザ１０の視点位置Ｕを中心位置Ｐとして全天球画像の半径ｒを設定することで、全天球画像を視聴可能なサイズにする。言い換えると、提示が開始される時の全天球画像のサイズは、ユーザ１０が視聴不可能なサイズでなければよい。視聴不可能なサイズは、例えば、全天球画像の直径がユーザ１０の両眼間の距離未満となるサイズ、全天球画像の半径がビュークリッピングの範囲外やＨＭＤ１００の最短提示距離未満となるサイズなどがある。
　ステップＳ１３において、注目領域設定部１５４は、図１１のＢ図に示されるように、ユーザ１０の視線方向Ｖと全天球画像の交点から、全天球画像上の注目領域Ａを設定する。
　注目領域Ａは、視線方向Ｖと全天球画像の交点であってもよいし、その交点を含むオブジェクトが映るオブジェクト領域であってもよい。オブジェクト領域は、セマンティックセグメンテーションや視覚的顕著性マップなどを用いて、全天球画像上のオブジェクトが特定されることで求められる。また、オブジェクト領域は、セマンティックセグメンテーションなどを用いて、全天球画像上のデプスデータが取得されることで求められてもよい。
　また、全天球画像内に仮想物が配置されるようにした場合、ユーザ１０の視線方向Ｖが、全天球画像上のオブジェクトではなく、全天球画像内に配置された仮想物と交わったときには、その仮想物の表示領域が注目領域Ａに設定されてもよい。
　さらに、両眼の輻輳角を取得するようにした場合、視線方向Ｖと輻輳角に基づいて、奥行きを含む探索領域が設定され、その探索領域の近傍の領域が注目領域Ａに設定されてもよい。
　ステップＳ１４において、半径設定部１５３は、記憶部１７０に記憶されている距離情報１７１ａに基づいて、図１１のＢ図に示されるように、注目領域Ａに映るオブジェクトの撮影時のカメラとの実距離ｄを取得する。
　注目領域Ａに対応する距離情報が一様な場合、その距離情報が実距離ｄとされる。
　注目領域Ａに対応する距離情報が複数存在する場合には、注目領域Ａ内の特定の点に対応する距離情報が実距離ｄとされる。特定の点は、注目領域Ａの中心や、注目領域Ａの中で最もカメラに近い点、最も顕著性や誘目性の高い点などとされる。また、注目領域Ａに対応する距離情報の平均値や、顕著性などで重み付けされた加重平均値が実距離ｄとされてもよい。
　また、注目領域Ａに対応する距離情報が存在しない場合には、近傍の領域の距離情報が取得されてもよいし、ユーザ１０の両眼の視線方向と輻輳角に基づいて推定された奥行き情報が距離情報として取得されてもよい。
　ステップＳ１５において、半径設定部１５３は、図１１のＣ図に示されるように、視点位置Ｕを中心として、全天球画像の半径ｒを実距離ｄに一致させるように、全天球画像のサイズを変化させる。例えば、注目領域Ａとなるオブジェクトの距離情報が大きいほど、全天球画像の半径ｒが大きくなる。図１１のＣ図の例では、全天球画像が拡大しているが、取得された実距離ｄに応じて全天球画像が縮小するように、全天球画像の半径ｒを変化させてもよい。
　全天球画像の半径ｒを変化させるタイミングは、注目領域Ａが変化した（ユーザ１０の視線が動いた）タイミングでもよいし、実空間においてユーザ１０の頭部（視点位置）が動いたタイミングでもよい。また、ＶＲコントローラなどによって仮想カメラの位置制御を行う構成においては、仮想カメラが動いたタイミングで、全天球画像の半径ｒを変化させてもよい。
　全天球画像のサイズの変化（拡大または縮小）やユーザ１０の移動によって、ユーザ１０の視点位置Ｕが全天球画像外に出てしまう場合、仮想カメラの位置に連動して全天球画像を移動させることで、ユーザ１０の視点位置Ｕが全天球画像内に収まるようにしてもよい。この場合、全天球画像内の透過度を上げる、明度を下げるなどすることで、全天球画像が見えないようにしてもよい。
　なお、注目領域Ａに対応する距離情報が存在しない場合には、全天球画像の半径ｒを変化させないようにもできる。
　さて、ステップＳ１５において、全天球画像の半径ｒが変化させられると、ステップＳ１６において、ユーザ１０が全天球画像の視聴を終了するか否かが判定される。ユーザ１０が全天球画像の視聴を終了しないと判定された場合、処理はステップＳ１７に進む。
　ステップＳ１７において、視点位置・視線方向取得部１５１は、図１１のＡ図に示されるように、仮想空間におけるユーザ１０の視点位置Ｕと視線方向Ｖを更新する（新たに取得する）。その後、処理はステップＳ１３に戻り、これ以降の処理が繰り返される。
　一方、ステップＳ１６において、ユーザ１０が全天球画像の視聴を終了すると判定された場合、全天球画像の表示処理が終了する。
　以上の処理によれば、ユーザが全天球画像の視聴中に頭部を動かした場合であっても、注目領域の見え方（像の大きさや位置）の変化が、全天球画像から知覚される距離に即したものとなり、現実世界で頭部を動かした時の見え方と一致するようになる。これにより、ユーザに違和感を与えることなく、全天球画像を視聴するユーザにより自然な視聴体験を提供することが可能となる。
（第１の表示処理の課題）
　上述した第１の表示処理においては、図１２のＡ図に示されるように、ユーザ１０の視点位置Ｕを中心位置Ｐとして全天球画像が提示される。
　しかしながら、図１２のＢ図に示されるように、ユーザ１０の頭部の移動によってユーザ１０の視点位置Ｕが移動した状態で、全天球画像のサイズを変化させた場合、全天球画像におけるユーザ１０の視聴領域が変化してしまう。
　具体的には、図１２のＣ図に示されるように、ユーザ１０の視点位置Ｕが移動した場合に、全天球画像の半径ｒを実距離ｄに一致させるように全天球画像を拡大したとき、図中の点線で示される拡大後の視聴領域には、拡大前の視聴領域とは異なる画像が映ってしまう。
＜５．全天球画像の第２の表示例＞
（第２の表示処理）
　ここで、図１３のフローチャートを参照して、視点位置が全天球画像の中心位置から移動した場合、ユーザの視聴領域が、視点位置の移動前と移動後とで同じになるように、全天球画像の半径を変化させる全天球画像の第２の表示処理について説明する。図１３の処理もまた、ＨＭＤ１００を頭部に装着しているユーザ１０が、全天球画像の視聴を開始すると実行される。
　なお、図１３のフローチャートのステップＳ２１乃至Ｓ２４，Ｓ２６，Ｓ２７の処理は、図１０のフローチャートのステップＳ１１乃至Ｓ１４，Ｓ１６，Ｓ１７の処理とそれぞれ同様であるので、その説明は省略する。
　すなわち、ステップＳ２４において、注目領域Ａに映るオブジェクトの撮影時のカメラとの実距離ｄが取得された後、ステップＳ２５において、半径設定部１５３は、全天球画像の中心位置を移動させて、全天球画像の半径ｒを実距離ｄに一致させる。
　具体的には、図１４に示されるように、拡大前の全天球画像の中心位置Ｐ’、拡大後の全天球画像の中心位置Ｐ、ユーザ１０の視点位置Ｕとしたときに、半径設定部１５３は、ＰＵ＝ｄ／ｒＰ’Ｕとなるように、全天球画像の半径ｒを実距離ｄに一致させる。ここで、ＰＵは、ＰからＵまでの距離（ベクトル）を表し、Ｐ’Ｕは、Ｐ’からＵまでの距離（ベクトル）を表す。
　例えば、ユーザ１０の視点位置Ｕを基準として、視点位置Ｕから全天球画像上の全ての点までの距離をｄ／ｒ倍する。これにより、拡大後の全天球画像の中心位置Ｐが、視点位置Ｕから拡大前の全天球画像の中心位置Ｐ’までの距離をｄ／ｒ倍した位置に移動する。結果として、ＰＵ＝ｄ／ｒＰ’Ｕとなる。
　また、拡大前の全天球画像の中心位置Ｐ’と、ユーザ１０の視点位置Ｕを用いて、ＰＵ＝ｄ／ｒＰ’ＵからＰＵを求める。そして、拡大前の全天球画像の中心位置Ｐ’を、ユーザ１０の視点位置Ｕを基準とした位置Ｕ－ＰＵに移動させるとともに、全天球画像の半径ｒを実距離ｄに変化させる。
　以上においては、全天球画像が拡大される例について説明したが、全天球画像が縮小される場合も同様にして、全天球画像の中心位置が移動され、全天球画像の半径が変化させられる。
　以上の処理によれば、ユーザ１０の視点位置Ｕが移動した場合であっても、移動後の視点位置Ｕを基準として全天球画像のサイズを変化させるので、図１４にも示されるように、全天球画像におけるユーザ１０の視聴領域を変化させないようにできる。これにより、ユーザに違和感を与えることなく、全天球画像を視聴するユーザにより自然な視聴体験を提供することが可能となる。
（第２の表示処理の課題）
　図１５に示されるように、全天球画像の視聴中に、ユーザ１０の視点位置Ｕが移動した場合であっても、同距離の逆向きの移動によって視点位置Ｕが元の位置に戻ることにより、移動前と同じ全天球画像を視聴できることが望ましい。
　しかしながら、上述した第２の表示処理においては、図１６のＡ図に示されるように、ユーザ１０の視点位置Ｕが移動した状態で、全天球画像のサイズを変化させた場合、同Ｂ図に示されるように、全天球画像の中心位置がＰ’からＰへ移動してしまう。
　この状態から、図１６のＣ図に示されるように、ユーザ１０の視点位置Ｕが、拡大前の全天球画像の中心位置Ｐ’に戻ったとしても、ユーザ１０は、移動前と同じ全天球画像を視聴することができない。
＜６．全天球画像の第３の表示例＞
　ここで、図１７および図１８のフローチャートを参照して、視点位置が移動前の全天球画像の中心位置に向かって移動する場合、半径を変化させた後の全天球画像の中心位置を、移動前の全天球画像の中心位置に移動させる全天球画像の第３の表示処理について説明する。図１７および図１８の処理もまた、ＨＭＤ１００を頭部に装着しているユーザ１０が、全天球画像の視聴を開始すると実行される。
　なお、図１７および図１８のフローチャートのステップＳ３１，Ｓ３２，Ｓ３４乃至Ｓ３６，Ｓ３９，Ｓ４０の処理は、図１３のフローチャートのステップＳ２１乃至Ｓ２７の処理とそれぞれ同様であるので、その説明は省略する。
　すなわち、ステップＳ３２において、ユーザ１０の視点位置Ｕを中心位置Ｐとして全天球画像の半径ｒが設定された後、ステップＳ３３において、半径設定部１５３は、全天球画像の中心位置Ｐを、拡大前の中心位置Ｐ’として保持する。
　その後、ステップＳ３６において、全天球画像の中心位置Ｐが移動して、全天球画像の半径ｒが実距離ｄに変化した後、ステップＳ３７において、半径設定部１５３は、ユーザ１０の視点位置Ｕが拡大前の中心位置Ｐ’に向かって移動しているか否かを判定する。
　例えば、ユーザ１０の視点位置Ｕと拡大前の中心位置Ｐ’との距離の単位時間あたりの変化量が所定量以上である場合に、視点位置Ｕが中心位置Ｐ’に向かって移動していると判定される。また、ユーザ１０の視点位置Ｕと拡大前の中心位置Ｐ’との距離が所定距離以下になった場合に、視点位置Ｕが中心位置Ｐ’に向かって移動していると判定されてもよい。さらに、ユーザ１０の顔の向きと、ユーザ１０の視点位置Ｕの移動量および移動方向に基づいて、機械学習を用いたジェスチャ判定により頭を引く動作が検知された場合に、視点位置Ｕが中心位置Ｐ’に向かって移動していると判定されてもよい。
　図１９に示されるように、視点位置Ｕが中心位置Ｐ’に向かって移動していると判定された場合、処理はステップＳ３８に進み、半径設定部１５３は、全天球画像の中心位置Ｐを拡大前の中心位置Ｐ’に移動させる。
　全天球画像の中心位置の移動においては、その移動速度が制御されてもよい。例えば、全天球画像の中心位置が、あらかじめ決められた一定の速度で移動してもよいし、移動開始時や終了時にはゆっくり移動するなど、移動中に速度が変化してもよい。さらに、ユーザ１０の頭部の移動速度に応じた速度で、全天球画像の中心位置が移動してもよい。
　また、ユーザ１０の視点位置Ｕに応じて、全天球画像の中心位置が移動してもよい。例えば、視点位置Ｕが拡大前の中心位置Ｐ’に近づくほど、拡大後の中心位置Ｐが拡大前の中心位置Ｐ’に近づくようにしてもよい。具体的には、視点位置Ｕと拡大前の中心位置Ｐ’との距離が半分になると、拡大後の中心位置Ｐと拡大前の中心位置Ｐ’との距離も半分になるなど、視点位置Ｕと拡大前の中心位置Ｐ’との距離と同じ割合で、拡大後の中心位置Ｐと拡大前の中心位置Ｐ’との距離を変化させてもよい。また、視点位置Ｕと拡大前の中心位置Ｐ’との距離に対して重み付けすることで、視点位置Ｕが拡大前の中心位置Ｐ’に近づくほど、拡大後の中心位置Ｐの移動量を大きくしてもよい。
　一方、ステップＳ３７において、視点位置Ｕが中心位置Ｐ’に向かって移動していないと判定された場合、処理はステップＳ４０に進み、ユーザ１０の視点位置Ｕと視線方向Ｖが更新された後、処理はステップＳ３４に戻る。
　以上の処理によれば、ユーザ１０の視点位置Ｕが移動した場合に生じる、全天球画像の中心位置のずれが蓄積されるのを回避することができる。これにより、ユーザ１０の視点位置Ｕが、拡大前の全天球画像の中心位置Ｐ’に戻ったときに、ユーザ１０は、移動前と同じ全天球画像を視聴することが可能となる。
＜７．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、およびドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５およびバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示は以下のような構成をとることができる。
（１）
　ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像の表示を制御する制御部
　を備え、
　前記制御部は、前記ユーザの注目領域となる前記オブジェクトの前記距離情報に基づいて、実空間における前記視点位置の移動量に応じた前記二次元画像の表示倍率を制御する
　情報処理装置。
（２）
　第１のオブジェクトと第２のオブジェクトは異なる前記距離情報を有し、
　前記制御部は、前記注目領域が前記第１のオブジェクトである場合と、前記注目領域が前記第２のオブジェクトである場合とで、前記表示倍率の変化量を異ならせる
　（１）に記載の情報処理装置。
（３）
　前記制御部は、前記第２のオブジェクトが、前記第１のオブジェクトより大きい前記距離情報を有している場合において、前記注目領域が前記第２のオブジェクトであるとき、前記注目領域が前記第１のオブジェクトである場合と比べて、前記表示倍率の前記変化量を小さくする
　（２）に記載の情報処理装置。
（４）
　前記二次元画像は、全天球画像であり、
　前記制御部は、前記注目領域となる前記オブジェクトの前記距離情報に基づいて、前記全天球画像の半径を変化させることで、前記視点位置の移動量に応じた前記全天球画像の前記表示倍率を制御する
　（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記距離情報は、前記全天球画像の撮影時のカメラと前記オブジェクトとの実距離であり、
　前記制御部は、前記全天球画像の半径を、前記注目領域がある前記オブジェクトとの前記実距離に一致させる
　（４）に記載の情報処理装置。
（６）
　前記制御部は、前記視点位置を中心として、前記全天球画像の半径を変化させる
　（５）に記載の情報処理装置。
（７）
　前記制御部は、前記視点位置が前記全天球画像の中心位置から移動した場合、前記ユーザの視聴領域が、前記視点位置の移動前と移動後とで同じになるように、前記全天球画像の半径を変化させる
　（６）に記載の情報処理装置。
（８）
　前記制御部は、移動後の前記視点位置に基づいて前記全天球画像の中心位置を移動させて、前記全天球画像の半径を変化させる
　（７）に記載の情報処理装置。
（９）
　前記制御部は、前記視点位置が移動前の前記全天球画像の中心位置に向かって移動する場合、半径を変化させた後の前記全天球画像の中心位置を、移動前の前記全天球画像の中心位置に移動させる
　（８）に記載の情報処理装置。
（１０）
　前記制御部は、前記ユーザの視線方向と前記二次元画像との交点に基づいて、前記注目領域を設定する
　（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記制御部は、前記二次元画像において、前記交点を含む前記オブジェクトが映る領域を前記注目領域として設定する
　（１０）に記載の情報処理装置。
（１２）
　前記制御部は、前記注目領域が変化したタイミングで、前記二次元画像の前記表示倍率を変化させる
　（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記制御部は、前記実空間において前記視点位置が変化したタイミングで、前記二次元画像の前記表示倍率を変化させる
　（１）乃至（１１）のいずれかに記載の情報処理装置。
（１４）
　前記制御部は、前記ユーザの頭部に装着されたＨＭＤ（Head Mounted Display）に前記二次元画像を表示させる
　（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記視点位置は、前記ＨＭＤの位置である
　（１４）に記載の情報処理装置。
（１６）
　前記視点位置は、前記ＨＭＤが有するレンズの位置に基づいた位置である
　（１４）に記載の情報処理装置。
（１７）
　情報処理装置が、
　ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像の表示を制御し、
　前記ユーザの注目領域がある前記オブジェクトの前記距離情報に基づいて、実空間における前記視点位置の移動量に応じた前記二次元画像の表示倍率を制御する
　情報処理方法。
（１８）
　ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像の表示を制御し、
　前記ユーザの注目領域がある前記オブジェクトの前記距離情報に基づいて、実空間における前記視点位置の移動量に応じた前記二次元画像の表示倍率を制御する
　処理を実行させるためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
　５０　情報処理装置，　５１　制御部，　５２　記憶部，　６０　表示装置，　１００　ＨＭＤ，　１２１　ＣＰＵ，　１２２　メモリ，　１２３　センサ部，　１２４　入力部，　１２５　出力部，　１２６　通信部，　１５０　制御部，　１６０　センサ部，　１７０　記憶部，　１８０　表示部，　１５１　視線位置・視線方向取得部，　１５２　頭部位置姿勢取得部，　１５３　半径設定部，　１５４　注目領域設定部，　１５５　表示制御部，　１７１　全天球画像，　１７１ａ　距離情報

Claims (18)

  1. 　ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像の表示を制御する制御部
    　を備え、
    　前記制御部は、前記ユーザの注目領域となる前記オブジェクトの前記距離情報に基づいて、実空間における前記視点位置の移動量に応じた前記二次元画像の表示倍率を制御する
    　情報処理装置。
  2. 　第１のオブジェクトと第２のオブジェクトは異なる前記距離情報を有し、
    　前記制御部は、前記注目領域が前記第１のオブジェクトである場合と、前記注目領域が前記第２のオブジェクトである場合とで、前記表示倍率の変化量を異ならせる
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記第２のオブジェクトが、前記第１のオブジェクトより大きい前記距離情報を有している場合において、前記注目領域が前記第２のオブジェクトであるとき、前記注目領域が前記第１のオブジェクトである場合と比べて、前記表示倍率の前記変化量を小さくする
    　請求項２に記載の情報処理装置。
  4. 　前記二次元画像は、全天球画像であり、
    　前記制御部は、前記注目領域となる前記オブジェクトの前記距離情報に基づいて、前記全天球画像の半径を変化させることで、前記視点位置の移動量に応じた前記全天球画像の前記表示倍率を制御する
    　請求項１に記載の情報処理装置。
  5. 　前記距離情報は、前記全天球画像の撮影時のカメラと前記オブジェクトとの実距離であり、
    　前記制御部は、前記全天球画像の半径を、前記注目領域がある前記オブジェクトとの前記実距離に一致させる
    　請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記視点位置を中心として、前記全天球画像の半径を変化させる
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記視点位置が前記全天球画像の中心位置から移動した場合、前記ユーザの視聴領域が、前記視点位置の移動前と移動後とで同じになるように、前記全天球画像の半径を変化させる
    　請求項６に記載の情報処理装置。
  8. 　前記制御部は、移動後の前記視点位置に基づいて前記全天球画像の中心位置を移動させて、前記全天球画像の半径を変化させる
    　請求項７に記載の情報処理装置。
  9. 　前記制御部は、前記視点位置が移動前の前記全天球画像の中心位置に向かって移動する場合、半径を変化させた後の前記全天球画像の中心位置を、移動前の前記全天球画像の中心位置に移動させる
    　請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記ユーザの視線方向と前記二次元画像との交点に基づいて、前記注目領域を設定する
    　請求項１に記載の情報処理装置。
  11. 　前記制御部は、前記二次元画像において、前記交点を含む前記オブジェクトが映る領域を前記注目領域として設定する
    　請求項１０に記載の情報処理装置。
  12. 　前記制御部は、前記注目領域が変化したタイミングで、前記二次元画像の前記表示倍率を変化させる
    　請求項１に記載の情報処理装置。
  13. 　前記制御部は、前記実空間において前記視点位置が変化したタイミングで、前記二次元画像の前記表示倍率を変化させる
    　請求項１に記載の情報処理装置。
  14. 　前記制御部は、前記ユーザの頭部に装着されたＨＭＤ（Head Mounted Display）に前記二次元画像を表示させる
    　請求項１に記載の情報処理装置。
  15. 　前記視点位置は、前記ＨＭＤの位置である
    　請求項１４に記載の情報処理装置。
  16. 　前記視点位置は、前記ＨＭＤが有するレンズの位置に基づいた位置である
    　請求項１４に記載の情報処理装置。
  17. 　情報処理装置が、
    　ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像の表示を制御し、
    　前記ユーザの注目領域がある前記オブジェクトの前記距離情報に基づいて、実空間における前記視点位置の移動量に応じた前記二次元画像の表示倍率を制御する
    　情報処理方法。
  18. 　ユーザの視点位置を基準とする三次元座標系において、距離情報を有する複数のオブジェクトを含む二次元画像の表示を制御し、
    　前記ユーザの注目領域がある前記オブジェクトの前記距離情報に基づいて、実空間における前記視点位置の移動量に応じた前記二次元画像の表示倍率を制御する
    　処理を実行させるためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
PCT/JP2020/045173 2019-12-19 2020-12-04 情報処理装置、情報処理方法、および記録媒体 WO2021124920A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20901821.7A EP4080463A4 (en) 2019-12-19 2020-12-04 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM
CN202080085282.3A CN114787874A (zh) 2019-12-19 2020-12-04 信息处理装置、信息处理方法和记录介质
US17/778,260 US20230005101A1 (en) 2019-12-19 2020-12-04 Information processing apparatus, information processing method, and recording medium
JP2021565468A JPWO2021124920A1 (ja) 2019-12-19 2020-12-04
US18/616,856 US20240242307A1 (en) 2019-12-19 2024-03-26 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019229315 2019-12-19
JP2019-229315 2019-12-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/778,260 A-371-Of-International US20230005101A1 (en) 2019-12-19 2020-12-04 Information processing apparatus, information processing method, and recording medium
US18/616,856 Continuation US20240242307A1 (en) 2019-12-19 2024-03-26 Information processing apparatus, information processing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2021124920A1 true WO2021124920A1 (ja) 2021-06-24

Family

ID=76477306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045173 WO2021124920A1 (ja) 2019-12-19 2020-12-04 情報処理装置、情報処理方法、および記録媒体

Country Status (5)

Country Link
US (2) US20230005101A1 (ja)
EP (1) EP4080463A4 (ja)
JP (1) JPWO2021124920A1 (ja)
CN (1) CN114787874A (ja)
WO (1) WO2021124920A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053796A1 (ja) * 2021-09-30 2023-04-06 株式会社Ｎｔｔドコモ 仮想空間提供装置
JP2023096844A (ja) * 2021-12-27 2023-07-07 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP2018110375A (ja) * 2016-12-28 2018-07-12 株式会社リコー 表示装置、プログラム、表示方法
JP2019121224A (ja) * 2018-01-09 2019-07-22 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
JP2019139673A (ja) 2018-02-15 2019-08-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびコンピュータプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1363246A4 (en) * 2001-02-23 2006-11-08 Fujitsu Ltd "DISPLAY CONTROL DEVICE, INFORMATION EQUIPMENT EQUIPPED WITH THE DISPLAY CONTROL DEVICE AND VIEWPOINT POSITION CONTROL DEVICE"
US11263823B2 (en) * 2012-02-24 2022-03-01 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10244226B2 (en) * 2015-05-27 2019-03-26 Google Llc Camera rig and stereoscopic image capture
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
KR20180037721A (ko) * 2016-10-05 2018-04-13 엘지전자 주식회사 디스플레이 장치
US10388077B2 (en) * 2017-04-25 2019-08-20 Microsoft Technology Licensing, Llc Three-dimensional environment authoring and generation
EP3676794A1 (en) * 2017-08-29 2020-07-08 Koninklijke KPN N.V. Zooming an omnidirectional image or video
KR102389157B1 (ko) * 2017-09-19 2022-04-21 한국전자통신연구원 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
US20200389640A1 (en) * 2018-04-11 2020-12-10 Lg Electronics Inc. Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
KR102278848B1 (ko) * 2018-07-31 2021-07-19 엘지전자 주식회사 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP2018110375A (ja) * 2016-12-28 2018-07-12 株式会社リコー 表示装置、プログラム、表示方法
JP2019121224A (ja) * 2018-01-09 2019-07-22 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
JP2019139673A (ja) 2018-02-15 2019-08-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4080463A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053796A1 (ja) * 2021-09-30 2023-04-06 株式会社Ｎｔｔドコモ 仮想空間提供装置
JP2023096844A (ja) * 2021-12-27 2023-07-07 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置
JP7492497B2 (ja) 2021-12-27 2024-05-29 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置

Also Published As

Publication number Publication date
US20240242307A1 (en) 2024-07-18
CN114787874A (zh) 2022-07-22
EP4080463A4 (en) 2023-02-08
US20230005101A1 (en) 2023-01-05
JPWO2021124920A1 (ja) 2021-06-24
EP4080463A1 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
CN107209386B (zh) 增强现实视野对象跟随器
US9934614B2 (en) Fixed size augmented reality objects
EP3137982B1 (en) Transitions between body-locked and world-locked augmented reality
WO2021124920A1 (ja) 情報処理装置、情報処理方法、および記録媒体
CN107209565B (zh) 用于显示固定大小的增强现实对象的方法和系统
CN106489171B (zh) 立体图像显示器
US20140368537A1 (en) Shared and private holographic objects
JP6002286B1 (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US20130326364A1 (en) Position relative hologram interactions
KR20170007102A (ko) 3차원 지도 생성 및 표시 장치 및 방법
JP7155291B2 (ja) 環境の動き回り
JP2021531493A (ja) ダイナミックパネルマスキング
US11170563B2 (en) Immersive environment with digital environment to enhance depth sensation
US20230185099A1 (en) Small field of view display mitigation using transitional visuals
CN116848495A (zh) 用于选择虚拟对象以进行扩展现实交互的设备、方法、系统和介质
US11699412B2 (en) Application programming interface for setting the prominence of user interface elements
JP2017021824A (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US11321926B2 (en) Method and device for content placement
US11430198B1 (en) Method and device for orientation-based view switching
US20240248532A1 (en) Method and device for visualizing multi-modal inputs
CN116981978A (zh) 用于动态确定呈现和过渡区域的方法和设备
US11776192B2 (en) Method and device for generating a blended animation
CN116458881A (zh) 用于管理注意力累加器的方法和设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20901821

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021565468

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020901821

Country of ref document: EP

Effective date: 20220719