WO2019142432A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2019142432A1
WO2019142432A1 PCT/JP2018/040115 JP2018040115W WO2019142432A1 WO 2019142432 A1 WO2019142432 A1 WO 2019142432A1 JP 2018040115 W JP2018040115 W JP 2018040115W WO 2019142432 A1 WO2019142432 A1 WO 2019142432A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
distance
information processing
size
processing apparatus
Prior art date
Application number
PCT/JP2018/040115
Other languages
English (en)
French (fr)
Inventor
智也 成田
茜 近藤
遼 深澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2019142432A1 publication Critical patent/WO2019142432A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a recording medium.
  • VR virtual Reality
  • AR Augmented Reality
  • the virtual object is placed at an arbitrary position in the space viewed by the user, and the appearance changes according to the relative positional relationship between the user and the virtual object.
  • a virtual object can be scaled according to perspective to provide a natural appearance similar to the real world. For example, a virtual object placed near the user looks large, and a virtual object placed far from the user looks small.
  • the character displayed as a virtual object may be displayed too large to fit in only a portion of the character, or the character may be displayed too small to be read due to visual acuity, etc. Visibility may be reduced.
  • Patent Document 1 the position or size of a virtual object associated with an intersection or the like is changed according to the travel distance of the user who boarded a car, or the virtual object associated with the next intersection Is newly disclosed (see, for example, FIG. 24 and the like).
  • the present disclosure provides a mechanism capable of appropriately improving the visibility of a virtual object.
  • a virtual object is displayed by being superimposed on a space viewed by the user, and the size in which the virtual object is displayed is controlled based on the distance from the user to the virtual object in the depth direction;
  • An information processing apparatus comprising: a control unit that switches whether or not the size at which the virtual object is displayed falls within a predetermined range based on whether the distance belongs to the first section or the second section. Be done.
  • a virtual object is displayed by being superimposed on a space viewed by the user, and the size in which the virtual object is displayed is controlled based on the distance from the user to the virtual object in the depth direction.
  • the processor switching whether to set the size at which the virtual object is displayed within a predetermined range based on whether the distance belongs to the first section or the second section An information processing method is provided.
  • a computer is superimposed on a space viewed by a user to display a virtual object, and a size at which the virtual object is displayed based on the distance from the user to the virtual object in the depth direction.
  • Function as a control unit that controls whether or not the size at which the virtual object is displayed falls within a predetermined range based on whether the distance belongs to the first section or the second section.
  • a mechanism capable of appropriately improving the visibility of a virtual object is provided.
  • the above-mentioned effects are not necessarily limited, and, along with or in place of the above-mentioned effects, any of the effects shown in the present specification, or other effects that can be grasped from the present specification May be played.
  • FIG. 1 is a diagram illustrating an example of an appearance configuration of an information processing apparatus according to an embodiment of the present disclosure. As shown in FIG. 1, the information processing device 100 can be configured as an eyewear type device.
  • the information processing apparatus 100 has, for example, a mounting unit of a frame structure that makes a half turn from both head to the back of the head, and the mounting unit is mounted on the user U by being put on both ears.
  • the information processing apparatus 100 is configured such that the display unit 121 is disposed immediately in front of both eyes of the user U in the wearing state as illustrated in FIG. 1.
  • a liquid crystal panel is used for the display unit 121, and the information processing apparatus 100 controls the transmittance of the liquid crystal panel to make it in a through state, that is, in a transparent or translucent state or in a non-transmissive state. can do.
  • the display unit 121 superimposes the space viewed by the user U and displays the virtual object.
  • the display unit 121 can display a virtual object superimposed on a landscape in real space (that is, AR display) by displaying an image such as text or a figure in a through state.
  • the display unit 121 can also display a captured image of the real space captured by the outward camera 111 in a non-transmissive state, and superimpose a virtual object on the captured image of the real space.
  • the display unit 121 can display VR information in the non-transmissive state.
  • the display unit 121 reproduces and displays the content received from the external device by the information processing apparatus 100 or the content stored in the storage medium of the information processing apparatus 100, An object can also be displayed superimposed.
  • the external device is an information processing apparatus such as a server, a digital camera, a digital video camera, a mobile phone terminal, a smartphone, a personal computer, and the like.
  • the entire image displayed on the display unit 121 is also referred to as a screen.
  • the screen is a concept including an image displayed in a non-transmissive state, a scene transparently viewed in a through state, and a virtual object displayed superimposed on these.
  • the space viewed by the user U is also referred to as background space.
  • the background space is a real space in the case of AR and a virtual space in the case of VR.
  • the direction in which the user U is directed is the Z-axis direction
  • the horizontal direction is the X-axis direction
  • the reverse direction of the vertical direction is the Y-axis direction.
  • the Z-axis direction can also be regarded as the depth direction of the user U.
  • a pair of inward facing cameras 112 are disposed toward the user U such that the user U captures an image of the information processing apparatus 100 from a short distance in a state where the user U wears the information processing apparatus 100.
  • the inward camera 112 captures an eye of the user U.
  • the information processing apparatus 100 can recognize the line of sight of the user U.
  • the inward camera 112 may be a stereo camera that can also acquire depth information, or a depth sensor may be provided.
  • the outward facing camera 111 is disposed forward so that the user U captures an image in front of the user U (that is, in the Z-axis direction) with the information processing apparatus 100 attached. It is done.
  • the outward camera 111 picks up an object to be recognized such as the hand of the user U.
  • the outward camera 111 may be a stereo camera capable of acquiring depth information, or a depth sensor may be provided.
  • an earphone speaker to be inserted into the binaural shell of the user U may be disposed.
  • a microphone for picking up an external sound may be disposed.
  • the information processing apparatus 100 may be an eyewear type device as shown in FIG. 1 or a simple eyewear type device configured by fixing a smartphone in front of the eye, for example. It is also good.
  • the display of the smartphone, the in-camera provided on the display side, and the out-camera provided on the back side function as the display unit 121, the inward camera 112, and the outward camera 111 described above.
  • the information processing apparatus 100 may be realized as a smartphone, a tablet terminal, a PC, digital signage, or the like, in addition to an eyewear type apparatus.
  • the information processing apparatus 100 is an eyewear type apparatus and will be described as performing AR display.
  • FIG. 2 is a view showing an example of a screen displayed by the information processing apparatus 100 according to the present embodiment.
  • the hand T of the user U in the background space is displayed on the screen S.
  • the hand U of the user U is an overlapping target, and the virtual object V is displayed superimposed on the hand T of the user U.
  • the virtual object V also moves in the Z-axis direction in conjunction therewith. How the user U recognizes the distance in the depth direction of the virtual object V will be described with reference to FIGS. 3 and 4.
  • FIG. 3 is a view showing an example of the relationship between the distance in the depth direction of the virtual object V and the convergence angle.
  • the angle formed by the line-of-sight direction of the right eye of the user U and the line-of-sight direction of the left eye is also referred to as a convergence angle (or binocular disparity). If the distance from the user U to the virtual object V is long, the convergence angle alpha 1 is small. On the other hand, when the distance from the user U to the virtual object V is near, the convergence angle alpha 2 is large. The user U can recognize the distance in the depth direction based on the magnitude of the convergence angle.
  • FIG. 4 is a diagram showing an example of the relationship between the distance in the depth direction and the viewing angle of the virtual object V displayed according to perspective.
  • the sight and the virtual object V within a predetermined range as viewed from the user U are included in the screen S and are displayed or displayed on the display unit 121.
  • An angle formed by two straight lines drawn from the end on the XY plane of the object to be visually recognized by the user U to the center of the eyeball is also referred to as a visual angle.
  • Figure 4 As shown, when the virtual object V 1 and V 2 is assumed to be the same size, the user increases the viewing angle theta 1 of the virtual object V 1 was close to the U, the viewing angle theta 2 distant virtual object V 2 from the user U Is small.
  • the viewing angle can be regarded as the size at which the virtual object V is displayed on the display unit 121.
  • Virtual object V 1 close to the user U are displayed in a size V'1 to achieve a viewing angle theta 1 at the display unit 121.
  • Virtual object V 2 away from the user U is displayed in a size V'2 to achieve a viewing angle theta 2 in the display unit 121.
  • the magnitude relationship between the magnitudes V ′ 1 and V ′ 2 is the same as the magnitude relationship between the viewing angles ⁇ 1 and ⁇ 2 .
  • Such a representation in which the size at which the virtual object V is displayed on the display unit 121 is scaled according to the distance between the user U and the virtual object V can be said to be a representation according to perspective.
  • the user U can recognize the distance in the depth direction based on the size of the viewing angle, in other words, the size of the size at which the virtual object V is displayed on the display unit 121.
  • the user U can recognize the distance to the virtual object V based on the convergence angle and the viewing angle.
  • FIG. 5 is a diagram showing an example of the relationship between the distance in the depth direction and the visual angle of the virtual object V displayed according to the visual angle fixed presentation method.
  • the fixed view angle presentation method when the virtual object V is placed near the user U, the virtual object V is scaled to be small, and when the virtual object V is placed far from the user U, the virtual object V is placed Is scaled to be large.
  • Scaling refers to scaling the size of the virtual object V by applying a scaling amount (magnification / reduction ratio) to the virtual object V.
  • the virtual object V 1 which is located near the user U is smaller scaled, the virtual object V 2 which is located remotely of the user U is greatly scaled.
  • Such scaling keeps the viewing angle of the virtual object V constant.
  • the viewing angle theta 1 and theta 2 of the virtual object V 1 and V 2 close to the user U becomes the same, even the same size V'1 and V'2 displayed in the display unit 121 .
  • FIG. 6 is a diagram showing an example of the relationship between the distance in the depth direction and the scaling amount of the virtual object V in the example shown in FIG.
  • the horizontal axis of the graph shown in FIG. 6 is the distance between the user U and the virtual object V in the depth direction.
  • the vertical axis of the graph shown in FIG. 6 represents the size of the virtual object V by the scaling amount applied to the virtual object V.
  • the distance in the depth direction between the user U and the virtual object V is the distance on the Z axis from the eye of the user U to the virtual object V. Such a distance is also referred to below simply as the distance of the virtual object V.
  • the virtual object V is scaled to be smaller as the distance of the virtual object V is shorter.
  • the virtual object V is scaled to be larger as the distance of the virtual object V is longer.
  • a section in which the virtual object V is scaled by the fixed view angle presentation method is also referred to as a fixed view angle presentation section.
  • FIG. 7 is a view showing an example of the relationship between the distance in the depth direction and the viewing angle of the virtual object V in the example shown in FIG.
  • the horizontal axis of the graph shown in FIG. 7 is the distance between the user U and the virtual object V in the depth direction.
  • the vertical axis of the graph shown in FIG. 7 is the viewing angle of the virtual object V, that is, the size of the virtual object V displayed on the display unit 121.
  • the viewing angle of the virtual object V is fixed at a constant value.
  • the visual angle fixed presentation method is described as the visual angle is fixed at a constant value, but the visual angle fixed presentation method is not limited to such an example.
  • the viewing angle fixed presentation method is included in the viewing angle fixed presentation method that the viewing angle is contained in a predetermined width and the viewing angle is substantially fixed.
  • simply displaying the virtual object V according to the fixed view angle presentation method has a disadvantage that the user U may feel uncomfortable.
  • the size of the virtual object V approaches 0 without limit, and the size of the virtual object V approaches infinity as the distance increases.
  • the user U feels a sense of strangeness such as feeling the virtual object V so small or large as a result of the illusion effect such as the horizontal expansion of the moon.
  • the present disclosure provides a mechanism capable of reducing the discomfort given to the user U while performing display according to the fixed view angle presentation method.
  • FIG. 8 is a block diagram showing an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes a sensor unit 110, a display unit 121, a speaker 122, a communication unit 123, an operation input unit 124, a storage unit 130, and a control unit 140.
  • the sensor unit 110 has a function of detecting various information related to the information processing apparatus 100. As shown in FIG. 8, the sensor unit 110 includes an outward camera 111, an inward camera 112, a microphone 113, a gyro sensor 114, an acceleration sensor 115, an azimuth sensor 116, a position positioning unit 117, and a living body sensor 118.
  • the outward camera 111 and the inward camera 112 are imaging devices for imaging the front of the user U and each of the user U.
  • the outward camera 111 and the inward camera 112 are a lens system including an imaging lens, an aperture, a zoom lens, a focus lens, etc., a drive system for performing a focusing operation and a zooming operation on the lens system, and a lens system. It has a solid-state imaging element array etc. which photoelectrically convert the obtained imaging light and generate an imaging signal.
  • the outward facing camera 111 and the inward facing camera 112 output data of a photographed image converted into a digital signal.
  • the microphone 113 is an audio input device that picks up surrounding sounds.
  • the microphone 113 outputs a signal indicating the sound collection result.
  • the microphone 113 may further have a microphone amplifier.
  • the microphone 113 may output an analog signal, or may output a digital signal via an ADC (Analog Digital Converter).
  • the gyro sensor 114 has a function of detecting and outputting the angular velocity of the information processing apparatus 100.
  • the gyro sensor 114 includes a vibrator such as a piezoelectric vibrator or a silicon vibrator, and detects an angular velocity based on the Coriolis force applied to the vibrating vibrator.
  • the acceleration sensor 115 has a function of detecting and outputting the acceleration of the information processing apparatus 100.
  • the acceleration sensor 115 detects an acceleration by an arbitrary detection method such as an optical method or a semiconductor method.
  • the number of axes for detecting acceleration is arbitrary, and may be, for example, three axes.
  • the direction sensor 116 has a function of detecting and outputting the direction of the information processing apparatus 100. More specifically, the orientation sensor 116 has a function of detecting the direction in which the display unit 121 faces, that is, the direction in which the user U faces.
  • the orientation sensor 116 includes a geomagnetic sensor, and based on the information indicating the orientation detected by the geomagnetic sensor and the relative relationship between the installation attitude of the geomagnetic sensor in the information processing apparatus 100 and the installation attitude of the display unit 121. The direction in which the display unit 121 faces is detected.
  • the position positioning unit 117 has a function of detecting and outputting position information of the information processing apparatus 100.
  • the position measurement unit 117 receives a GNSS signal (for example, a GPS signal from a GPS (Global Positioning System) satellite) from, for example, a Global Navigation Satellite System (GNSS) satellite, and includes latitude, longitude, and altitude of the information processing apparatus 100.
  • GNSS Global Navigation Satellite System
  • the position information is detected, and the detected position information is output.
  • the position measurement unit 117 may detect position information using any other technique.
  • the position measurement unit 117 may detect position information by transmission / reception with Wi-Fi (registered trademark), a mobile phone, a PHS, a smart phone, or the like, or near distance communication.
  • Wi-Fi registered trademark
  • the living body sensor 118 has a function of detecting and outputting the living body information of the user U.
  • the biological sensor 118 includes a body temperature sensor, a pulse sensor, an myoelectric sensor, and a blood pressure sensor, and detects body temperature, pulse, myoelectric potential, and blood pressure as biological information.
  • FIG. 8 shows a configuration in which the sensor unit 110 is included in the information processing apparatus 100, a part or all of the sensor unit 110 may be configured separately from the information processing apparatus 100. In that case, the information processing apparatus 100 receives the detection result via a wired or wireless communication channel.
  • the display unit 121 has a function of displaying an image.
  • the display unit 121 may be realized as a transparent or translucent display, or may be realized as a non-transparent display.
  • the display unit 121 may be realized as a projection device which projects an image on a projection plane, or may be realized as a retinal projection display which projects an image directly on the retina of the user U.
  • the speaker 122 is an audio output device that outputs a sound.
  • the speaker 122 converts sound data into an analog signal and outputs it via a DAC (Digital Analog Converter) and an amplifier.
  • DAC Digital Analog Converter
  • the communication unit 123 is an interface that transmits and receives information to and from another device.
  • the communication unit 123 communicates according to any wired or wireless communication standard such as LAN (Local Area Network), wireless LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark) or NFC (Near Field Communication). I do.
  • LAN Local Area Network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • NFC Near Field Communication
  • Operation input unit 124 has a function of receiving an operation input from the user U.
  • the operation input unit 124 is realized by, for example, a mouse, a keyboard, a touch panel, a button, a switch, or a lever.
  • the operation input unit 124 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or a PDA corresponding to the operation of the information processing apparatus 100.
  • Storage unit 130 has a function of temporarily or non-temporarily storing information for the operation of the information processing apparatus 100.
  • the storage unit 130 is realized by a magnetic storage unit device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage unit 130 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • Control unit 140 functions as an arithmetic processing unit and a control unit, and controls overall operations in the information processing apparatus 100 according to various programs.
  • the control unit 140 may be realized by a central processing unit (CPU), a micro processing unit (MPU), an application specific integrated circuit (ASIC), an integrated circuit, an electronic circuit, or the like.
  • Control unit 140 may further include a ROM and a RAM that temporarily store programs and operation parameters.
  • control unit 140 includes, as logical functions, a space information acquisition unit 141, a position and orientation acquisition unit 142, a display control unit 143, and an output processing unit 144.
  • the space information acquisition unit 141 has a function of acquiring space information.
  • Spatial information is information on the background space on which the virtual object V is superimposed.
  • the spatial information may include three-dimensional information indicating the type, shape, and position of an object present in the background space.
  • the spatial information may include information indicating the shape of the space where no object exists in the background space. For example, the spatial information acquisition unit 141 acquires these pieces of information by performing image recognition on an image captured by the outward camera 111 or analyzing depth information.
  • the position and orientation acquisition unit 142 has a function of acquiring position and orientation information indicating the position and orientation of the information processing apparatus 100.
  • the position and orientation information may be regarded as information indicating the position and orientation of the viewpoint of the user U.
  • the position and orientation acquisition unit 142 acquires position and orientation information based on an image captured by the outward camera 111 using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the position and orientation acquisition unit 142 may acquire position and orientation information based on the recognition result of the marker attached to the space included in the image captured by the outward camera 111.
  • the position and orientation acquisition unit 142 may acquire position and orientation information in consideration of detection results of the gyro sensor 114, the acceleration sensor 115, the azimuth sensor 116, and the position measurement unit 117.
  • the display control unit 143 has a function of controlling display by the display unit 121. Specifically, the display control unit 143 generates display control information for displaying the virtual object V displayed on the display unit 121.
  • the display control information includes a combination of information indicating the content of the virtual object V (for example, an image to be displayed) and the layout of the virtual object V (for example, vertex coordinates of the virtual object V on the screen S).
  • the display control unit 143 arranges the virtual object V so as to be superimposed on the superposition target, and adjusts the size (that is, the viewing angle) at which the virtual object V is displayed by scaling the size of the virtual object.
  • the display control unit 143 performs various conversion processes such as model view conversion and projection conversion, and determines the layout of the virtual object V in the screen S displayed on the display unit 121.
  • the order of adjustment of the viewing angle of the virtual object V and various conversion processing such as model view conversion and projection conversion is arbitrary, and for example, adjustment of the viewing angle of the virtual object V is performed between model view conversion and projection conversion. May be
  • the output processing unit 144 controls the display by the display unit 121 based on the display control information generated by the display control unit 143. For example, the output processing unit 144 causes the display unit 121 to display the virtual object V in the layout instructed by the display control unit 143. Further, the output processing unit 144 causes the speaker 122 to output the sound in accordance with the display by the display unit 121.
  • the control unit 140 may include components other than these components. That is, the control unit 140 can also perform operations other than operations by these components.
  • the information processing apparatus 100 controls the size (that is, the viewing angle) at which the virtual object V is displayed based on the distance in the depth direction from the user U to the virtual object V. For example, the information processing apparatus 100 reduces the viewing angle of the virtual object V as the distance of the virtual object V increases, and increases the viewing angle of the virtual object V as the distance of the virtual object V decreases. If the size of the virtual object V is fixed or substantially fixed, the virtual object V is displayed in perspective, and the naturalness of the display of the virtual object V is realized.
  • the information processing apparatus 100 controls the viewing angle of the virtual object V by controlling the size of the virtual object V. That is, by scaling the virtual object V, the information processing apparatus 100 scales the viewing angle of the virtual object V. For example, the information processing apparatus 100 reduces the viewing angle of the virtual object V by applying a small scaling amount to the virtual object V, and increases the viewing angle of the virtual object V by applying a large scaling amount to the virtual object V. The information processing apparatus 100 switches the control method of the scaling amount according to the distance of the virtual object V. This point will be described with reference to FIGS. 9 to 11.
  • FIG. 9 is a graph showing an example of the relationship between the distance in the depth direction and the scaling amount of the virtual object V displayed by the display control process according to the present embodiment.
  • the horizontal axis of the graph shown in FIG. 9 is the distance in the depth direction between the user U and the virtual object V (that is, the distance of the virtual object V).
  • the vertical axis of the graph shown in FIG. 9 represents the size of the virtual object V by the scaling amount applied to the virtual object V.
  • FIG. 10 is a view showing an example of the relationship between the distance in the depth direction and the viewing angle of the virtual object V to which the scaling amount shown in FIG. 9 is applied.
  • FIG. 11 is a graph showing an example of the relationship between the distance in the depth direction and the viewing angle of the virtual object V to which the scaling amount shown in FIG. 9 is applied.
  • the horizontal axis of the graph shown in FIG. 11 is the distance between the user U and the virtual object V in the depth direction.
  • the vertical axis of the graph illustrated in FIG. 11 is the viewing angle of the virtual object V, that is, the size of the virtual object V displayed on the display unit 121.
  • the information processing apparatus 100 switches whether to set the viewing angle of the virtual object V within a predetermined range based on the distance of the virtual object V.
  • Setting the viewing angle of the virtual object V within a predetermined range scales the virtual object V according to the distance of the virtual object V such that the viewing angle of the virtual object V is fixed or substantially fixed, ie, the virtual object V It is shown that the display is performed according to the fixed view presentation method. That is, based on the distance of the virtual object V, the information processing apparatus 100 switches whether to display the virtual object V according to the fixed view angle presentation method.
  • the information processing apparatus 100 can perform selective use of not using the fixed viewing angle method in the section where the demerit occurs while enjoying the merit of the fixed viewing angle method. Thereby, it is possible to simultaneously maintain the visibility of the virtual object V and reduce the discomfort.
  • the range of the viewing angle of the virtual object V displayed according to the viewing angle fixed presentation method is also referred to as a viewing angle fixed range.
  • the information processing apparatus 100 brings the viewing angle of the virtual object V into the fixed view angle range. That is, the information processing apparatus 100 uses the fixed view angle presentation method in the second section. For example, in a section where the virtual object V is neither too close nor too far, and the user U does not feel discomfort even when using the view fixed angle presentation method, the information processing apparatus 100 fixes the view angle of the virtual object V within the fixed view angle range The virtual object V is scaled as Thereby, in the second section, it is possible to receive the merits of the fixed viewing angle presentation method.
  • the second section is also referred to as a fixed viewing angle presentation section.
  • the second interval is an interval greater than or equal to the first value.
  • the second section is a section less than the second value.
  • the first value is a value serving as a threshold value for starting reduction restriction described later.
  • the first value is a distance serving as a threshold value for starting the reduction limitation, and is also referred to as a reduction limitation distance.
  • the second value is a value serving as a threshold value for starting enlargement restriction described later.
  • the second value is a distance serving as a threshold value for starting the expansion restriction, and is also referred to as an expansion restriction distance.
  • the magnitude of the change amount of the virtual object V with respect to the change amount of the distance of the virtual object V (i.e., the slope of the graph shown in FIG. 9 )
  • the predetermined value here is a value at which the viewing angle of the virtual object V falls within the viewing angle fixed range.
  • the information processing apparatus 100 performs scaling so that the virtual object V decreases as the distance of the virtual object V decreases, so that the viewing angle of the virtual object V falls within the fixed viewing angle range, and the virtual object V scales as the distance of the virtual object V increases. Scale so that As a result, as shown in FIGS. 10 and 11, in the viewing angle fixed presentation interval Z 2, regardless of the distance of the virtual object V, the viewing angle of the virtual object V is fixed at a constant value theta.
  • FIG. 10 the broken line indicating the viewing angle ⁇ of the virtual object V in the viewing angle fixed presentation section Z 2 is illustrated.
  • that both ends in the Y-axis direction of the virtual object V contact the broken line means that the viewing angle is ⁇
  • both ends of the virtual object V exceed the broken line means that the viewing angle exceeds ⁇
  • the fact that both ends of the virtual object V fall within the broken line means that the viewing angle is less than ⁇ .
  • the upper limit value and the lower limit value of the fixed viewing angle range may be the same value or may be different.
  • the viewing angle of the virtual object V is fixed regardless of the distance of the virtual object V (That is, it becomes constant).
  • the viewing angle of the virtual object V is substantially fixed. That is, the viewing angle of the virtual object V changes according to the distance of the virtual object V.
  • the upper limit value and the lower limit value are set to be sufficiently narrow, the degree of change of the viewing angle according to the distance of the virtual object V becomes gentler than that according to the perspective simply, and the visibility described above It is possible to suppress the decrease.
  • the upper limit value and the lower limit value of the fixed viewing angle range are assumed to be the same value.
  • the distance of the virtual object V may not belong to the viewing angle fixed presentation interval Z 2, the viewing angle of the virtual object V out viewing angle fixed range. That is, the information processing apparatus 100 does not use the viewing angle fixed display method is outside the viewing angle fixed presentation interval Z 2.
  • Viewing angle fixed presentation interval Z 2 other sections (i.e., the viewing angle unfixed presenting section) as it is the first segment Z 1 and the third section Z 3. That is, the information processing apparatus 100 determines the viewing angle of the virtual object V based on whether the distance of the virtual object V belongs to the first section Z 1 , the second section Z 2, or the third section Z 3. Switch whether to make it within the range. It will be described below in detail display control process in the first zone Z 1 and the third section Z 3.
  • the information processing apparatus 100 makes the viewing angle of the virtual object V larger than the upper limit value of the viewing angle fixed range.
  • the first interval is an interval less than the first value (i.e., the reduction limit distance).
  • the first section is also referred to as a reduction restriction section.
  • the scaling amount in the reduction limit distance is also referred to as a reduction limit magnification.
  • the reduction limiting magnification can also be regarded as the minimum value of the scaling amount applied in the fixed viewing angle interval and the maximum value of the scaling amount applied in the reduction limitation interval.
  • the information processing apparatus 100 the magnitude of the change amount of the virtual object V with respect to the change amount of the distance of the virtual object V, if the distance of the virtual object V belongs to the reduced limit interval Z 1, the distance of the virtual object V is reduced as compared with the case belonging to the viewing angle fixed presentation interval Z 2.
  • the slope of the graph shown in FIG. 9 if the distance of the virtual object V belongs to the reduced limit interval Z 1, virtual object V small distance is compared with the case belonging to the viewing angle fixed presentation interval Z 2.
  • the viewing angle of the virtual object V is the virtual object V in the viewing angle fixed presentation interval Z 2 viewing angle ⁇ Over.
  • the information processing apparatus 100 to limit the reduction corresponding to the distance of the reduced limit interval Z 1 the virtual object V, as shown in FIG. 11, the distance of the virtual object V is the viewing angle is increased of the virtual object V as shorter .
  • the information processing apparatus 100 the reduced limit interval Z 1, displaying the virtual object V in accordance perspective. Therefore, even if the distance of the virtual object V is short, the situation in which the size of the virtual object V approaches 0 without limit is avoided.
  • the reduced limit interval Z 1 avoiding the disadvantages of viewing angle fixed display method, it is possible to perform natural display more discomfort has been reduced.
  • the information processing apparatus 100 makes the viewing angle of the virtual object V smaller than the lower limit value of the viewing angle fixed range.
  • the third section is a section greater than or equal to the second value (i.e., the expansion limiting distance).
  • the third section is also referred to as an expansion restriction section.
  • the scaling amount in the enlargement limiting distance is also referred to as an enlargement limiting magnification.
  • the enlargement limiting magnification can be regarded as the maximum value of the scaling amount applied in the fixed viewing angle interval and the minimum value of the scaling amount applied in the enlargement limitation interval.
  • the information processing apparatus 100 the magnitude of the change amount of the virtual object V with respect to the change amount of the distance of the virtual object V, if the distance of the virtual object V belongs to the expansion limit interval Z 3, the distance of the virtual object V is reduced as compared with the case belonging to the viewing angle fixed presentation interval Z 2.
  • the slope of the graph shown in FIG. 9 if the distance of the virtual object V belongs to the expansion limit interval Z 3, virtual object V small distance is compared with the case belonging to the viewing angle fixed presentation interval Z 2.
  • expansion of the virtual object V even if the distance of the virtual object V is prolonged is limited.
  • the viewing angle of the virtual object V is the virtual object V in the viewing angle fixed presentation interval Z 2 viewing angle ⁇ Less than.
  • the information processing apparatus 100 by limiting the enlargement according to the distance enlargement limit interval Z 3 in virtual object V, as shown in FIG. 11, to reduce the viewing angle of the virtual object V as the distance of the virtual object V is longer .
  • the information processing apparatus 100 the expansion limit interval Z 3, and displays the virtual object V in accordance perspective. Therefore, even if the distance of the virtual object V is long, the situation that the size of the virtual object V approaches infinity without limit is avoided.
  • the expansion limit interval Z 3 avoiding disadvantages of viewing angle fixed display method, it is possible to perform natural display more discomfort has been reduced.
  • the animation prevents the visual angle of the virtual object V from rapidly changing, and enables smooth change.
  • animation is used at the reduction limit distance (i.e., reduction limit magnification) and the enlargement limit distance (i.e., enlargement limit magnification).
  • FIG. 12 is a diagram showing an example of the screen S including the virtual object V displayed by the display control process according to the present embodiment.
  • FIG. 12 shows the appearance of the screen S when the user U moves the superposition target T back and forth while the virtual object V is superimposed on the hand of the user U who is the superposition target T.
  • Screen S 2 and the screen S 3 is showing a case where the distance of the virtual object V belongs to the viewing angle fixed presentation interval Z 2, as shown in FIG. 12, the virtual object V appearing on the screen S 2 and S 3 The viewing angles are identical. If the distance of the virtual object V belongs to the viewing angle fixed presentation interval Z 2, the viewing angle of the virtual object V is because they are kept the same.
  • Screen S 1 shows a state when the distance of the virtual object V belongs to the reduced limit interval Z 1, as shown in FIG. 12, the viewing angle of the virtual object V appearing on the screen S 1 is the distance of the virtual object V but larger than if it belongs to the viewing angle fixed presentation section Z 2.
  • the reduction restriction zone Z 1 the reduction of the virtual object V is limited even if the distance of the virtual object V is shortened. Therefore, the perspective angle of the virtual object V increases as the distance of the virtual object V decreases. It is.
  • Screen S 4 is showing a case where the distance of the virtual object V belongs to the expansion limit interval Z 3, as shown in FIG. 12, the viewing angle of the virtual object V appearing on the screen S 4, the distance of the virtual object V There smaller than if it belongs to the viewing angle fixed presentation interval Z 2.
  • larger limit interval Z 3 virtual because even if the distance of the object V is long the expansion of the virtual object V is limited by the perspective viewing angle of the virtual object V as the distance of the virtual object V is longer is because smaller It is.
  • FIG. 13 is a view showing an example of the screen S including the virtual object V displayed by the display control process according to the present embodiment.
  • FIG. 13 shows the state of the screen S when the superimposition target T is zoomed in / out in a state where the virtual object V is superimposed on Mt. Fuji, which is the superimposition target T.
  • Screen S 2 and the screen S 3 is showing a case where the distance of the virtual object V belongs to the viewing angle fixed presentation interval Z 2
  • screen S 1 when the distance of the virtual object V belongs to the reduced limit interval Z 1 shows a state
  • the screen S 3 is showing a case where the distance of the virtual object V belongs to the expansion limit interval Z 3.
  • the viewing angles of the virtual object V on the screens S 1 to S 4 shown in FIG. 13 are the same as the viewing angles of the virtual object V on the screens S 1 to S 4 shown in FIG.
  • FIG. 14 is a view showing an example of the relationship between the distance in the depth direction and the scaling amount of the virtual object V displayed by the display control processing according to the present embodiment.
  • the horizontal and vertical axes of the graph shown in FIG. 14 are the same as the horizontal and vertical axes of the graph shown in FIG.
  • the variation in the size of the virtual object V with respect to the change amount of the distance of the virtual object V is the distance of the virtual object V is reduced limit interval Z 1 or if it belongs to expand limit interval Z 3, less the distance of the virtual object V is compared with a case belonging to the viewing angle fixed presentation interval Z 2.
  • the information processing apparatus 100 if the distance of the virtual object V does not belong to the viewing angle fixed presentation interval Z 2 (i.e., if it belongs to the reduced limit interval Z 1 or expanded limit interval Z 3)
  • the size at which the virtual object V is displayed is fixed.
  • the reduced limit interval Z 1 regardless of the distance of the virtual object V, (in this case, the scaling amount) size of the virtual object V is fixed to the reduction limiting magnification.
  • the expansion limit interval Z 3 regardless of the distance of the virtual object V, the size of the virtual object V is fixed to the expansion limiting magnification.
  • the reduction limit interval Z 1 and enlarged restriction section Z 3 virtual objects V are displayed in accordance with completely perspective. Thereby, more natural display of the virtual object V is realized.
  • FIG. 15 is a diagram showing an example of the relationship between the distance in the depth direction and the scaling amount of the virtual object V displayed by the display control processing according to the present embodiment.
  • the horizontal and vertical axes of the graph shown in FIG. 15 are the same as the horizontal and vertical axes of the graph shown in FIG.
  • the variation in the size of the virtual object V with respect to the change amount of the distance of the virtual object V is the distance of the virtual object V is reduced limit interval Z 1 or if it belongs to expand limit interval Z 3, less the distance of the virtual object V is compared with a case belonging to the viewing angle fixed presentation interval Z 2.
  • the sense of incongruity given to the user U is alleviated, and natural display of the virtual object V according to perspective is realized.
  • the size (that is, the scaling amount) of the virtual object V suddenly changes at the reduction limiting distance and the enlargement limiting distance. Therefore, in the display control process shown in FIG. 9 and FIG. 14, in the use case of approaching / separating continuously in time, the visual angle of the virtual object V appears to change suddenly while approaching / separating. .
  • the size (that is, the scaling amount) of the virtual object V changes in a curved and continuous manner before and after the reduction limit distance and before and after the expansion limit distance.
  • the information processing apparatus 100 may be provided with a fourth section in which display of the virtual object V is stopped, in addition to the reduction limiting section which limits the reduction and the fixed viewing angle presentation section which limits the enlargement.
  • the information processing apparatus 100 does not display the virtual object V in the fourth section.
  • the information processing apparatus 100 reduces the number of virtual objects V to be displayed according to the relative positional relationship between the user U and the plurality of virtual objects V (or the superposition target on which the virtual objects V are superimposed)? Control whether or not.
  • the information processing apparatus 100 does not reduce the number of virtual objects V to be displayed for a plurality of virtual objects V separated and displayed by a predetermined distance or more.
  • the information processing apparatus 100 reduces the number of virtual objects V to be displayed for a plurality of virtual objects V displayed close to or less than a predetermined distance.
  • the information processing apparatus 100 makes one of the plurality of virtual objects V invisible and displays only the other with high priority, or integrates the content of each virtual object V to make it higher. Display a virtual object V including the content. Thereby, the visibility of the virtual object V can be improved. An example of this will be described with reference to FIG.
  • FIG. 16 is a view showing an example of a virtual object V displayed by the display control process according to the present embodiment.
  • FIG. 16 shows a change in display of the plurality of virtual objects V when the distance between the user U and the plurality of virtual objects V (or the superposition target T) changes.
  • Distance between the user U and a plurality of virtual objects V is the screen S 1 short, the screen S 2 long. Referring to the screen S 1, because of the short distance between the user U and the superimposition target T 1 and T 2, the superimposition-target T 1 and T 2 are largely reflected by perspective.
  • Virtual object V 1 and V 2 since that appears to separate encapsulated in superimposition target T 1 and T 2, the information processing apparatus 100, as shown in FIG.
  • the information processing apparatus 100 displays a new virtual object V 3 which integrates the contents of the virtual object V 1 and V 2 in place of the virtual object V 1 and V 2 By doing this, the number of virtual objects V to be displayed is reduced. Thereby, the visibility of the virtual object V to be displayed can be improved.
  • the information processing apparatus 100 may perform processing to improve the visibility of the plurality of virtual objects V according to the relative positional relationship between the user U and the plurality of virtual objects V (or the superposition target T). .
  • the process of improving the visibility of the plurality of virtual objects V may be a process of changing the positions of the plurality of virtual objects V. In that case, the information processing apparatus 100 does not change the positions of a plurality of virtual objects V displayed separated by a predetermined distance or more. On the other hand, the information processing apparatus 100 changes the position of at least one of the plurality of virtual objects V displayed close to or less than a predetermined distance so as to be separated by a predetermined distance or more. Thereby, the visibility of a plurality of virtual objects V can be improved.
  • the process of improving the visibility of the plurality of virtual objects V may be a process of re-adjusting the viewing angles of the plurality of virtual objects V or re-adjusting the display form (color, gradation, etc.).
  • An example in the case where the process of improving the visibility of the plurality of virtual objects V is the process of changing the positions of the plurality of virtual objects V will be described with reference to FIG.
  • FIG. 17 is a view showing an example of the virtual object V displayed by the display control process according to the present embodiment.
  • FIG. 17 shows a change in display of the plurality of virtual objects V when the angle between the user U and the plurality of overlapping targets T changes.
  • the user U is looking at the superimposition target T 1 and T 2 from the angle that the superimposition target T 1 and T 2 do not overlap.
  • Virtual object V 1 and V 2 since that appears to separate encapsulated in superimposition target T 1 and T 2, the information processing apparatus 100, as shown in FIG. 17, changes the position of the virtual object V to be displayed without directly displaying the virtual object V 1 and V 2 on the screen S 1.
  • the information processing apparatus 100 includes, as the virtual object V 1 and V 2 are separated a predetermined distance or more is displayed by moving the position of the virtual object V 1 and V 2 in the opposite directions to each other . Thus, it is possible to improve the visibility of the virtual object V 1 and V 2.
  • the information processing apparatus 100 may display the virtual object V based on the bounding box.
  • the information processing apparatus 100 sets an area where display of the virtual object V is permitted as a bounding box.
  • the area in which the display of the virtual object V is permitted is an area in which the virtual object V may be displayed among the areas in which the virtual object V can be displayed.
  • the area capable of displaying the virtual object V is an area defined by the hardware performance of the information processing apparatus 100, and is, for example, an area having a predetermined display function on the entire screen.
  • the area where the virtual object V may be displayed is defined based on, for example, content displayed as the virtual object V, an application that instructs the display of the virtual object V, the context of the user U or the state of the background space, etc. It is an area.
  • the bounding box is set so as to include or envelope an arbitrary overlapping target in the background space.
  • the information processing apparatus 100 sets, as a bounding box, a region (for example, a rectangle) which includes or envelopes a two-dimensional shape obtained by projecting the shape to be superimposed on the screen.
  • the information processing apparatus 100 controls the size of the bounding box based on the relative relationship between the position of the user U and the target with which the bounding box is associated in the background space and the posture.
  • the target to which the bounding box in the background space is associated is a superimposition target on which the virtual object V is superimposed.
  • the two-dimensional shape obtained by projecting the shape of the overlapping object on the screen may change.
  • the information processing apparatus 100 controls the size of the bounding box so that the bounding box encloses or envelopes the two-dimensional shape even after the change.
  • FIGS. 18 and 19 an example in which the size of the bounding box is controlled in accordance with the distance between the user U and the overlapping target to which the bounding box is associated in the background space will be described with reference to FIGS. 18 and 19.
  • FIG. 18 is a view showing an example of the bounding box according to the present embodiment.
  • FIG. 18 shows the size of the bounding box B when the overlapping target T with which the bounding box B is associated is an object, and the distance between the user U and the overlapping target T changes.
  • Distance between the user U and the superimposition target T is the shortest screen S 1 is, the screen S 2, becomes longer in the order of the screen S 3.
  • the distance between the user U and the superimposition target T is superimposition target T increases reflected in shorter screen, as shown in FIG. 18, the bounding box B is largest set the screen S 1. Further, since the distance between the user U and the superimposition target T is becomes smaller superimposition target T reflected in longer screen, as shown in FIG. 18, the bounding box B is the smallest set in the screen S 3.
  • FIG. 19 is a view showing an example of a bounding box according to the present embodiment.
  • the overlap target T to which the bounding box B is associated is a space sandwiched between the objects, and the size of the bounding box B when the distance between the user U and the overlap target T changes. Is shown.
  • Distance between the user U and the superimposition target T is the shortest screen S 1 is, the screen S 2, becomes longer in the order of the screen S 3.
  • the distance between the user U and the superimposition target T is superimposition target T increases reflected in shorter screen, as shown in FIG. 19, the bounding box B is largest set the screen S 1. Further, since the distance between the user U and the superimposition target T is becomes smaller superimposition target T reflected in longer screen, as shown in FIG. 19, the bounding box B is the smallest set in the screen S 3.
  • the information processing apparatus 100 controls display of the virtual object V based on the bounding box. Specifically, the information processing apparatus 100 arranges the virtual object V at the position of the superposition target to which the bounding box is associated, and displays the virtual object V at a viewing angle falling within the bounding box.
  • the information processing apparatus 100 switches whether to set the visual angle of the virtual object V within the visual angle fixed range based on the size of the bounding box. That is, based on the size of the bounding box, the information processing apparatus 100 switches whether to display the virtual object V according to the fixed viewing angle method. Specifically, when the size of the bounding box falls within the range of a predetermined size, the information processing apparatus 100 displays the virtual object V according to the fixed view angle presentation method. On the other hand, when the size of the bounding box falls outside the predetermined size range, the information processing apparatus 100 does not perform display of the virtual object V according to the fixed view angle presentation method. By such switching, the information processing apparatus 100 can perform selective use of not using the fixed viewing angle method in the section where the demerit occurs while enjoying the merit of the fixed viewing angle method.
  • the information processing apparatus 100 switches whether to set the viewing angle of the virtual object V within the fixed viewing angle range, based on the ratio of the bounding box to the displayable area of the virtual object V.
  • the area where the virtual object V can be displayed refers to, for example, the entire displayable area of the display unit 121, that is, the entire screen.
  • the information processing apparatus 100 displays the virtual object V according to the fixed view angle presentation method when the ratio of the bounding box occupying the entire screen does not exceed the predetermined ratio.
  • the predetermined ratio here may be, for example, about 80%.
  • a large proportion of bounding boxes occupying the entire screen means that the distance between an object to which the bounding boxes are associated and the user U, that is, the distance of the virtual object V is short. As described above in the display control process based on the distance of the virtual object V, it is desirable that the reduction be limited and the viewing angle of the virtual object V be displayed large when the distance of the virtual object V is too close.
  • the information processing apparatus 100 sets the above-described predetermined ratio as the expansion limit value. Then, the information processing apparatus 100 displays the virtual object V according to the fixed view angle presentation method, with the range in which the ratio of the bounding box occupying the entire screen does not exceed the reduction limit value as the fixed view angle presentation section. On the other hand, the information processing apparatus 100 limits the reduction of the virtual object V by setting the range in which the ratio of the bounding box to the entire screen exceeds the reduction limit value as the reduction restriction section, and the viewing angle of the virtual object V is larger than the viewing angle fixed range Enlarge. Thereby, when the distance of the virtual object V is too short, the situation where the size of the virtual object V approaches 0 without limit is avoided, so that the sense of discomfort given to the user U is reduced.
  • the information processing apparatus 100 sets the visual angle of the virtual object V within the visual angle fixed range within the range in which the visual angle of the virtual object V in the bounding box does not exceed the bounding box. However, if the visual angle of the virtual object V is constant, for example, if the distance between the user U and the target superposition to which the bounding box is associated is increased and the bounding box is reduced, the virtual object V may exceed the bounding box. In that case, the information processing apparatus 100 does not display the virtual object V according to the visual angle fixed presentation method, and makes the visual angle of the virtual object V smaller than the visual angle fixed range.
  • the viewing angle of the virtual object V displayed according to the information processing apparatus 100 and the viewing angle fixed presentation method is set as the enlargement limit value. Then, the information processing apparatus 100 displays the virtual object V according to the visual angle fixed presentation method, with the range in which the size of the bounding box does not fall below the expansion limit value as the visual angle fixed presentation section. On the other hand, the information processing apparatus 100 limits the enlargement of the virtual object V so that the viewing angle of the virtual object V is smaller than the fixed viewing angle range, with the range in which the size of the bounding box falls below the enlargement limit value as the enlargement limitation section. Thereby, the viewing angle of the virtual object V can be maintained in the bounding box in the fixed viewing angle presentation section and the enlargement limiting section. Further, when the distance of the virtual object V is too long, the situation in which the size of the virtual object V approaches infinity without limit is avoided, so that the sense of discomfort given to the user U is reduced.
  • the information processing apparatus 100 may switch whether to apply the fixed view angle presentation method based on other criteria.
  • the other criteria an example of the other criteria will be described.
  • the display control process based on the present standard is the one in which the distance of the virtual object V in the display control process based on the distance of the virtual object V described above is replaced with the distance to be superimposed.
  • the information processing apparatus 100 sets the viewing angle of the virtual object V within the fixed viewing angle range, that is, displays the virtual object V according to the fixed viewing angle method.
  • the viewing angle fixed presentation section is a section in which the distance to be superimposed is 30 cm or more and less than 5 m.
  • the information processing apparatus 100 does not set the viewing angle of the virtual object V within the fixed viewing angle range, that is, displays the virtual object V without following the fixed viewing angle presentation method. .
  • the information processing apparatus 100 restricts the reduction of the virtual object V and makes the visual angle of the virtual object V larger than the upper limit value of the visual angle fixed range.
  • the reduction limiting section here is a section in which the distance to be superimposed is less than 30 cm.
  • the information processing apparatus 100 restricts the expansion of the virtual object V, and makes the visual angle of the virtual object V smaller than the lower limit value of the visual angle fixed range.
  • the expansion restriction section here is a section in which the distance to be superimposed is 5 m or more.
  • the fixed view angle presentation method is not used in the section where the disadvantage occurs. It becomes possible to use properly. Accordingly, it is possible to simultaneously maintain the visibility of the virtual object V and reduce the discomfort.
  • the information processing apparatus 100 displays the size of the virtual object V based on the percentage of the target on which the virtual object V is superimposed in the background space, which occupies the virtual object V in the displayable area. May be switched within the fixed viewing angle range.
  • the area where the virtual object V can be displayed refers to, for example, the entire displayable area of the display unit 121, that is, the entire screen. That is, the information processing apparatus 100 may switch whether or not to display the virtual object V according to the fixed view angle presentation method, based on the ratio of the superposition target occupying on the entire screen.
  • the information processing apparatus 100 sets the viewing angle of the virtual object V within the fixed viewing angle range, that is, displays the virtual object V according to the fixed viewing angle method, when the ratio of the superposition target occupying the entire screen belongs to the fixed viewing angle presentation section.
  • the fixed viewing angle presentation section is a section in which the ratio of the superposition target is 10% or more and less than 80%.
  • the information processing apparatus 100 makes the visual angle of the virtual object V out of the visual angle fixed range, ie, the virtual object V does not conform to the visual angle fixed presentation method, when the ratio of the superposition target occupying the whole screen does not belong to the visual angle fixed presentation section. indicate. Specifically, the information processing apparatus 100 restricts the reduction of the virtual object V when the ratio of the superposition target occupying the entire screen belongs to the reduction restriction section, and the viewing angle of the virtual object V is larger than the upper limit value of the viewing angle fixed range.
  • the reduction restriction section here is a section in which the ratio of the superposition target is 80% or more.
  • the information processing apparatus 100 restricts the enlargement of the virtual object V when the ratio of the superposition target occupying the entire screen belongs to the enlargement restriction section, and the viewing angle of the virtual object V is smaller than the lower limit value of the viewing angle fixed range.
  • the expansion restriction zone here is a zone in which the ratio of the superposition target is less than 10%.
  • Scaling amount of virtual object V Does the information processing apparatus 100 set the viewing angle of the virtual object V within the fixed viewing angle range based on the scaling amount required to set the viewing angle of the virtual object V to a predetermined viewing angle? You may switch whether or not.
  • a viewing angle of the virtual object V when the virtual object V is disposed at a reference distance (for example, 1 m) is taken as a reference viewing angle.
  • the scaling amount required to make the viewing angle of the virtual object V the reference viewing angle is 1 ⁇ .
  • the scaling amount required to make the viewing angle of the virtual object V the reference viewing angle is less than one.
  • the scaling amount required to make the viewing angle of the virtual object V the reference viewing angle exceeds one time.
  • the scaling amount required to make the viewing angle of the virtual object V a reference viewing angle is hereinafter also referred to as a scaling scaling amount.
  • the display control process based on the present standard is the one in which the distance of the virtual object V is replaced with the scaling scaling amount in the display control process based on the distance of the virtual object V described above.
  • the information processing apparatus 100 brings the viewing angle of the virtual object V into the viewing angle fixed range, that is, displays the virtual object V according to the viewing angle fixed presentation method, when the scaling scaling amount belongs to the viewing angle fixed presentation section.
  • the viewing angle fixed presentation section is a section in which the scaling amount of the virtual object V is 0.1 times or more and less than 5.0 times.
  • the information processing apparatus 100 does not set the viewing angle of the virtual object V within the fixed viewing angle range, that is, displays the virtual object V without following the fixed viewing angle presentation method. .
  • the information processing apparatus 100 restricts the reduction of the virtual object V, and makes the viewing angle of the virtual object V larger than the upper limit value of the viewing angle fixed range.
  • the reduction limit section here is a section in which the scaling amount of the virtual object V is less than 0.1 times.
  • the information processing apparatus 100 limits the enlargement of the virtual object V and makes the viewing angle of the virtual object V smaller than the lower limit value of the fixed viewing angle range, when the standardized scaling amount belongs to the enlargement limiting section.
  • the enlargement limited section is a section where the scaling amount of the virtual object V is 5.0 times or more.
  • the fixed view angle presentation method is not used in the section where the disadvantage occurs. It becomes possible to use properly. Accordingly, it is possible to simultaneously maintain the visibility of the virtual object V and reduce the discomfort.
  • the information processing apparatus 100 sets the enlargement limiting magnification and the reduction limitation magnification based on each of the plurality of criteria.
  • the information processing apparatus 100 calculates the scaling amount based on each of the plurality of criteria.
  • the information processing apparatus 100 performs the enlargement restriction or the reduction restriction when the scaling amount reaches the enlargement restriction magnification or the reduction restriction magnification in any of the criteria.
  • the information processing apparatus 100 performs the enlargement restriction using the enlargement restriction ratio which takes the smallest value among the plurality of enlargement restriction ratios based on the plurality of criteria.
  • the information processing apparatus 100 performs the reduction restriction using the reduction restriction ratio that takes the largest value among the plurality of reduction restriction ratios based on the plurality of criteria.
  • FIG. 20 is a graph showing an example of the relationship between the distance of the virtual object V and the scaling amount when the display control process based on a plurality of criteria according to the present embodiment is used in combination.
  • the horizontal and vertical axes of the graph shown in FIG. 20 are the same as the horizontal and vertical axes of the graph shown in FIG.
  • the information processing apparatus 100 performs scaling in accordance with the distance of the virtual object V.
  • the enlargement limitation magnification by the bounding box is compared with the enlargement limitation magnification by the distance of the virtual object V, the enlargement limitation magnification by the distance of the virtual object V is smaller.
  • the information processing apparatus 100 restricts the enlargement of the virtual object V using the enlargement limiting magnification by the distance of the virtual object V in the enlargement restricted section. Further, as shown in FIG. 20, when the reduction limit magnification by the bounding box is compared with the reduction limit magnification by the distance of the virtual object V, the reduction limit magnification by the bounding box is larger. Therefore, the information processing apparatus 100 restricts the reduction of the virtual object V using the reduction limiting magnification by the bounding box in the reduction restriction zone.
  • FIG. 21 is a graph showing an example of the relationship between the distance of the virtual object V and the scaling amount when the display control process based on a plurality of criteria according to the present embodiment is used in combination.
  • the horizontal and vertical axes of the graph shown in FIG. 21 are the same as the horizontal and vertical axes of the graph shown in FIG.
  • the information processing apparatus 100 performs scaling in accordance with the distance of the virtual object V.
  • the enlargement limiting magnification by the bounding box is compared with the enlargement limitation magnification by the distance of the virtual object V, the enlargement limiting magnification by the bounding box is smaller.
  • the information processing apparatus 100 restricts the enlargement of the virtual object V using the enlargement limiting magnification by the bounding box in the enlargement limiting section. Further, as shown in FIG. 20, when the reduction limit magnification by the bounding box is compared with the reduction limit magnification by the distance of the virtual object V, the reduction limit magnification by the distance of the virtual object V is larger. Therefore, the information processing apparatus 100 restricts the reduction of the virtual object V using the reduction limiting magnification based on the distance of the virtual object V in the reduction restriction zone.
  • standard of a bounding box were used together in the above, the reference
  • FIG. 22 is a flow chart showing an example of the flow of display control processing executed by the information processing apparatus 100 according to the present embodiment. In this flow, an example of the flow of display control processing based on the distance of the virtual object V is shown.
  • the information processing apparatus 100 acquires space information and position and orientation information of the user U (step S102). Next, the information processing apparatus 100 places the virtual object V in the background space, and calculates the viewing angle of the virtual object V based on the distance between the virtual object V and the user U in the depth direction (step S104). Next, the information processing apparatus 100 determines whether the distance between the user U and the virtual object V belongs to the fixed viewing angle presentation section (step S106). When it is determined that the distance between the user U and the virtual object V belongs to the fixed viewing angle section (step S106 / YES), the information processing apparatus 100 performs scaling amount so that the viewing angle of the virtual object V falls within the fixed viewing angle range. Are set and scaled (step S108).
  • step S106 when it is determined that the distance between the user U and the virtual object V does not belong to the fixed viewing angle presentation section (step S106 / NO), the information processing apparatus 100 is restricted corresponding to the enlargement restriction section or the reduction restriction section. The scaling amount is set and scaled (step S110). Then, the information processing apparatus 100 performs various conversions such as model view conversion and projection conversion, and then outputs the virtual object V on the screen S (step S112).
  • FIG. 23 is a flow chart showing an example of the flow of display control processing executed by the information processing apparatus 100 according to the present embodiment. In this flow, another example of the flow of display control processing based on the distance of the virtual object V is shown.
  • the information processing apparatus 100 acquires space information and position and orientation information of the user U (step S202). Next, the information processing apparatus 100 arranges the virtual object V in the background space, and calculates the viewing angle of the virtual object V based on the distance between the virtual object V and the user U in the depth direction (step S204). Next, the information processing apparatus 100 determines whether the distance between the user U and the virtual object V belongs to the fixed viewing angle presentation section (step S206). When it is determined that the distance between the user U and the virtual object V belongs to the fixed viewing angle presentation section (step S206 / YES), the information processing apparatus 100 performs scaling amount so that the viewing angle of the virtual object V falls within the fixed viewing angle range. Are set and scaled (step S208).
  • step S216 the processing proceeds to step S216.
  • the information processing apparatus 100 is restricted corresponding to the enlargement restriction section or the reduction restriction section.
  • the scaling amount is set and scaled (step S210).
  • the information processing apparatus 100 determines whether the virtual object V is appropriately displayed (step S212).
  • the case where the virtual object V is not appropriately displayed includes, for example, the virtual object V protruding from the bounding box, the display size becoming too large / small, etc. If it is determined that the virtual object V is appropriately displayed (step S212 / YES), the process proceeds to step S216.
  • step S212 when it is determined that the virtual object V is not appropriately displayed (step S212 / NO), the information processing apparatus 100 applies blurring or fade-out representation to the virtual object V (step S214). This makes it possible to prevent the virtual object V from disturbing the view of the user U. Thereafter, the information processing apparatus 100 performs various conversions such as model view conversion and projection conversion, and then outputs the virtual object V on the screen S (step S216).
  • FIG. 24 is a flow chart showing an example of the flow of display control processing executed by the information processing apparatus 100 according to the present embodiment. This flow shows an example of the flow of display control processing in the case where a plurality of criteria are used in combination.
  • the information processing apparatus 100 acquires space information and position and orientation information of the user U (step S302). Next, the information processing apparatus 100 arranges the virtual object V in the background space, and calculates the viewing angle of the virtual object V based on each of the plurality of criteria (step S304). Next, the information processing apparatus 100 calculates, for each of the plurality of viewing angles calculated based on each of the plurality of criteria, a scaling amount to be within the viewing angle fixed range (step S306). Next, the information processing apparatus 100 calculates the most suitable scaling amount based on the calculated plurality of scaling amounts (step S308).
  • the most suitable scaling amount is, for example, the most natural scaling amount among a plurality of scaling amounts, or a statistical value such as an intermediate value, a mode value, or an average value.
  • the information processing apparatus 100 determines whether the scaling amount calculated in step S308 belongs to the fixed viewing angle presentation section (step S310). For example, in the information processing apparatus 100, the calculated scaling amount is smaller than the enlargement limiting magnification which takes the smallest value among the enlargement limiting magnifications in each of the plurality of criteria, and the reduction scaling factor in each of the plurality of criteria is the largest. It is determined whether it is larger than the enlargement limiting magnification which takes a large value.
  • the information processing apparatus 100 sets and scales the scaling amount so that the viewing angle of the virtual object V falls within the fixed viewing angle range (Ste S312).
  • the information processing apparatus 100 sets a limited scaling amount corresponding to the enlargement limiting section or the reduction limiting section. Scaling is performed (step S314). Then, the information processing apparatus 100 performs various conversions such as model view conversion and projection conversion, and then outputs the virtual object V on the screen S (step S316).
  • the information processing apparatus 100 causes the virtual object to be displayed superimposed on the background space viewed by the user, and the virtual object is displayed based on the distance from the user to the virtual object in the depth direction. Control the size of the In particular, the information processing apparatus 100 sets the size at which the virtual object is displayed within a predetermined range based on whether the distance in the depth direction from the user to the virtual object belongs to the first section or the second section. Switch whether or not to.
  • the information processing apparatus 100 maintains the visibility of the virtual object in the section in accordance with the fixed viewing angle method by switching whether or not to display the virtual object in accordance with the fixed viewing angle method, and a section not in accordance with the fixed viewing angle method. But you can continue to display virtual objects. Therefore, the information processing apparatus 100 can improve the visibility of the virtual object without reducing the amount of information provided to the user. Furthermore, the information processing apparatus 100 can perform a more natural display in which the discomfort is reduced by expanding or reducing the viewing angle of the virtual object based on perspective in a section that does not comply with the fixed viewing angle presentation method.
  • the devices described herein may be implemented as a single device, or some or all may be implemented as separate devices.
  • the storage unit 130 and the control unit 140 include the sensor unit 110, the display unit 121, the speaker 122, the communication unit 123, the operation input unit 124, and the network. It may be provided in an apparatus such as a connected server.
  • the series of processes by the device described herein may be implemented using software, hardware, and a combination of software and hardware.
  • a computer program for realizing each function of the information processing apparatus 100 according to the present embodiment can be prepared and implemented on a PC or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • the following configurations are also within the technical scope of the present disclosure.
  • An information processing apparatus comprising: (2) The first interval is an interval less than a first value, and the second interval is an interval equal to or more than the first value, When the distance belongs to the first section, the control unit makes the size at which the virtual object is displayed larger than the upper limit value of the predetermined range, and the distance belongs to the second section.
  • the information processing apparatus wherein the size at which the virtual object is displayed is within the predetermined range.
  • the control unit switches whether or not the size at which the virtual object is displayed falls within a predetermined range based on whether or not the distance belongs to a third section;
  • the control unit makes the size at which the virtual object is displayed smaller than the lower limit value of the predetermined range when the distance belongs to the third section.
  • the control unit controls the size of the virtual object by controlling the size of the virtual object, and controls the size of the virtual object with respect to the amount of change of the distance by the distance.
  • the information processing apparatus according to any one of (1) to (4), wherein, when not belonging to the second section, the distance is reduced compared to the case of belonging to the second section.
  • the control unit controls the size of the virtual object by controlling the size of the virtual object, and controls the size of the virtual object when the distance does not belong to the second section.
  • the information processing apparatus according to any one of (1) to (5) which is fixed.
  • the control unit sets an area where display of the virtual object is permitted as a bounding box, and based on the size of the bounding box, determines whether the size in which the virtual object is displayed is within the predetermined range.
  • the information processing apparatus according to any one of (1) to (7), which switches (9) The information processing according to (8), wherein the control unit controls the size of the bounding box based on a relative relationship between a position of the user and an object to which the bounding box is associated in the space. apparatus. (10) The control unit switches whether to set the size at which the virtual object is displayed within the predetermined range, based on the ratio of the bounding box to the area capable of displaying the virtual object. Or the information processing apparatus as described in (9).
  • the control unit may set the size in which the virtual object is displayed within the predetermined range within the range in which the size in which the virtual object in the bounding box is displayed does not exceed the bounding box.
  • the information processing apparatus according to any one of (10) to (10).
  • (12) The control unit switches whether to set the size at which the virtual object is displayed within the predetermined range based on the distance in the depth direction from the user to the target on which the virtual object is superimposed. 1) to the information processing apparatus according to any one of (11).
  • (13) The control unit switches whether to set the size at which the virtual object is displayed within the predetermined range, based on the ratio of the target on which the virtual object is superimposed in the displayable area of the virtual object.
  • the information processing apparatus according to any one of (1) to (12).
  • the control unit may set the size at which the virtual object is displayed within the predetermined range based on a scaling amount required to make the size at which the virtual object is displayed a predetermined size.
  • the information processing apparatus according to any one of (1) to (13), which switches (15) Display a virtual object superimposed on the space viewed by the user, Controlling a size in which the virtual object is displayed based on a distance in a depth direction from the user to the virtual object; Switching whether or not the size at which the virtual object is displayed falls within a predetermined range based on whether the distance belongs to the first section or the second section;
  • An information processing method performed by a processor including: (16) Computer, Display a virtual object superimposed on the space viewed by the user, Controlling a size in which the virtual object is displayed based on a distance in a depth direction from the user to the virtual object; A control unit that switches whether or not the size at which the virtual object is displayed falls within a predetermined range based on which of the first section and the second section the distance belongs to;

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】仮想物体の視認性を適切に向上させることが可能な仕組みを提供する。 【解決手段】ユーザが見る空間に重畳させて仮想物体を表示させ、前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、を備える情報処理装置。

Description

情報処理装置、情報処理方法及び記録媒体
 本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
 近年、VR(virtual Reality)及びAR(Augmented Reality)のように、ユーザが見る空間に重畳させて仮想物体を表示する技術が様々な分野で活用されている。仮想物体は、ユーザが見る空間の任意の位置に配置され、ユーザと仮想物体との相対的な位置関係に応じて見え方が変わる。仮想物体は、遠近法に従って拡縮されることで、実世界と同様の自然な見え方を提供することができる。例えば、ユーザの近くに配置された仮想物体は大きく見え、ユーザから遠くに配置された仮想物体は小さく見えるようになる。しかしながら、単純に遠近法に従うと、仮想物体として表示された文字が大きく表示され過ぎて文字の一部しか視野におさまらなかったり、文字が小さく表示され過ぎて視力の関係で読めなかったりする等、視認性が低下してしまう場合がある。
 この点に関し、下記特許文献1では、車に搭乗したユーザの移動距離に応じて交差点等に対応付けられた仮想物体の位置や大きさを変更したり、次の交差点に対応付けられた仮想物体を新たに表示したりする技術が開示されている(例えば、図24等参照)。
国際公開第2016/031358号
 しかし、上記特許文献1に記載された技術では、次の交差点よりも先の交差点に対応付けられた仮想物体は表示されない。ユーザは、所定の距離よりも遠くに配置される仮想物体をそもそも視認することができないので、ユーザが享受できる情報量は低下してしまう。
 そこで、本開示では、仮想物体の視認性を適切に向上させることが可能な仕組みを提供する。
 本開示によれば、ユーザが見る空間に重畳させて仮想物体を表示させ、前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、を備える情報処理装置が提供される。
 また、本開示によれば、ユーザが見る空間に重畳させて仮想物体を表示させ、前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替えること、を含む、プロセッサにより実行される情報処理方法が提供される。
 また、本開示によれば、コンピュータを、ユーザが見る空間に重畳させて仮想物体を表示させ、前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、として機能させるためのプログラムが記録された記録媒体が提供される。
 以上説明したように本開示によれば、仮想物体の視認性を適切に向上させることが可能な仕組みが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の外観構成の一例を示す図である。 本実施形態に係る情報処理装置により表示される画面の一例を示す図である。 仮想物体の奥行き方向の距離と輻輳角との関係の一例を示す図である。 遠近法に従って表示される仮想物体の、奥行き方向の距離と視角との関係の一例を示す図である。 視角固定提示法に従って表示される仮想物体の、奥行き方向の距離と視角との関係の一例を示す図である。 図5に示した例における仮想物体の、奥行き方向の距離とスケーリング量との関係の一例を示す図である。 図5に示した例における仮想物体の、奥行き方向の距離と視角との関係の一例を示す図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る表示制御処理により表示される仮想物体の、奥行き方向の距離とスケーリング量との関係の一例を示すグラフである。 図9に示したスケーリング量が適用される仮想物体の、奥行き方向の距離と視角との関係の一例を示す図である。 図9に示したスケーリング量が適用される仮想物体の、奥行き方向の距離と視角との関係の一例を示すグラフである。 本実施形態に係る表示制御処理により表示される仮想物体を含む画面Sの一例を示す図である。 本実施形態に係る表示制御処理により表示される仮想物体を含む画面Sの一例を示す図である。 本実施形態に係る表示制御処理により表示される仮想物体の、奥行き方向の距離とスケーリング量との関係の一例を示す図である。 本実施形態に係る表示制御処理により表示される仮想物体の、奥行き方向の距離とスケーリング量との関係の一例を示す図である。 本実施形態に係る表示制御処理により表示される仮想物体の一例を示す図である。 本実施形態に係る表示制御処理により表示される仮想物体の一例を示す図である。 本実施形態に係るバウンディングボックスの一例を示す図である。 本実施形態に係るバウンディングボックスの一例を示す図である。 本実施形態に係る複数の基準に基づく表示制御処理が併用される場合の、仮想物体の距離とスケーリング量との関係の一例を示すグラフである。 本実施形態に係る複数の基準に基づく表示制御処理が併用される場合の、仮想物体の距離とスケーリング量との関係の一例を示すグラフである。 本実施形態に係る情報処理装置により実行される表示制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置により実行される表示制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置により実行される表示制御処理の流れの一例を示すフローチャートである。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
  1.はじめに
   1.1.アイウェア型装置の外観構成
   1.2.仮想物体の見え方
   1.3.仮想物体のスケーリング
   1.4.技術的課題
  2.構成例
  3.技術的特徴
   3.1.仮想物体の距離に基づく表示制御処理
   3.2.バウンディングボックスに基づく表示制御処理
   3.3.他の基準に基づく表示制御処理
   3.4.複数の基準の併用
   3.5.処理の流れ
  4.まとめ
 <<1.はじめに>>
 まず、図1~図7を参照して、本開示の一実施形態に係る情報処理装置の概要を説明する。
 <1.1.アイウェア型装置の外観構成>
 図1は、本開示の一実施形態に係る情報処理装置の外観構成の一例を示す図である。図1に示すように、情報処理装置100は、アイウェア型装置として構成され得る。
 情報処理装置100は、例えば両側頭部から後頭部にかけて半周回するようなフレーム構造の装着ユニットを持ち、装着ユニットが両耳殻にかけられることでユーザUに装着される。そして、この情報処理装置100は、図1に示すような装着状態において、ユーザUの両眼の直前に表示部121が配置される構成とされている。この表示部121には、例えば液晶パネルが用いられ、情報処理装置100は、液晶パネルの透過率を制御することで、スルー状態、即ち透明又は半透明の状態にしたり、非透過の状態にしたりすることができる。
 表示部121は、ユーザUが見る空間に重畳させて仮想物体を表示する。例えば、表示部121は、スルー状態のまま、テキストや図等の画像を表示することで、実空間の風景に仮想物体を重畳表示(即ち、AR表示)することができる。また、表示部121は、非透過の状態において、外向きカメラ111で撮像された実空間の撮像画像を表示し、当該実空間の撮像画像に仮想物体を重畳表示することも可能である。他方、表示部121は、非透過の状態において、VR情報を表示可能である。例えば、表示部121は、非透過の状態において、情報処理装置100が外部機器から受信したコンテンツや、情報処理装置100の記憶媒体に記憶されるコンテンツを再生表示したり、再生表示したコンテンツに仮想物体を重畳表示したりすることもできる。なお、外部機器とは、サーバ、デジタルカメラ、デジタルビデオカメラ、または携帯電話端末、スマートフォン、パーソナルコンピュータ等の情報処理装置などである。
 なお、以下では、表示部121において表示される画像全体を、画面とも称する。ここで、画面とは、非透過の状態において表示される画像、スルー状態において透過的に映る光景、及びこれらに重畳して表示される仮想物体を含む概念であるものとする。また、ユーザUが見る空間を、背景空間とも称する。背景空間は、ARであれば実空間であり、VRであれば仮想空間である。
 図1に示すように、ユーザUが向く方向をZ軸方向とし、水平方向をX軸方向とし、鉛直方向の逆方向をY軸方向とする。Z軸方向は、ユーザUの奥行き方向としても捉えることができる。
 情報処理装置100には、ユーザUが情報処理装置100を装着した状態で、ユーザUを近距離から撮像するように、ユーザUに向けて一対の内向きカメラ112が配置されている。例えば、内向きカメラ112は、ユーザUの目を撮像する。これにより、情報処理装置100は、ユーザUの視線を認識することができる。内向きカメラ112は、深度情報も取得可能なステレオカメラであってもよいし、深度センサが併設されていてもよい。
 情報処理装置100には、ユーザUが情報処理装置100を装着した状態において、ユーザUの前方(即ち、Z軸方向)を撮像方向として撮像するように、前方に向けて外向きカメラ111が配置されている。例えば、外向きカメラ111は、ユーザUの手等の認識対象物を撮像する。外向きカメラ111は、深度情報も取得可能なステレオカメラであってもよいし、深度センサが併設されていてもよい。
 図1では図示されていないが、ユーザUが情報処理装置100を装着した状態において、ユーザUの両耳殻に挿入されるイヤホンスピーカが配置されてもよい。また、図1では図示されていないが、外部音を収音するマイクが配置されてもよい。
 なお、本実施形態に係る情報処理装置100は、図1に示したようなアイウェア型装置でもよいし、例えばスマートフォンを眼前に固定することで構成される簡易的なアイウェア型装置であってもよい。その場合、スマートフォンのディスプレイ、ディスプレイ側に設けられるインカメラ、及び背面側に設けられるアウトカメラが、それぞれ上述した表示部121、内向きカメラ112及び外向きカメラ111として機能する。
 他にも、情報処理装置100は、アイウェア型装置の他、スマートフォン、タブレット端末、PC、又はデジタルサイネージ等として実現され得る。
 以上、情報処理装置100の外観構成を説明した。続いて、情報処理装置100の内部構成を説明する。以下では、情報処理装置100は、アイウェア型装置であり、AR表示を行うものとして説明する。
 <1.2.仮想物体の見え方>
 以下、図2~図4を参照しながら、仮想物体の見え方について説明する。
 図2は、本実施形態に係る情報処理装置100により表示される画面の一例を示す図である。図2では、画面Sに背景空間におけるユーザUの手Tが映っている。ユーザUの手Tは重畳対象であり、ユーザUの手Tに仮想物体Vが重畳して表示されている。ユーザUが手TをZ軸方向に動かすと、それに連動して仮想物体VもZ軸方向に動く。仮想物体Vの奥行き方向の距離をユーザUがどのように認識するかについて、図3及び図4を参照して説明する。
 図3は、仮想物体Vの奥行き方向の距離と輻輳角との関係の一例を示す図である。ユーザUの右目の視線方向と左目の視線方向とが成す角は、輻輳角(又は両眼視差)とも称される。ユーザUから仮想物体Vまでの距離が遠い場合、輻輳角αは小さい。一方で、ユーザUから仮想物体Vまでの距離が近い場合、輻輳角αは大きい。ユーザUは、このような輻輳角の大小により、奥行き方向の距離を認識することができる。
 図4は、遠近法に従って表示される仮想物体Vの、奥行き方向の距離と視角との関係の一例を示す図である。ユーザUから見て所定の範囲内の光景及び仮想物体Vが、画面Sに含まれて、表示部121に映る又は表示される。ユーザUが視認する対象のXY平面上の端部から眼球の中心に引いた2本の直線が成す角を、視角とも称する。図4に示すように、仮想物体V及びVが同じ大きさであるとすると、ユーザUから近い仮想物体Vの視角θは大きく、ユーザUから遠い仮想物体Vの視角θは小さい。視角は、表示部121において仮想物体Vが表示される大きさとして捉えることができる。ユーザUから近い仮想物体Vは、表示部121において視角θを実現する大きさV´で表示される。ユーザUから遠い仮想物体Vは、表示部121において視角θを実現する大きさV´で表示される。大きさV´及びV´の大小関係は、視角θ及びθの大小関係と同様である。このような、ユーザUと仮想物体Vとの距離に応じて、表示部121において仮想物体Vが表示される大きさが拡縮される表現は、遠近法に従った表現であると言える。ユーザUは、視角の大小により、換言すると、表示部121において仮想物体Vが表示される大きさの大小により、奥行き方向の距離を認識することができる。
 以上説明したように、ユーザUは、仮想物体Vとの距離を、輻輳角と視角とに基づいて認識することができる。
 <1.3.仮想物体のスケーリング>
 しかし、単純に遠近法に従って視角が拡縮される場合、仮想物体Vとして表示された文字が大きく表示され過ぎて文字の一部しか視野におさまらなかったり、文字が小さく表示され過ぎて視力の関係で読めなかったりする等、視認性が低下してしまう場合がある。そこで、仮想物体Vの遠近に依らず、視角を一定に保つ技術が考えられる。このような技術を、以下では視角固定提示法(Scale Fixed Visualization)とも称する。視角固定提示法について、図5~図7を参照して説明する。
 図5は、視角固定提示法に従って表示される仮想物体Vの、奥行き方向の距離と視角との関係の一例を示す図である。視角固定提示法においては、ユーザUの近くに仮想物体Vが配置される場合には仮想物体Vが小さなるようスケーリングされ、ユーザUの遠くに仮想物体Vが配置される場合には仮想物体Vが大きくなるようスケーリングされる。スケーリングとは、仮想物体Vにスケーリング量(拡大倍率/縮小倍率)を適用して、仮想物体Vの大きさを拡縮することを指す。図5に示した例では、ユーザUの近くに配置される仮想物体Vは小さくスケーリングされ、ユーザUの遠くに配置される仮想物体Vは大きくスケーリングされる。このようなスケーリングにより、仮想物体Vの視角が一定に保たれる。図5に示した例では、ユーザUから近い仮想物体V及びVの視角θ及びθは同一となり、表示部121において表示される大きさV´及びV´も同一となる。
 図6は、図5に示した例における仮想物体Vの、奥行き方向の距離とスケーリング量との関係の一例を示す図である。図6に示すグラフの横軸は、ユーザUと仮想物体Vとの奥行き方向の距離である。図6に示すグラフの縦軸は、仮想物体Vの大きさを、仮想物体Vに適用されるスケーリング量で表している。ユーザUと仮想物体Vとの奥行き方向の距離とは、ユーザUの目から仮想物体VまでのZ軸上の距離である。かかる距離を、以下では単に仮想物体Vの距離とも称する。
 図6に示すように、仮想物体Vの距離が短いほど、仮想物体Vが小さくなるようスケーリングされる。一方で、仮想物体Vの距離が長いほど、仮想物体Vが大きくなるようスケーリングされる。なお、視角固定提示法により仮想物体Vがスケーリングされる区間を、視角固定提示区間とも称する。
 その結果、図7に示すように、仮想物体Vの視角は一定となる。図7は、図5に示した例における仮想物体Vの、奥行き方向の距離と視角との関係の一例を示す図である。図7に示すグラフの横軸は、ユーザUと仮想物体Vとの奥行き方向の距離である。図7に示すグラフの縦軸は、仮想物体Vの視角、即ち表示部121に表示される仮想物体Vの大きさである。図7に示すように、ユーザUと仮想物体Vとの奥行き方向の距離に依らず、仮想物体Vの視角は一定値に固定されている。
 なお、上記では、視角固定提示法においては視角が一定値に固定されるものとして説明したが、視角固定提示法はかかる例に限定されない。視角固定提示法は、視角が所定の幅に収められて視角が略固定されることも、視角固定提示法に含まれるものとする。
 <1.4.技術的課題>
 遠近法に単純に従って仮想物体Vが表示される場合、ユーザUは距離感を直観的に把握することが可能になる一方で、遠すぎる又は近すぎる場合において視認性が低下する。この点、視角固定提示法によれば、仮想物体Vの視角が一定に保たれるので、遠近法で損なわれていた視認性を、低下させることなく維持することができる、というメリットがある。また、視角固定提示法によれば、遠近法による距離感の直観的な把握が困難になる一方で、輻輳角により距離感を把握することが依然として可能である。
 しかし、単純に視角固定提示法に従って仮想物体Vを表示するだけでは、ユーザUに違和感を与えてしまい得るというデメリットがある。例えば、図6に示すように、ユーザUと仮想物体Vとの距離が近くなるほど仮想物体Vの大きさが限りなく0に近づき、逆に遠くなるほど仮想物体Vの大きさが無限大に近づく。ユーザUは、これを観察した場合、月の地平拡大のような錯視効果によって、仮想物体Vを異様に小さく感じたり大きく感じたりする、といった違和感を覚える。
 そこで、本開示では、視角固定提示法に従った表示を行いつつも、ユーザUに与える違和感を軽減することが可能な仕組みを提供する。
 <<2.構成例>>
 図8は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。図8に示すように、情報処理装置100は、センサ部110、表示部121、スピーカー122、通信部123、操作入力部124、記憶部130及び制御部140を含む。
 (1)センサ部110
 センサ部110は、情報処理装置100に関する各種情報を検知する機能を有する。図8に示すように、センサ部110は、外向きカメラ111、内向きカメラ112、マイク113、ジャイロセンサ114、加速度センサ115、方位センサ116、位置測位部117及び生体センサ118を含む。
 外向きカメラ111及び内向きカメラ112は、上述したように、ユーザUの前方及びユーザUの各々を撮像する撮像装置である。外向きカメラ111及び内向きカメラ112は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、及びレンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。外向きカメラ111及び内向きカメラ112は、デジタル信号とされた撮影画像のデータを出力する。
 マイク113は、周囲の音を収音する音声入力装置である。マイク113は、収音結果を示す信号を出力する。マイク113は、さらにマイクアンプを有していてもよい。マイク113は、アナログ信号を出力してもよいし、ADC(Analog Digital Converter)を介してデジタル信号を出力してもよい。
 ジャイロセンサ114は、情報処理装置100の角速度を検知して出力する機能を有する。ジャイロセンサ114は、圧電振動子又はシリコン振動子等の振動子を含み、振動する振動子に加わるコリオリの力に基づいて角速度を検知する。
 加速度センサ115は、情報処理装置100の加速度を検知して出力する機能を有する。加速度センサ115は、光学方式、又は半導体方式等の任意の検知方式により加速度を検知する。加速度を検知する軸数は任意であり、例えば3軸であってもよい。
 方位センサ116は、情報処理装置100の方位を検知して出力する機能を有する。より具体的には、方位センサ116は、表示部121が向く方向、即ちユーザUが向く方向を検知する機能を有する。例えば、方位センサ116は、地磁気センサを含み、地磁気センサにより検知された方位を示す情報と、情報処理装置100における地磁気センサの設置姿勢及び表示部121の設置姿勢との相対関係とに基づいて、表示部121が向く方向を検知する。
 位置測位部117は、情報処理装置100の位置情報を検知して出力する機能を有する。位置測位部117は、例えばGNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して情報処理装置100の緯度、経度及び高度から成る位置情報を検知し、検知した位置情報を出力する。なお、位置測位部117は、他の任意の技術を用いて位置情報を検知してもよい。例えば、位置測位部117は、Wi-Fi(登録商標)、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置情報を検知するものであってもよい。
 生体センサ118は、ユーザUの生体情報を検知して出力する機能を有する。例えば、生体センサ118は、体温センサ、脈拍センサ、筋電センサ及び血圧センサを含み、体温、脈拍、筋電及び血圧を生体情報をとして検知する。
 以上、センサ部110に含まれる各種センサについて説明した。図8では、情報処理装置100にセンサ部110が含まれる構成を示したが、センサ部110の一部又は全部が情報処理装置100とは別個に構成されていてもよい。その場合、情報処理装置100は、有線又は無線の通信路を介して検知結果を受信する。
 (2)表示部121
 表示部121は、画像を表示する機能を有する。表示部121は、透明又は半透明のディスプレイとして実現されてもよいし、非透明のディスプレイとして実現されてもよい。他にも、表示部121は、投影面に画像を投影する投影装置として実現されてもよいし、ユーザUの網膜に直接的に画像を投影する網膜投影ディスプレイとして実現されてもよい。
 (3)スピーカー122
 スピーカー122は、音を出力する音声出力装置である。スピーカー122は、DAC(Digital Analog Converter)及びアンプを介して音データをアナログ信号に変換して出力する。
 (4)通信部123
 通信部123は、他の装置と情報を送受信するインタフェースである。通信部123は、LAN(Local Area Network)、無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)又はNFC(Near Field Communication)等の有線又は無線の任意の通信規格に準拠して通信を行う。
 (5)操作入力部124
 操作入力部124は、ユーザUからの操作入力を受け付ける機能を有する。操作入力部124は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ又はレバー等により実現される。操作入力部124は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置100の操作に対応した携帯電話又はPDA等の外部接続機器であってもよい。
 (6)記憶部130
 記憶部130は、情報処理装置100の動作のための情報を一時的に又は非一時的に記憶する機能を有する。記憶部130は、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。記憶部130は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。
 (7)制御部140
 制御部140は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。制御部140は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)、集積回路又は電子回路等により実現され得る。制御部140は、さらに、プログラム及び演算パラメータを一時的に記憶するROM及びRAMを含んでいてもよい。
 図8に示すように、制御部140は、論理的な機能として、空間情報取得部141、位置姿勢取得部142、表示制御部143及び出力処理部144を備える。
 空間情報取得部141は、空間情報を取得する機能を有する。空間情報とは、仮想物体Vが重畳される背景空間に関する情報である。空間情報は、背景空間に存在する物体の、種類、形状を示す三次元情報、位置及び姿勢を示す情報を含み得る。また、空間情報は、背景空間において物体が存在しない空間の形状を示す情報を含み得る。例えば、空間情報取得部141は、外向きカメラ111により撮像された画像を画像認識したり、深度情報を解析したりすることで、これらの情報を取得する。
 位置姿勢取得部142は、情報処理装置100の位置及び姿勢を示す位置姿勢情報を取得する機能を有する。位置姿勢情報は、ユーザUの視点の位置及び姿勢を示す情報と捉えられてもよい。例えば、位置姿勢取得部142は、外向きカメラ111により撮像された画像に基づいて、SLAM(Simultaneous Localization and Mapping)等の技術を用いて位置姿勢情報を取得する。位置姿勢取得部142は、外向きカメラ111により撮像された画像に含まれる、空間に付されたマーカーの認識結果に基づいて、位置姿勢情報を取得してもよい。さらに、位置姿勢取得部142は、ジャイロセンサ114、加速度センサ115、方位センサ116及び位置測位部117による検知結果を加味して、位置姿勢情報を取得してもよい。
 表示制御部143は、表示部121による表示を制御する機能を有する。具体的には、表示制御部143は、表示部121において表示される仮想物体Vを表示するための表示制御情報を生成する。表示制御情報は、仮想物体Vの内容(例えば、表示すべき画像)、及び仮想物体Vのレイアウト(例えば、画面Sにおける仮想物体Vの頂点座標)を示す情報の組み合わせを含む。表示制御部143は、仮想物体Vを重畳対象に重畳するように配置し、仮想物体の大きさをスケーリングすることで仮想物体Vが表示される大きさ(即ち、視角)を調節する。そして、表示制御部143は、モデルビュー変換及びプロジェクション変換等の各種変換処理を行って、表示部121に表示される画面S内の仮想物体Vのレイアウトを決定する。仮想物体Vの視角の調節と、モデルビュー変換及びプロジェクション変換等の各種変換処理との順番は任意であり、例えば、モデルビュー変換とプロジェクション変換との間に仮想物体Vの視角の調節が行われてもよい。
 出力処理部144は、表示制御部143により生成された表示制御情報に基づいて、表示部121による表示を制御する。例えば、出力処理部144は、表示制御部143により指示されたレイアウトで、表示部121により仮想物体Vを表示させる。また、出力処理部144は、表示部121による表示に合わせて、スピーカー122による音声を出力させる。
 なお、制御部140は、これらの構成要素以外の構成要素を含んでいてもよい。即ち、制御部140は、これらの構成要素による動作以外の動作も行い得る。
 <<3.技術的特徴>>
 以下では、視角固定提示法に従いつつも、ユーザUに与える違和感を軽減することが可能な仕組みについて詳しく説明する。
 <3.1.仮想物体の距離に基づく表示制御処理>
 情報処理装置100(例えば、表示制御部143)は、ユーザUから仮想物体Vまでの奥行き方向の距離に基づいて、仮想物体Vが表示される大きさ(即ち、視角)を制御する。例えば、情報処理装置100は、仮想物体Vの距離が長くなるほど仮想物体Vの視角を小さくし、仮想物体Vの距離が短くなるほど仮想物体Vの視角を大きくする。仮想物体Vの大きさが固定又は略固定であれば、仮想物体Vが遠近法に従って表示されることとなり、仮想物体Vの表示の自然さが実現される。
 さらに、情報処理装置100は、仮想物体Vの大きさを制御することで、仮想物体Vの視角を制御する。即ち、情報処理装置100は、仮想物体Vをスケーリングすることで、仮想物体Vの視角を拡縮する。例えば、情報処理装置100は、仮想物体Vに小さなスケーリング量を適用することで仮想物体Vの視角を小さくし、仮想物体Vに大きなスケーリング量を適用することで仮想物体Vの視角を大きくする。情報処理装置100は、仮想物体Vの距離に応じて、スケーリング量の制御方法を切り替える。この点について、図9~図11を参照しながら説明する。
 図9は、本実施形態に係る表示制御処理により表示される仮想物体Vの、奥行き方向の距離とスケーリング量との関係の一例を示すグラフである。図9に示すグラフの横軸は、ユーザUと仮想物体Vとの奥行き方向の距離(即ち、仮想物体Vの距離)である。図9に示すグラフの縦軸は、仮想物体Vの大きさを、仮想物体Vに適用されるスケーリング量で表している。
 図10は、図9に示したスケーリング量が適用される仮想物体Vの、奥行き方向の距離と視角との関係の一例を示す図である。
 図11は、図9に示したスケーリング量が適用される仮想物体Vの、奥行き方向の距離と視角との関係の一例を示すグラフである。図11に示すグラフの横軸は、ユーザUと仮想物体Vとの奥行き方向の距離である。図11に示すグラフの縦軸は、仮想物体Vの視角、即ち表示部121に表示される仮想物体Vの大きさである。
 情報処理装置100は、仮想物体Vの距離に基づいて、仮想物体Vの視角を所定範囲内にするか否かを切り替える。仮想物体Vの視角を所定範囲内にすることは、仮想物体Vの視角を固定ないし略固定されるように、仮想物体Vの距離に応じて仮想物体Vをスケーリングすること、即ち仮想物体Vの表示を視角固定提示法に従って行うことを差す。つまり、情報処理装置100は、仮想物体Vの距離に基づいて、仮想物体Vの表示を視角固定提示法に従って行うか否かを切り替える。このような切り替えにより、情報処理装置100は、視角固定提示法のメリットを享受しつつも、デメリットが生じる区間では視角固定提示法を用いない、という使い分けを行うことが可能となる。これにより、仮想物体Vの視認性の維持と違和感の軽減とを両立することができる。以下では、視角固定提示法に従って表示される仮想物体Vの視角の範囲を、視角固定範囲とも称する。
 (1)視角固定提示区間
 情報処理装置100は、仮想物体Vの距離が第2の区間に属する場合、仮想物体Vの視角を視角固定範囲内にする。即ち、情報処理装置100は、第2の区間では視角固定提示法を用いる。例えば、仮想物体Vが近すぎず、且つ遠すぎず、視角固定提示法を用いてもユーザUに違和感を与えない区間では、情報処理装置100は、仮想物体Vの視角が視角固定範囲に固定されるように、仮想物体Vをスケーリングする。これにより、第2の区間では、視角固定提示法のメリットを享受することができる。以下では、第2の区間を視角固定提示区間とも称する。
 第2の区間は、第1の値以上の区間である。また、第2の区間は、第2の値未満の区間である。第1の値は、後述する縮小制限を開始する閾値となる値である。仮想物体Vの距離に基づく表示制御処理に関して言えば、第1の値は縮小制限を開始する閾値となる距離であり、縮小制限距離とも称される。第2の値は、後述する拡大制限を開始する閾値となる値である。仮想物体Vの距離に基づく表示制御処理に関して言えば、第2の値は拡大制限を開始する閾値となる距離であり、拡大制限距離とも称される。
 図9に示すように、視角固定提示区間Zにおいては、情報処理装置100は、仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量(即ち、図9に示すグラフの傾き)を、所定値にする。ここでの所定値とは、仮想物体Vの視角が視角固定範囲内となる値である。情報処理装置100は、仮想物体Vの視角が視角固定範囲内になるように、仮想物体Vの距離が短いほど仮想物体Vが小さくなるようスケーリングし、仮想物体Vの距離が長いほど仮想物体Vが大きくなるようスケーリングする。その結果、図10及び図11に示すように、視角固定提示区間Zにおいては、仮想物体Vの距離に依らず、仮想物体Vの視角は一定値θに固定されている。
 なお、図10では、視角固定提示区間Zにおける仮想物体Vの視角θを示す破線が図示されている。図10において、仮想物体VのY軸方向の両端が当該破線に接することは視角がθであることを意味し、仮想物体Vの両端が当該破線を超えることは視角がθを超えることを意味し、仮想物体Vの両端が当該破線の中に納まることは視角がθ未満であることを意味する。
 視角固定範囲の上限値及び下限値は同じ値であってもよいし、異なっていてもよい。上限値と下限値とが同じ値である場合、図5~図7を参照して上記説明したように、視角固定提示区間においては、仮想物体Vの視角は仮想物体Vの距離に依らず固定される(即ち、一定となる)。上限値と下限値とが異なる値である場合、仮想物体Vの視角は略固定される。即ち、仮想物体Vの視角は仮想物体Vの距離に応じて変化する。ただし、上限値と下限値との間が十分狭くなるように設定される場合、単純に遠近法に従うよりも仮想物体Vの距離に応じた視角の変化度合いが緩やかになり、上述した視認性の低下を抑制することができる。以下では、視角固定範囲の上限値及び下限値は同じ値であるものとする。
 (2)視角非固定提示区間
 情報処理装置100は、仮想物体Vの距離が視角固定提示区間Zに属さない場合、仮想物体Vの視角を視角固定範囲外にする。即ち、情報処理装置100は、視角固定提示区間Z以外では視角固定提示法を用いない。視角固定提示区間Z以外の区間(即ち、視角非固定提示区間)として、第1の区間Z及び第3の区間Zがある。即ち、情報処理装置100は、仮想物体Vの距離が第1の区間Z、第2の区間Z又は第3の区間Zのいずれに属するかに基づいて、仮想物体Vの視角を所定範囲内にするか否かを切り替える。以下、第1の区間Z及び第3の区間Zにおける表示制御処理について詳しく説明する。
 ・縮小制限区間
 情報処理装置100は、仮想物体Vの距離が第1の区間に属する場合、仮想物体Vの視角を視角固定範囲の上限値よりも大きくする。第1の区間は、第1の値(即ち、縮小制限距離)未満の区間である。以下では、第1の区間を縮小制限区間とも称する。また、縮小制限距離におけるスケーリング量を、縮小制限倍率とも称する。縮小制限倍率は、視角固定区間において適用されるスケーリング量の最小値、及び縮小制限区間において適用されるスケーリング量の最大値とも捉えることができる。
 詳しくは、情報処理装置100は、仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量を、仮想物体Vの距離が縮小制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少なくする。仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量に対応する、図9に示したグラフの傾きは、仮想物体Vの距離が縮小制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少ない。これにより、縮小制限区間Zにおいては、仮想物体Vの距離が短くなっても仮想物体Vの縮小は制限される。図10に示すように、縮小制限区間Zにおいては、仮想物体Vの距離に応じた縮小が制限されるので、仮想物体Vの視角は、視角固定提示区間Zにおける仮想物体Vの視角θを超える。
 情報処理装置100は、縮小制限区間Zでは仮想物体Vの距離に応じた縮小を制限することで、図11に示すように、仮想物体Vの距離が短くなるほど仮想物体Vの視角を大きくする。換言すると、情報処理装置100は、縮小制限区間Zでは、遠近法に従って仮想物体Vを表示する。従って、仮想物体Vの距離が短くても仮想物体Vの大きさが限りなく0に近づくような事態は回避される。このように、縮小制限区間Zでは、視角固定提示法のデメリットを避け、違和感が軽減されたより自然な表示を行うことができる。
 ・拡大制限区間
 情報処理装置100は、仮想物体Vの距離が第3の区間に属する場合、仮想物体Vの視角を視角固定範囲の下限値よりも小さくする。第3の区間は、第2の値(即ち、拡大制限距離)以上の区間である。以下では、第3の区間を拡大制限区間とも称する。また、拡大制限距離におけるスケーリング量を、拡大制限倍率とも称する。拡大制限倍率は、視角固定区間において適用されるスケーリング量の最大値、及び拡大制限区間において適用されるスケーリング量の最小値とも捉えることができる。
 詳しくは、情報処理装置100は、仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量を、仮想物体Vの距離が拡大制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少なくする。仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量に対応する、図9に示したグラフの傾きは、仮想物体Vの距離が拡大制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少ない。これにより、拡大制限区間Zにおいては、仮想物体Vの距離が長くなっても仮想物体Vの拡大は制限される。図10に示すように、拡大制限区間Zにおいては、仮想物体Vの距離に応じた拡大が制限されるので、仮想物体Vの視角は、視角固定提示区間Zにおける仮想物体Vの視角θ未満である。
 情報処理装置100は、拡大制限区間Zでは仮想物体Vの距離に応じた拡大を制限することで、図11に示すように、仮想物体Vの距離が長くなるほど仮想物体Vの視角を小さくする。換言すると、情報処理装置100は、拡大制限区間Zでは、遠近法に従って仮想物体Vを表示する。従って、仮想物体Vの距離が長くても仮想物体Vの大きさが限りなく無限大に近づくような事態は回避される。このように、拡大制限区間Zでは、視角固定提示法のデメリットを避け、違和感が軽減されたより自然な表示を行うことができる。
 (3)補足
 仮想物体Vの視角が変化する場合には、アニメーションによって連続的に変化させることが好ましい。アニメーションにより、仮想物体Vの視角が急激に変化することが防止され、なめらかに変化させることが可能になる。とりわけ、縮小制限距離(即ち、縮小制限倍率)及び拡大制限距離(即ち、拡大制限倍率)においては、アニメーションが用いられることが好ましい。
 (4)画面表示例
 以下では、図12及び図13を参照しながら、仮想物体Vの距離に基づく表示制御処理が行われる場合の画面表示例を説明する。
 図12は、本実施形態に係る表示制御処理により表示される仮想物体Vを含む画面Sの一例を示す図である。図12では、重畳対象TであるユーザUの手に仮想物体Vを重畳させた状態でユーザUが重畳対象Tを前後に動かした場合の、画面Sの様子が示されている。画面S及び画面Sは、仮想物体Vの距離が視角固定提示区間Zに属する場合の様子を示しており、図12に示すように、画面S及びSに映る仮想物体Vの視角は同一である。仮想物体Vの距離が視角固定提示区間Zに属する場合、仮想物体Vの視角は同一に保たれるためである。画面Sは、仮想物体Vの距離が縮小制限区間Zに属する場合の様子を示しており、図12に示すように、画面Sに映る仮想物体Vの視角は、仮想物体Vの距離が視角固定提示区間Zに属する場合よりも大きい。縮小制限区間Zにおいては、仮想物体Vの距離が短くなっても仮想物体Vの縮小は制限されるので、遠近法により、仮想物体Vの距離が近くなるほど仮想物体Vの視角は大きくなるためである。画面Sは、仮想物体Vの距離が拡大制限区間Zに属する場合の様子を示しており、図12に示すように、画面Sに映る仮想物体Vの視角は、仮想物体Vの距離が視角固定提示区間Zに属する場合よりも小さい。拡大制限区間Zにおいては、仮想物体Vの距離が長くなっても仮想物体Vの拡大は制限されるので、遠近法により、仮想物体Vの距離が長くなるほど仮想物体Vの視角は小さくなるためである。
 図13は、本実施形態に係る表示制御処理により表示される仮想物体Vを含む画面Sの一例を示す図である。図13では、重畳対象Tである富士山に仮想物体Vを重畳させた状態で重畳対象Tをズームイン/ズームアウトした場合の、画面Sの様子が示されている。画面S及び画面Sは、仮想物体Vの距離が視角固定提示区間Zに属する場合の様子を示しており、画面Sは、仮想物体Vの距離が縮小制限区間Zに属する場合の様子を示しており、画面Sは、仮想物体Vの距離が拡大制限区間Zに属する場合の様子を示している。図13に示す画面S~Sにおける仮想物体Vの視角は、図12に示した画面S~Sにおける仮想物体Vの視角と同様である。
 (5)縮小制限/拡大制限の他の例
 本実施形態に係る縮小制限/拡大制限の他の例を、図14及び図15を参照して説明する。
 図14は、本実施形態に係る表示制御処理により表示される仮想物体Vの、奥行き方向の距離とスケーリング量との関係の一例を示す図である。図14に示すグラフの横軸及び縦軸は、図9に示したグラフの横軸及び縦軸と同様である。図14に示した例では、図9に示した例と同様に、仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量は、仮想物体Vの距離が縮小制限区間Z又は拡大制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少ない。さらに、図14に示した例では、情報処理装置100は、仮想物体Vの距離が視角固定提示区間Zに属さない場合(即ち、縮小制限区間Z又は拡大制限区間Zに属する場合)、仮想物体Vが表示される大きさを固定している。詳しくは、縮小制限区間Zにおいては、仮想物体Vの距離によらず、仮想物体Vの大きさ(ここでは、スケーリング量)は縮小制限倍率に固定される。また、拡大制限区間Zにおいては、仮想物体Vの距離によらず、仮想物体Vの大きさは拡大制限倍率に固定される。これにより、縮小制限区間Z及び拡大制限区間Zでは、遠近法に完全に従って仮想物体Vが表示される。これにより、仮想物体Vのより自然な表示が実現される。
 図15は、本実施形態に係る表示制御処理により表示される仮想物体Vの、奥行き方向の距離とスケーリング量との関係の一例を示す図である。図15に示すグラフの横軸及び縦軸は、図9に示したグラフの横軸及び縦軸と同様である。図15に示した例では、図9に示した例と同様に、仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量は、仮想物体Vの距離が縮小制限区間Z又は拡大制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少ない。これにより、図15に示した例では、図9に示した例と同様に、ユーザUに与える違和感が軽減されると共に、遠近法に従った仮想物体Vの自然な表示が実現される。ここで、図9及び図14に示したグラフを参照すると、縮小制限距離及び拡大制限距離において、仮想物体Vの大きさ(即ち、スケーリング量)が急変することが分かる。従って、図9及び図14に示した表示制御処理では、時間的に継続して接近する/遠ざかるなどのユースケースにおいて、接近/遠ざかる途中で仮想物体Vの視角が突然変化して見えることになる。この点、図15に示したグラフでは、縮小制限距離の前後及び拡大制限距離の前後では曲線的かつ連続的に仮想物体Vの大きさ(即ち、スケーリング量)が変化する。これにより、図15に示した表示制御処理では、時間的に継続して接近する/遠ざかるなどのユースケースにおいて、接近/遠ざかる途中での仮想物体Vの視角の変化を滑らかにし、ユーザUに変化を知覚させないようにすることが可能となる。
 情報処理装置100は、縮小を制限する縮小制限区間及び拡大を制限する視角固定提示区間の他に、仮想物体Vの表示を停止する第4の区間を設けてもよい。情報処理装置100は、第4の区間においては、仮想物体Vを表示しない。
 (6)仮想物体Vの融合/分離
 視角固定提示法により仮想物体Vの視角が一定に保たれる場合、仮想物体Vが重畳される対象同士が接近したり重なり合ったりして、複数の仮想物体Vが重なり合って表示され得る。その場合、複数の仮想物体Vの視認性が低下してしまう。
 そこで、情報処理装置100は、ユーザUと複数の仮想物体V(又は仮想物体Vが重畳される重畳対象)との相対的な位置関係に応じて、表示する仮想物体Vの数を削減するか否かを制御する。情報処理装置100は、所定距離以上分離して表示される複数の仮想物体Vについては、表示する仮想物体Vの数を削減しない。一方で、情報処理装置100は、所定距離未満に接近して表示される又は重なり合って表示される複数の仮想物体Vについては、表示する仮想物体Vの数を削減する。その際、情報処理装置100は、複数の仮想物体Vのうち、いずれか一方を不可視化して優先度の高い他方のみを表示する、又は各々の仮想物体Vの内容を統合してより上位の内容を含む仮想物体Vを表示する等する。これにより、仮想物体Vの視認性を向上させることができる。図16を参照して、この一例を説明する。
 図16は、本実施形態に係る表示制御処理により表示される仮想物体Vの一例を示す図である。図16では、ユーザUと複数の仮想物体V(又は、重畳対象T)との距離が変化した場合の、複数の仮想物体Vの表示の変化が示されている。ユーザUと複数の仮想物体Vとの距離は、画面Sでは短く、画面Sでは長い。画面Sを参照すると、ユーザUと重畳対象T及びTとの距離が短いため、遠近法により重畳対象T及びTは大きく映っている。仮想物体V及びVは、重畳対象T及びTに内包されて分離して表示されるので、情報処理装置100は、図16に示すように、表示する仮想物体Vの数を削減せず、画面Sにおいて仮想物体V及びVをそのまま表示する。一方で、画面Sを参照すると、ユーザUと重畳対象T及びTとの距離が長いため、遠近法により重畳対象T及びTは小さく映っている。仮想物体V及びVの視角が一定に保たれる場合、仮想物体V及びVが重畳対象T及びTが映る範囲を超えて重なって表示され得る。そこで、図16に示すように、情報処理装置100は、画面Sにおいて、仮想物体V及びVに代えて仮想物体V及びVの内容を統合した新たな仮想物体Vを表示することで、表示する仮想物体Vの数を削減する。これにより、表示される仮想物体Vの視認性を向上させることができる。
 また、情報処理装置100は、ユーザUと複数の仮想物体V(又は重畳対象T)との相対的な位置関係に応じて、複数の仮想物体Vの視認性を向上させる処理を行ってもよい。複数の仮想物体Vの視認性を向上させる処理は、複数の仮想物体Vの位置を変更する処理であってもよい。その場合、情報処理装置100は、所定距離以上分離して表示される複数の仮想物体Vについては、位置を変更しない。一方で、情報処理装置100は、所定距離未満に接近して表示される又は重なり合って表示される複数の仮想物体Vについては、所定距離以上離れるように、少なくともいずれか一方の位置を変更する。これにより、複数の仮想物体Vの視認性を向上させることができる。複数の仮想物体Vの視認性を向上させる処理は、複数の仮想物体Vの視角を再調整する、又は表示形態(色及び濃淡等)を再調整する処理であってもよい。図17を参照して、複数の仮想物体Vの視認性を向上させる処理が、複数の仮想物体Vの位置を変更する処理である場合の例を説明する。
 図17は、本実施形態に係る表示制御処理により表示される仮想物体Vの一例を示す図である。図17では、ユーザUと複数の重畳対象Tとの角度が変化した場合の、複数の仮想物体Vの表示の変化が示されている。画面Sを参照すると、ユーザUは重畳対象T及びTが重ならない角度から重畳対象T及びTを見ている。仮想物体V及びVは、重畳対象T及びTに内包されて分離して表示されるので、情報処理装置100は、図17に示すように、表示する仮想物体Vの位置を変更せず、画面Sにおいて仮想物体V及びVをそのまま表示する。画面Sを参照すると、ユーザUは重畳対象T及びTが重なる角度から重畳対象T及びTを見ている。仮想物体V及びVが、重畳対象T及びTに内包されて表示されると、重なって表示され得る。そこで、図17に示すように、情報処理装置100は、仮想物体V及びVが所定距離以上離れるように、仮想物体V及びVの位置を互いに相反する方向に移動させて表示する。これにより、仮想物体V及びVの視認性を向上させることができる。
 <3.2.バウンディングボックスに基づく表示制御処理>
 情報処理装置100は、バウンディングボックスに基づいて仮想物体Vを表示してもよい。
 (1)バウンディングボックスの設定
 情報処理装置100は、仮想物体Vの表示が許容される領域をバウンディングボックスとして設定する。仮想物体Vの表示が許容される領域とは、仮想物体Vを表示可能な領域のうち、仮想物体Vが表示されてもよい領域である。仮想物体Vを表示可能な領域とは、情報処理装置100のハードウェア性能により定義される領域であり、例えば、画面全体のうち所定の表示機能を有する領域である。仮想物体Vが表示されてもよい領域とは、例えば、仮想物体Vとして表示されるコンテンツ、仮想物体Vの表示を指示したアプリケーション、ユーザUのコンテキスト又は背景空間の状態等に基づいて定義される領域である。本実施形態では、バウンディングボックスは、背景空間における任意の重畳対象を内包又は外包するように設定されるものとする。情報処理装置100は、重畳対象の形状を画面に投影した2次元形状を内包又は外包する領域(例えば、矩形)を、バウンディングボックスとして設定する。
 情報処理装置100は、ユーザUと背景空間におけるバウンディングボックスが対応付けられる対象との位置及び姿勢の相対関係に基づいて、バウンディングボックスの大きさを制御する。背景空間におけるバウンディングボックスが対応付けられる対象とは、仮想物体Vが重畳される重畳対象である。ユーザUと重畳対象との位置及び姿勢の相対関係により、重畳対象の形状を画面に投影した2次元形状は変化し得る。情報処理装置100は、当該変化後もバウンディングボックスが当該2次元形状を内包又は外包するように、バウンディングボックスの大きさを制御する。以下では、一例といて、ユーザUと背景空間におけるバウンディングボックスが対応付けられる重畳対象との距離に応じてバウンディングボックスの大きさを制御する例を、図18及び図19を参照して説明する。
 図18は、本実施形態に係るバウンディングボックスの一例を示す図である。図18では、バウンディングボックスBが対応付けられる重畳対象Tが物体であり、ユーザUと重畳対象Tとの距離が変化した場合の、バウンディングボックスBの大きさが示されている。ユーザUと重畳対象Tとの距離は、画面Sが最も短く、画面S、画面Sの順に長くなる。ユーザUと重畳対象Tとの距離が短いほど画面に映る重畳対象Tは大きくなるので、図18に示すように、画面SにおいてバウンディングボックスBが最も大きく設定される。また、ユーザUと重畳対象Tとの距離が長いほど画面に映る重畳対象Tは小さくなるので、図18に示すように、画面SにおいてバウンディングボックスBが最も小さく設定される。
 図19は、本実施形態に係るバウンディングボックスの一例を示す図である。図19では、バウンディングボックスBが対応付けられる重畳対象Tが、物体と物体との間に挟まれた空間であり、ユーザUと重畳対象Tとの距離が変化した場合の、バウンディングボックスBの大きさが示されている。ユーザUと重畳対象Tとの距離は、画面Sが最も短く、画面S、画面Sの順に長くなる。ユーザUと重畳対象Tとの距離が短いほど画面に映る重畳対象Tは大きくなるので、図19に示すように、画面SにおいてバウンディングボックスBが最も大きく設定される。また、ユーザUと重畳対象Tとの距離が長いほど画面に映る重畳対象Tは小さくなるので、図19に示すように、画面SにおいてバウンディングボックスBが最も小さく設定される。
 (2)バウンディングボックスに基づく表示制御処理
 情報処理装置100は、バウンディングボックスに基づいて、仮想物体Vの表示を制御する。具体的には、情報処理装置100は、バウンディングボックスが対応付けられる重畳対象の位置に仮想物体Vを配置し、バウンディングボックス内に収まる視角で仮想物体Vを表示する。
 情報処理装置100は、バウンディングボックスの大きさに基づいて、仮想物体Vの視角を視角固定範囲内にするか否かを切り替える。即ち、情報処理装置100は、バウンディングボックスの大きさに基づいて、仮想物体Vの表示を視角固定提示法に従って行うか否かを切り替える。詳しくは、情報処理装置100は、バウンディングボックスの大きさが所定の大きさの範囲内に属する場合に、仮想物体Vの表示を視角固定提示法に従って行う。一方で、情報処理装置100は、バウンディングボックスの大きさが所定の大きさの範囲外に属する場合に、仮想物体Vの表示を視角固定提示法に従って行わない。このような切り替えにより、情報処理装置100は、視角固定提示法のメリットを享受しつつも、デメリットが生じる区間では視角固定提示法を用いない、という使い分けを行うことが可能となる。
 以下、具体的な切り替え方法の一例を説明する。
 情報処理装置100は、仮想物体Vを表示可能な領域に占めるバウンディングボックスの割合に基づいて、仮想物体Vの視角を視角固定範囲内にするか否かを切り替える。仮想物体Vを表示可能な領域とは、例えば、表示部121の表示可能な領域全面、即ち画面全体を指す。情報処理装置100は、画面全体に占めるバウンディングボックスの割合が所定の割合を超えない場合に、仮想物体Vの表示を視角固定提示法に従って行う。ここでの所定の割合とは、例えば80%程度であってもよい。画面全体に占めるバウンディングボックスの割合が大きいことは、バウンディングボックスが対応付けられる対象とユーザUとの距離、即ち仮想物体Vの距離が近いことを意味する。仮想物体Vの距離に基づく表示制御処理において上記説明したように、仮想物体Vの距離が近すぎる場合には縮小が制限されて、仮想物体Vの視角が大きく表示されることが望ましい。
 そこで、情報処理装置100は、上述した所定の割合を拡大制限値とする。そして、情報処理装置100は、画面全体に占めるバウンディングボックスの割合が縮小制限値を超えない範囲を視角固定提示区間として、視角固定提示法に従って仮想物体Vを表示する。一方で、情報処理装置100は、画面全体に占めるバウンディングボックスの割合が縮小制限値を超える範囲を縮小制限区間として、仮想物体Vの縮小を制限し、仮想物体Vの視角を視角固定範囲よりも大きくする。これにより、仮想物体Vの距離が近すぎた場合に仮想物体Vの大きさが限りなく0に近づくような事態は回避されるので、ユーザUに与える違和感が軽減される。
 情報処理装置100は、バウンディングボックス内の仮想物体Vの視角がバウンディングボックスを超えない範囲で、仮想物体Vの視角を視角固定範囲内にする。ただし、仮想物体Vの視角が一定である場合、例えばユーザUとバウンディングボックスが対応付けられる対象重畳との距離が長くなってバウンディングボックスが小さくなると、仮想物体Vがバウンディングボックスを超えるおそれがある。その場合、情報処理装置100は、仮想物体Vの表示を視角固定提示法に従って行わず、仮想物体Vの視角を視角固定範囲よりも小さくする。
 換言すると、情報処理装置100、視角固定提示法に従って表示される仮想物体Vの視角を、拡大制限値とする。そして、情報処理装置100は、バウンディングボックスの大きさが拡大制限値を下回らない範囲を視角固定提示区間として、視角固定提示法に従って仮想物体Vを表示する。一方で、情報処理装置100は、バウンディングボックスの大きさが拡大制限値を下回る範囲を拡大制限区間として、仮想物体Vの拡大を制限し、仮想物体Vの視角を視角固定範囲よりも小さくする。これにより、視角固定提示区間及び拡大制限区間において、仮想物体Vの視角を、バウンディングボックス内に維持することができる。また、仮想物体Vの距離が遠すぎた場合に仮想物体Vの大きさが限りなく無限大に近づくような事態は回避されるので、ユーザUに与える違和感が軽減される。
 <3.3.他の基準に基づく表示制御処理>
 情報処理装置100は、他の基準に基づいて、視角固定提示法を適用するか否かを切り替えてもよい。以下、他の基準の一例を説明する。
 (1)重畳対象の距離
 情報処理装置100は、ユーザUから背景空間における仮想物体Vが重畳される対象までの奥行き方向の距離に基づいて、仮想物体Vの視角を視角固定範囲内にするか否かを切り替えてもよい。即ち、情報処理装置100は、ユーザUから背景空間における重畳対象Tまでの奥行き方向の距離に基づいて、視角固定提示法に従って仮想物体Vを表示するか否かを切り替えてもよい。かかる距離を、以下では重畳対象の距離とも称する。本基準に基づく表示制御処理は、上述した仮想物体Vの距離の基づく表示制御処理における、仮想物体Vの距離を重畳対象の距離に代えたものである。
 情報処理装置100は、重畳対象の距離が視角固定提示区間に属する場合、仮想物体Vの視角を視角固定範囲内にする、即ち視角固定提示法に従って仮想物体Vを表示する。例えば、視角固定提示区間は、重畳対象の距離が30cm以上5m未満の区間であるものとする。
 他方、情報処理装置100は、重畳対象の距離が視角固定提示区間に属さない場合、仮想物体Vの視角を視角固定範囲内にしない、即ち視角固定提示法に従わずに仮想物体Vを表示する。詳しくは、情報処理装置100は、重畳対象の距離が縮小制限区間に属する場合に、仮想物体Vの縮小を制限し、仮想物体Vの視角を視角固定範囲の上限値よりも大きくする。ここでの縮小制限区間は、重畳対象の距離が30cm未満の区間である。一方で、情報処理装置100は、重畳対象の距離が拡大制限区間に属する場合に、仮想物体Vの拡大を制限し、仮想物体Vの視角を視角固定範囲の下限値よりも小さくする。ここでの拡大制限区間は、重畳対象の距離が5m以上の区間である。
 このような表示制御処理により、上述した仮想物体Vの距離に基づく表示制御処理と同様に、視角固定提示法のメリットを享受しつつも、デメリットが生じる区間では視角固定提示法を用いない、という使い分けを行うことが可能となる。よって、仮想物体Vの視認性の維持と違和感の軽減とを両立することができる。
 (2)重畳対象の割合
 情報処理装置100は、仮想物体Vを表示可能な領域に占める、背景空間における仮想物体Vが重畳される対象の割合に基づいて、仮想物体Vが表示される大きさを視角固定範囲内にするか否かを切り替えてもよい。仮想物体Vを表示可能な領域とは、例えば、表示部121の表示可能な領域全面、即ち画面全体を指す。即ち、情報処理装置100は、画面全体に占める重畳対象の割合に基づいて、視角固定提示法に従って仮想物体Vを表示するか否かを切り替えてもよい。
 情報処理装置100は、画面全体に占める重畳対象の割合が視角固定提示区間に属する場合、仮想物体Vの視角を視角固定範囲内にする、即ち視角固定提示法に従って仮想物体Vを表示する。例えば、視角固定提示区間は、重畳対象の割合が10%以上80%未満の区間であるものとする。
 情報処理装置100は、画面全体に占める重畳対象の割合が視角固定提示区間に属さない場合、仮想物体Vの視角を視角固定範囲外にする、即ち視角固定提示法に従わずに仮想物体Vを表示する。詳しくは、情報処理装置100は、画面全体に占める重畳対象の割合が縮小制限区間に属する場合に、仮想物体Vの縮小を制限し、仮想物体Vの視角を視角固定範囲の上限値よりも大きくする。ここでの縮小制限区間は、重畳対象の割合が80%以上の区間である。一方で、情報処理装置100は、画面全体に占める重畳対象の割合が拡大制限区間に属する場合に、仮想物体Vの拡大を制限し、仮想物体Vの視角を視角固定範囲の下限値よりも小さくする。ここでの拡大制限区間は、重畳対象の割合が10%未満の区間である。
 このような表示制御処理により、上述したバウンディングボックスに基づく表示制御処理と同様に、視角固定提示法のメリットを享受しつつも、デメリットが生じる区間では視角固定提示法を用いない、という使い分けを行うことが可能となる。よって、仮想物体Vの視認性の維持と違和感の軽減とを両立することができる。
 (3)仮想物体Vのスケーリング量
 情報処理装置100は、仮想物体Vの視角を所定の視角にするために要されるスケーリング量に基づいて、仮想物体Vの視角を視角固定範囲内にするか否かを切り替えてもよい。基準の距離(例えば、1m)に仮想物体Vを配置した場合の仮想物体Vの視角を、基準の視角とする。基準の距離と同じ距離に仮想物体Vを配置した場合、仮想物体Vの視角を基準の視角にするために要されるスケーリング量は1倍である。基準の距離よりも短い距離に仮想物体Vを配置した場合、仮想物体Vの視角を基準の視角にするために要されるスケーリング量は1倍未満である。他方、基準の距離よりも長い距離に仮想物体Vを配置した場合、仮想物体Vの視角を基準の視角にするために要されるスケーリング量は1倍を超える。仮想物体Vの視角を基準の視角にするために要されるスケーリング量を、以下では基準化スケーリング量とも称する。本基準に基づく表示制御処理は、上述した仮想物体Vの距離の基づく表示制御処理における、仮想物体Vの距離を基準化スケーリング量に代えたものである。
 情報処理装置100は、基準化スケーリング量が視角固定提示区間に属する場合、仮想物体Vの視角を視角固定範囲内にする、即ち視角固定提示法に従って仮想物体Vを表示する。例えば、視角固定提示区間は、仮想物体Vのスケーリング量が0.1倍以上5.0倍未満の区間であるものとする。
 他方、情報処理装置100は、基準化スケーリング量が視角固定提示区間に属さない場合、仮想物体Vの視角を視角固定範囲内にしない、即ち視角固定提示法に従わずに仮想物体Vを表示する。詳しくは、情報処理装置100は、基準化スケーリング量が縮小制限区間に属する場合に、仮想物体Vの縮小を制限し、仮想物体Vの視角を視角固定範囲の上限値よりも大きくする。ここでの縮小制限区間は、仮想物体Vのスケーリング量が0.1倍未満の区間である。一方で、情報処理装置100は、基準化スケーリング量が拡大制限区間に属する場合に、仮想物体Vの拡大を制限し、仮想物体Vの視角を視角固定範囲の下限値よりも小さくする。ここでの拡大制限区間は、仮想物体Vのスケーリング量が5.0倍以上の区間である。
 このような表示制御処理により、上述した仮想物体Vの距離に基づく表示制御処理と同様に、視角固定提示法のメリットを享受しつつも、デメリットが生じる区間では視角固定提示法を用いない、という使い分けを行うことが可能となる。よって、仮想物体Vの視認性の維持と違和感の軽減とを両立することができる。
 <3.4.複数の基準の併用>
 上述した、複数の基準は、2以上が併用されてもよい。
 まず、情報処理装置100は、複数の基準の各々に基づいて拡大制限倍率及び縮小制限倍率を設定する。次いで、情報処理装置100は、複数の基準の各々に基づいてスケーリング量を計算する。そして、情報処理装置100は、スケーリング量がいずれかの基準において拡大制限倍率又は縮小制限倍率に達した場合に、拡大制限又は縮小制限を行う。例えば、情報処理装置100は、複数の基準に基づく複数の拡大制限倍率のうち、最も小さい値をとる拡大制限倍率を用いて、拡大制限を行う。また、情報処理装置100は、複数の基準に基づく複数の縮小制限倍率のうち、最も大きい値をとる縮小制限倍率を用いて、縮小制限を行う。
 以下では、図20及び図21を参照して、仮想物体Vの距離の基準及びバウンディングボックスの基準が併用される場合の例を説明する。
 図20は、本実施形態に係る複数の基準に基づく表示制御処理が併用される場合の、仮想物体Vの距離とスケーリング量との関係の一例を示すグラフである。図20に示すグラフの横軸及び縦軸は、図9に示したグラフの横軸及び縦軸と同様である。図20に示した例では、情報処理装置100は、仮想物体Vの距離に応じてスケーリングを行う。図20に示すように、バウンディングボックスによる拡大制限倍率と仮想物体Vの距離による拡大制限倍率とを比較すると、仮想物体Vの距離による拡大制限倍率の方が小さい。そのため、情報処理装置100は、拡大制限区間では、仮想物体Vの距離による拡大制限倍率を用いて仮想物体Vの拡大を制限する。また、図20に示すように、バウンディングボックスによる縮小制限倍率と仮想物体Vの距離による縮小制限倍率とを比較すると、バウンディングボックスによる縮小制限倍率の方が大きい。そのため、情報処理装置100は、縮小制限区間では、バウンディングボックスによる縮小制限倍率を用いて仮想物体Vの縮小を制限する。
 図21は、本実施形態に係る複数の基準に基づく表示制御処理が併用される場合の、仮想物体Vの距離とスケーリング量との関係の一例を示すグラフである。図21に示すグラフの横軸及び縦軸は、図9に示したグラフの横軸及び縦軸と同様である。図21に示した例では、情報処理装置100は、仮想物体Vの距離に応じてスケーリングを行う。図21に示すように、バウンディングボックスによる拡大制限倍率と仮想物体Vの距離による拡大制限倍率とを比較すると、バウンディングボックスによる拡大制限倍率の方が小さい。そのため、情報処理装置100は、拡大制限区間では、バウンディングボックスによる拡大制限倍率を用いて仮想物体Vの拡大を制限する。また、図20に示すように、バウンディングボックスによる縮小制限倍率と仮想物体Vの距離による縮小制限倍率とを比較すると、仮想物体Vの距離による縮小制限倍率の方が大きい。そのため、情報処理装置100は、縮小制限区間では、仮想物体Vの距離による縮小制限倍率を用いて仮想物体Vの縮小を制限する。
 なお、上記では、仮想物体Vの距離の基準及びバウンディングボックスの基準が併用される場合の例を説明したが、これら以外の基準が組み合わされてもよい。即ち、仮想物体Vの距離、バウンディングボックス、仮想物体Vの距離、重畳対象の距離、画面全体に占める重畳対象の割合、及び仮想物体Vのスケーリング量のうち、2以上の任意の基準が併用されてもよい。また、3以上の基準が組み合わされてもよい。
 <3.5.処理の流れ>
 以下では、図22~図24を参照して、本実施形態に係る表示制御処理の流れを説明する。
 (1)第1の例
 図22は、本実施形態に係る情報処理装置100により実行される表示制御処理の流れの一例を示すフローチャートである。本フローでは、仮想物体Vの距離に基づく表示制御処理の流れの一例が示されている。
 図22に示すように、情報処理装置100は、空間情報、及びユーザUの位置姿勢情報を取得する(ステップS102)。次いで、情報処理装置100は、仮想物体Vを背景空間に配置し、仮想物体VとユーザUとの奥行き方向の距離に基づいて、仮想物体Vの視角を計算する(ステップS104)。次に、情報処理装置100は、ユーザUと仮想物体Vとの距離は視角固定提示区間に属するか否かを判定する(ステップS106)。ユーザUと仮想物体Vとの距離は視角固定提示区間に属すると判定された場合(ステップS106/YES)、情報処理装置100は、仮想物体Vの視角が視角固定範囲内になるようにスケーリング量を設定し、スケーリングする(ステップS108)。一方で、ユーザUと仮想物体Vとの距離は視角固定提示区間に属しないと判定された場合(ステップS106/NO)、情報処理装置100は、拡大制限区間又は縮小制限区間に対応する制限されたスケーリング量を設定し、スケーリングする(ステップS110)。そして、情報処理装置100は、モデルビュー変換及びプロジェクション変換等の各種変換を行った上で、仮想物体Vを画面Sに出力する(ステップS112)。
 (2)第2の例
 図23は、本実施形態に係る情報処理装置100により実行される表示制御処理の流れの一例を示すフローチャートである。本フローでは、仮想物体Vの距離に基づく表示制御処理の流れの他の一例が示されている。
 図23に示すように、情報処理装置100は、空間情報、及びユーザUの位置姿勢情報を取得する(ステップS202)。次いで、情報処理装置100は、仮想物体Vを背景空間に配置し、仮想物体VとユーザUとの奥行き方向の距離に基づいて、仮想物体Vの視角を計算する(ステップS204)。次に、情報処理装置100は、ユーザUと仮想物体Vとの距離は視角固定提示区間に属するか否かを判定する(ステップS206)。ユーザUと仮想物体Vとの距離は視角固定提示区間に属すると判定された場合(ステップS206/YES)、情報処理装置100は、仮想物体Vの視角が視角固定範囲内になるようにスケーリング量を設定し、スケーリングする(ステップS208)。その後、処理はステップS216に進む。一方で、ユーザUと仮想物体Vとの距離は視角固定提示区間に属しないと判定された場合(ステップS206/NO)、情報処理装置100は、拡大制限区間又は縮小制限区間に対応する制限されたスケーリング量を設定し、スケーリングする(ステップS210)。次に、情報処理装置100は、仮想物体Vは適切に表示されるか否かを判定する(ステップS212)。仮想物体Vが適切に表示されない場合とは、例えば、仮想物体Vがバウンディングボックスからはみ出したり、表示サイズが大きく/小さくなり過ぎたりすること等である。仮想物体Vは適切に表示されると判定された場合(ステップS212/YES)、処理はステップS216に進む。一方で、仮想物体Vは適切に表示されないと判定された場合(ステップS212/NO)、情報処理装置100は、仮想物体Vにぼかし又はフェードアウト表現を適用する(ステップS214)。これにより、仮想物体VがユーザUの視界を邪魔する事態を回避することができる。その後、情報処理装置100は、モデルビュー変換及びプロジェクション変換等の各種変換を行った上で、仮想物体Vを画面Sに出力する(ステップS216)。
 (3)第3の例
 図24は、本実施形態に係る情報処理装置100により実行される表示制御処理の流れの一例を示すフローチャートである。本フローでは、複数の基準が併用される場合の表示制御処理の流れの一例が示されている。
 図24に示すように、情報処理装置100は、空間情報、及びユーザUの位置姿勢情報を取得する(ステップS302)。次いで、情報処理装置100は、仮想物体Vを背景空間に配置し、複数の基準の各々に基づいて、仮想物体Vの視角を計算する(ステップS304)。次に、情報処理装置100は、複数の基準の各々に基づいて計算された複数の視角の各々について、視角固定範囲内にするためのスケーリング量を計算する(ステップS306)。次いで、情報処理装置100は、計算した複数のスケーリング量に基づいて、最も適したスケーリング量を計算する(ステップS308)。最も適したスケーリング量とは、例えば、複数のスケーリング量のうち最も自然なスケーリング量、又は中間値、最頻値若しくは平均値等の統計値である。次に、情報処理装置100は、ステップS308において計算したスケーリング量が視角固定提示区間に属するか否かを判定する(ステップS310)。例えば、情報処理装置100は、計算したスケーリング量が、複数の基準の各々における拡大制限倍率のうち最も小さい値をとる拡大制限倍率より小さいか、及び複数の基準の各々における縮小制限倍率のうち最も大きい値をとる拡大制限倍率より大きいかを判定する。スケーリング量が視角固定提示区間に属すると判定された場合(ステップS310/YES)、情報処理装置100は、仮想物体Vの視角が視角固定範囲内になるようにスケーリング量を設定し、スケーリングする(ステップS312)。一方で、スケーリング量が視角固定提示区間に属しないと判定された場合(ステップS310/NO)、情報処理装置100は、拡大制限区間又は縮小制限区間に対応する制限されたスケーリング量を設定し、スケーリングする(ステップS314)。そして、情報処理装置100は、モデルビュー変換及びプロジェクション変換等の各種変換を行った上で、仮想物体Vを画面Sに出力する(ステップS316)。
 <<4.まとめ>>
 以上、図1~図24を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置100は、ユーザが見る背景空間に重畳させて仮想物体を表示させ、ユーザから仮想物体までの奥行き方向の距離に基づいて、仮想物体が表示される大きさを制御する。とりわけ、情報処理装置100は、ユーザから仮想物体までの奥行き方向の距離が第1の区間又は第2の区間のいずれに属するかに基づいて、仮想物体が表示される大きさを所定範囲内にするか否かを切り替える。情報処理装置100は、仮想物体の表示を視角固定提示法に従って行うか否かを切り替えることで、視角固定提示法に従う区間では仮想物体の視認性を維持しつつ、視角固定提示法に従わない区間でも仮想物体を表示し続けることができる。そのため、情報処理装置100は、ユーザに提供する情報量を低下させることなく、仮想物体の視認性を向上させることができる。さらに、情報処理装置100は、視角固定提示法に従わない区間では、遠近法に基づいて仮想物体の視角を拡縮することで、違和感が軽減されたより自然な表示を行うことができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図8に示した情報処理装置100の機能構成例のうち、記憶部130及び制御部140が、センサ部110、表示部121、スピーカー122、通信部123及び操作入力部124とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
 本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報処理装置100の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 ユーザが見る空間に重畳させて仮想物体を表示させ、
 前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
 前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、
を備える情報処理装置。
(2)
 前記第1の区間は第1の値未満の区間であり、前記第2の区間は、前記第1の値以上の区間であり、
 前記制御部は、前記距離が前記第1の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲の上限値よりも大きくし、前記距離が前記第2の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲内にする、前記(1)に記載の情報処理装置。
(3)
 前記制御部は、前記距離が第3の区間に属するか否かに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替え、
 前記第2の区間は第2の値未満の区間であり、前記第3の区間は、前記第2の値以上の区間である、前記(1)又は(2)に記載の情報処理装置。
(4)
 前記制御部は、前記距離が前記第3の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲の下限値よりも小さくする、前記(3)に記載の情報処理装置。
(5)
 前記制御部は、前記仮想物体の大きさを制御することで、前記仮想物体が表示される大きさを制御し、前記距離の変化量に対する前記仮想物体の大きさの変化量を、前記距離が前記第2の区間に属さない場合、前記距離が前記第2の区間に属する場合と比較して少なくする、前記(1)~(4)のいずれか一項に記載の情報処理装置。
(6)
 前記制御部は、前記仮想物体の大きさを制御することで、前記仮想物体が表示される大きさを制御し、前記距離が前記第2の区間に属さない場合に前記仮想物体の大きさを固定する、前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
 前記所定範囲の上限値と下限値とは同じ値である、前記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
 前記制御部は、前記仮想物体の表示が許容される領域をバウンディングボックスとして設定し、前記バウンディングボックスの大きさに基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
 前記制御部は、前記ユーザと前記空間における前記バウンディングボックスが対応付けられる対象との位置及び姿勢の相対関係に基づいて、前記バウンディングボックスの大きさを制御する、前記(8)に記載の情報処理装置。
(10)
 前記制御部は、前記仮想物体を表示可能な領域に占める前記バウンディングボックスの割合に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、前記(8)又は(9)に記載の情報処理装置。
(11)
 前記制御部は、前記バウンディングボックス内の前記仮想物体が表示される大きさが前記バウンディングボックスを超えない範囲で、前記仮想物体が表示される大きさを前記所定範囲内にする、前記(8)~(10)のいずれか一項に記載の情報処理装置。
(12)
 前記制御部は、前記ユーザから前記仮想物体が重畳される対象までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
 前記制御部は、前記仮想物体を表示可能な領域に占める前記仮想物体が重畳される対象の割合に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、前記(1)~(12)のいずれか一項に記載の情報処理装置。
(14)
 前記制御部は、前記仮想物体が表示される大きさを所定の大きさにするために要されるスケーリング量に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
 ユーザが見る空間に重畳させて仮想物体を表示させ、
 前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
 前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替えること、
を含む、プロセッサにより実行される情報処理方法。
(16)
 コンピュータを、
 ユーザが見る空間に重畳させて仮想物体を表示させ、
 前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
 前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、
として機能させるためのプログラムが記録された記録媒体。
 100  情報処理装置
 110  センサ部
 111  外向きカメラ
 112  内向きカメラ
 113  マイク
 114  ジャイロセンサ
 115  加速度センサ
 116  方位センサ
 117  位置測位部
 118  生体センサ
 121  表示部
 122  スピーカー
 123  通信部
 124  操作入力部
 130  記憶部
 140  制御部
 141  空間情報取得部
 142  位置姿勢取得部
 143  表示制御部
 144  出力処理部

Claims (16)

  1.  ユーザが見る空間に重畳させて仮想物体を表示させ、
     前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
     前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、
    を備える情報処理装置。
  2.  前記第1の区間は第1の値未満の区間であり、前記第2の区間は、前記第1の値以上の区間であり、
     前記制御部は、前記距離が前記第1の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲の上限値よりも大きくし、前記距離が前記第2の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲内にする、請求項1に記載の情報処理装置。
  3.  前記制御部は、前記距離が第3の区間に属するか否かに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替え、
     前記第2の区間は第2の値未満の区間であり、前記第3の区間は、前記第2の値以上の区間である、請求項1に記載の情報処理装置。
  4.  前記制御部は、前記距離が前記第3の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲の下限値よりも小さくする、請求項3に記載の情報処理装置。
  5.  前記制御部は、前記仮想物体の大きさを制御することで、前記仮想物体が表示される大きさを制御し、前記距離の変化量に対する前記仮想物体の大きさの変化量を、前記距離が前記第2の区間に属さない場合、前記距離が前記第2の区間に属する場合と比較して少なくする、請求項1に記載の情報処理装置。
  6.  前記制御部は、前記仮想物体の大きさを制御することで、前記仮想物体が表示される大きさを制御し、前記距離が前記第2の区間に属さない場合に前記仮想物体の大きさを固定する、請求項1に記載の情報処理装置。
  7.  前記所定範囲の上限値と下限値とは同じ値である、請求項1に記載の情報処理装置。
  8.  前記制御部は、前記仮想物体の表示が許容される領域をバウンディングボックスとして設定し、前記バウンディングボックスの大きさに基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、請求項1に記載の情報処理装置。
  9.  前記制御部は、前記ユーザと前記空間における前記バウンディングボックスが対応付けられる対象との位置及び姿勢の相対関係に基づいて、前記バウンディングボックスの大きさを制御する、請求項8に記載の情報処理装置。
  10.  前記制御部は、前記仮想物体を表示可能な領域に占める前記バウンディングボックスの割合に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、請求項8に記載の情報処理装置。
  11.  前記制御部は、前記バウンディングボックス内の前記仮想物体が表示される大きさが前記バウンディングボックスを超えない範囲で、前記仮想物体が表示される大きさを前記所定範囲内にする、請求項8に記載の情報処理装置。
  12.  前記制御部は、前記ユーザから前記仮想物体が重畳される対象までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、請求項1に記載の情報処理装置。
  13.  前記制御部は、前記仮想物体を表示可能な領域に占める前記仮想物体が重畳される対象の割合に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、請求項1に記載の情報処理装置。
  14.  前記制御部は、前記仮想物体が表示される大きさを所定の大きさにするために要されるスケーリング量に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、請求項1に記載の情報処理装置。
  15.  ユーザが見る空間に重畳させて仮想物体を表示させ、
     前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
     前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替えること、
    を含む、プロセッサにより実行される情報処理方法。
  16.  コンピュータを、
     ユーザが見る空間に重畳させて仮想物体を表示させ、
     前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
     前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、
    として機能させるためのプログラムが記録された記録媒体。
PCT/JP2018/040115 2018-01-19 2018-10-29 情報処理装置、情報処理方法及び記録媒体 WO2019142432A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018006911A JP2019125278A (ja) 2018-01-19 2018-01-19 情報処理装置、情報処理方法及び記録媒体
JP2018-006911 2018-01-19

Publications (1)

Publication Number Publication Date
WO2019142432A1 true WO2019142432A1 (ja) 2019-07-25

Family

ID=67301396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040115 WO2019142432A1 (ja) 2018-01-19 2018-10-29 情報処理装置、情報処理方法及び記録媒体

Country Status (2)

Country Link
JP (1) JP2019125278A (ja)
WO (1) WO2019142432A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022046924A3 (en) * 2020-08-25 2022-04-07 Sterling Labs Llc Techniques for resizing virtual objects

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102664710B1 (ko) * 2018-08-08 2024-05-09 삼성전자주식회사 외부 객체의 위치의 변화에 따라 외부 객체에 대응하는 아바타를 표시하기 위한 전자 장치
WO2021020130A1 (ja) * 2019-07-29 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022505999A (ja) * 2019-10-15 2022-01-17 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 拡張現実データの提示方法、装置、機器および記憶媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014091824A1 (ja) * 2012-12-10 2014-06-19 ソニー株式会社 表示制御装置、表示制御方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014091824A1 (ja) * 2012-12-10 2014-06-19 ソニー株式会社 表示制御装置、表示制御方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022046924A3 (en) * 2020-08-25 2022-04-07 Sterling Labs Llc Techniques for resizing virtual objects

Also Published As

Publication number Publication date
JP2019125278A (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
US10009542B2 (en) Systems and methods for environment content sharing
WO2019142432A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US11024083B2 (en) Server, user terminal device, and control method therefor
US9858643B2 (en) Image generating device, image generating method, and program
WO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6134019B1 (ja) 仮想現実空間提供方法および仮想現実空間提供プログラム
CN110998666B (zh) 信息处理装置、信息处理方法以及程序
KR102155001B1 (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US11423604B2 (en) Method and device for tailoring a synthesized reality experience to a physical setting
US11327317B2 (en) Information processing apparatus and information processing method
WO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
KR20180052501A (ko) 디스플레이 장치 및 그 동작 방법
EP4325476A1 (en) Video display system, information processing method, and program
WO2024057783A1 (ja) 360度画像視点位置同定部を備える情報処理装置
US20170155892A1 (en) Wearable stereoscopic camera system for 3d virtual reality imaging and networked area learning
WO2018083757A1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11647350B2 (en) Audio processing
US11908090B2 (en) Information processing device, information processing method, and program
CN109313823A (zh) 信息处理装置、信息处理方法和程序
KR20230012196A (ko) 가상공간과 현실공간 연결 서비스 서버, 사용자 단말 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900694

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18900694

Country of ref document: EP

Kind code of ref document: A1