WO2020105269A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム

Info

Publication number
WO2020105269A1
WO2020105269A1 PCT/JP2019/036968 JP2019036968W WO2020105269A1 WO 2020105269 A1 WO2020105269 A1 WO 2020105269A1 JP 2019036968 W JP2019036968 W JP 2019036968W WO 2020105269 A1 WO2020105269 A1 WO 2020105269A1
Authority
WO
WIPO (PCT)
Prior art keywords
change
display
display size
information processing
virtual object
Prior art date
Application number
PCT/JP2019/036968
Other languages
English (en)
French (fr)
Inventor
安田　亮平
石川　毅
孝悌 清水
高橋　慧
惇一 清水
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/293,252 priority Critical patent/US20220004250A1/en
Publication of WO2020105269A1 publication Critical patent/WO2020105269A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program applicable to display of virtual content such as VR (Virtual Reality) and AR (Augmented Reality).
  • VR Virtual Reality
  • AR Augmented Reality
  • the display control device described in Patent Document 1 recognizes the position and orientation of the imaging target from the captured image.
  • the virtual object associated with the recognized imaging target is display-controlled according to the imaging magnification of the imaging target.
  • the ratio of the moving amount of the virtual object is controlled based on the moving amount of the imaging target according to the imaging magnification.
  • an object of the present technology is to provide an information processing device, an information processing method, and a program that can exhibit high usability for displaying virtual objects.
  • an information processing device includes a display control unit.
  • the display control unit when the display size is changed for a plurality of virtual objects, based on the display size change information set for a specific virtual object of the plurality of virtual objects, the specific virtual object. A notification regarding switching of the display size change mode of the object is executed.
  • this information processing device when the display size is changed for a specific virtual object of a plurality of virtual objects, a notification regarding switching of the display size change mode of the specific virtual object is executed. This makes it possible to exhibit high usability for displaying virtual objects.
  • the display control unit may execute a notification regarding switching of the change mode at a timing corresponding to a timing at which the display size change mode of the specific virtual object is switched.
  • the timing at which the notification regarding the change of the change mode is executed may be a timing at which the change mode of the display size is changed or a predetermined timing before the change mode of the display size is changed.
  • the change of the display size may include at least one of a change of the display scale of the virtual object, a change of the length of the virtual object, and a change of the area of the virtual object.
  • the notification regarding the change mode may include at least one of highlighting the specific virtual object and outputting relevant information regarding switching of the change mode.
  • the display control unit may stop changing the display size at the timing when the display size changing mode is switched.
  • the display size change information may include a threshold relating to the display size, which is a reference for switching the display size change mode.
  • the display size change information may include at least one of the maximum display size and the minimum display size.
  • the plurality of virtual objects may be three-dimensional models that are simultaneously displayed in a virtual space at a predetermined size ratio.
  • the display size change information the display size is changed at a first change mode in which the display size is changed at a first change rate and at a second change rate different from the first change rate.
  • Information about switching to the second change mode may be included.
  • the display sizes of the plurality of virtual objects may be changed at the same time while maintaining the predetermined size ratio.
  • the change in the display size of the specific virtual object may be restricted to a change in a size ratio different from the predetermined size ratio.
  • the display size change information may include limit information regarding a limit of changing the display size of another virtual object of the plurality of virtual objects.
  • the restriction information may include information on whether to restrict the change of the display size of the other virtual object according to the switching of the change mode of the display size.
  • the restriction information may include information on whether to limit the change of the display size of the other virtual object when the display size reaches the threshold value.
  • the information processing device may further include an input unit for inputting a user's instruction.
  • the display control unit may change the display size of the plurality of virtual objects based on the display size change instruction input to the input unit.
  • the display control unit stops changing the display size of the plurality of virtual objects at a timing at which the display size changing mode of the specific virtual object is switched, and thereafter, the input unit is instructed to change the display size.
  • the change of the display size for the plurality of virtual objects may be executed again.
  • the information processing apparatus may further include a generation unit that generates the display size change information set in the specific virtual object.
  • the generation unit may generate the display size change information based on at least one of user information regarding the user, environment information, and device information regarding a display device that displays the specific virtual object.
  • the information processing device may further include a voice control unit that controls the output of voice regarding each of the plurality of virtual objects.
  • the voice control unit may control the output of voice regarding the specific virtual object based on the display size change information of the specific virtual object.
  • An information processing method is an information processing method executed by a computer system, wherein when a display size is changed for a plurality of virtual objects, And executing a notification regarding switching of the display size change mode of the specific virtual object based on the display size change information of the specific virtual object.
  • a program causes a computer system to execute the following steps.
  • the display size change is executed for the plurality of virtual objects, based on the display size change information of the specific virtual object of the plurality of virtual objects, the change mode of the display size of the specific virtual object Steps to execute notification about switching.
  • the purpose of the present technology is to achieve high usability for displaying virtual objects.
  • the effects described here are not necessarily limited, and may be any effects described in the present disclosure.
  • 9 is a flowchart showing an example of changing the display scale for a plurality of virtual objects. It is a schematic diagram which shows an example of the some virtual object and notification displayed on a display. 9 is a table showing an example of scale change information of a specific virtual object and a display scale (display magnification) in FIG. 7. It is a schematic diagram which shows an example of the some virtual object and notification which are displayed on the display which concerns on 2nd Embodiment. It is a perspective view showing an example of appearance of HMD concerning other embodiments.
  • FIG. 1 is a diagram illustrating a configuration example of an HMD 10 according to the first embodiment of the present technology.
  • FIG. 1A is a perspective view schematically showing the external appearance of the HMD 10
  • FIG. 1B is a perspective view schematically showing how the HMD 10 is disassembled.
  • the HMD 10 has a base 11, a mounting band 12, a headphone 13, a display unit 14, an inward camera 15 (15a, 15b), an outward camera 16, and a cover 17.
  • the base portion 11 is a member arranged in front of the left and right eyes of the user, and is provided with a frontal support portion 18 that comes into contact with the frontal head of the user.
  • the wearing band unit 12 is worn on the user's head.
  • the mounting band portion 12 includes a temporal band 19 and a crown band 20.
  • the temporal band 19 is connected to the base portion 11 and is worn so as to surround the user's head from the temporal region to the occipital region.
  • the parietal band 20 is connected to the temporal band 19 and is worn so as to surround the user's head from the temporal region to the parietal region.
  • the headphone unit 13 is connected to the base unit 11 and arranged so as to cover the left and right ears of the user.
  • the headphone unit 13 is provided with left and right speakers.
  • the position of the headphone unit 13 can be controlled manually or automatically.
  • the configuration therefor is not limited, and any configuration may be adopted.
  • the display unit 14 is inserted into the base 11 and arranged in front of the eyes of the user.
  • a display 22 is arranged inside the display unit 14.
  • the display unit 14 is also provided with a lens system (not shown) that guides the image displayed on the display 22 to the left and right eyes of the user.
  • the inward camera 15 is composed of a left-eye camera 15a and a right-eye camera 15b capable of capturing the user's left and right eyes.
  • the left-eye camera 15a and the right-eye camera 15b are installed at predetermined positions of the HMD 10, specifically, at predetermined positions of the base unit 11. For example, it is possible to detect the line-of-sight information regarding the line of sight of the user based on the images of the left eye and the right eye captured by the left-eye camera 15a and the right-eye camera 15b.
  • a digital camera including an image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor is used.
  • an infrared camera equipped with infrared illumination such as an infrared LED may be used.
  • the outward facing camera 16 is arranged at the center of the cover portion 17 so as to face outward (on the side opposite to the user).
  • the outward camera 16 can capture an image of the real space in front of the user.
  • a digital camera including an image sensor such as a CMOS sensor or a CCD sensor is used as the outward camera 16.
  • the cover 17 is attached to the base 11 and is configured to cover the display unit 14.
  • the HMD 10 configured as described above functions as an immersive head mounted display configured to cover the field of view of the user.
  • the HMD 10 displays a three-dimensional virtual space.
  • the user can experience virtual reality (VR) and the like.
  • VR virtual reality
  • FIG. 2 is a block diagram showing a functional configuration example of the HMD 10.
  • the HMD 10 further includes a connector 23, operation buttons 24, a communication unit 25, a sensor unit 26, a storage unit 27, and a controller 40.
  • the connector 23 is a terminal for connection with another device.
  • terminals such as USB (Universal Serial Bus) and HDMI (registered trademark) (High-Definition Multimedia Interface) are provided.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • the operation button 24 is provided, for example, at a predetermined position on the base 11.
  • the operation buttons 24 can be used to perform operations related to various functions of the HMD 10, such as power ON / OFF operations, functions related to image display and audio output, and network communication functions.
  • an operation signal corresponding to the operation is generated and input to the controller 40.
  • the user's instruction is input to the controller 40.
  • the communication unit 25 is a module for executing network communication, short-range wireless communication, and the like with other devices.
  • a wireless LAN module such as WiFi or a communication module such as Bluetooth (registered trademark) is provided.
  • the operation of the communication unit 25 enables wireless communication with an external device or the like.
  • the sensor unit 26 has a 9-axis sensor 29, a GPS 30, a biometric sensor 31, and a microphone 32.
  • the 9-axis sensor 29 includes a 3-axis acceleration sensor, a 3-axis gyro sensor, and a 3-axis compass sensor.
  • the 9-axis sensor 29 can detect acceleration, angular velocity, and azimuth of the HMD 10 in the three axes.
  • the GPS 30 acquires information on the current position of the HMD 10.
  • the detection results of the 9-axis sensor 29 and the GPS 30 are used to detect, for example, the posture (or position) of the user (HMD 10) and the movement (motion) of the user. These sensors are provided, for example, at predetermined positions on the base portion 11.
  • the biometric sensor 31 can detect biometric information of the user.
  • an electroencephalogram sensor, a myoelectric sensor, a pulse sensor, a perspiration sensor, a temperature sensor, a blood flow sensor, a body motion sensor, etc. are provided as the biological sensor 31.
  • the microphone 32 detects sound information around the user. For example, the voice uttered by the user is appropriately detected. Thereby, for example, the user can enjoy the VR experience while making a voice call, and can perform the operation input of the HMD 10 using the voice input.
  • the type of sensor provided as the sensor unit 26 is not limited, and any sensor may be provided.
  • a temperature sensor or a humidity sensor capable of measuring the temperature and humidity of the environment in which the HMD 10 is used may be provided. It is also possible to regard the inward camera 15 and the outward camera 16 as a part of the sensor unit 26.
  • the storage unit 27 is a non-volatile storage device, and for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like is used. In addition, any non-transitory computer-readable storage medium may be used.
  • an HDD Hard Disk Drive
  • SSD Solid State Drive
  • any non-transitory computer-readable storage medium may be used.
  • the storage unit 27 stores a control program 28 for controlling the overall operation of the HMD 10, model information 29, and scale change information 30.
  • the method of installing the control program 28, the model information 29, and the scale change information 30 in the HMD 10 is not limited.
  • the model information 29 is information for rendering the virtual object and includes the shape, color, reference size, etc. of the virtual object.
  • the reference size is a reference size when the virtual object is displayed on the display 22.
  • the virtual object is displayed with the display size corresponding to the display scale (display magnification) with the reference size as the reference.
  • the virtual object when the display scale is 1, the virtual object is displayed so that the reference size and the display size are equal.
  • the display scale is double, the virtual object is displayed such that the display size is twice the reference size.
  • the display scale is 0.5 times, the virtual object is displayed such that the display size is 0.5 times the reference size. It can be said that the reference size is the display size when the display scale is 1 time.
  • the user can change the display size of the virtual object displayed on the display 22 by changing the display scale.
  • a display scale change instruction by operating the operation button 22, voice input, gesture input, input based on the movement of the line of sight, or the like.
  • the gesture input can be performed based on an image of the user's hand or the like taken by the outward camera 16.
  • the input based on the movement of the line of sight can be performed based on the line of sight information.
  • the display scale may be changed even if the user does not input a display size change instruction.
  • the display scale may be changed separately from the user's instruction.
  • the present technology can be applied to the change of the display size of the virtual object.
  • a three-dimensional model that is simultaneously displayed in a virtual space with a predetermined size ratio is displayed.
  • a state in which each of the plurality of virtual objects is displayed in the reference size is a state in which they are simultaneously displayed in a predetermined size ratio. That is, the ratio of the reference sizes corresponds to the predetermined size.
  • the method of changing the display size according to the change of the display scale is not limited to the method using the reference size, and any algorithm may be adopted. Even in this case, for example, the size ratio of the plurality of virtual objects in the predetermined display state can be defined as the predetermined size ratio.
  • the scale change information 30 is information set in a specific virtual object among a plurality of virtual objects displayed on the display 22. Conversely, among the plurality of virtual objects displayed on the display 22, the virtual object for which the scale change information 30 is set is the specific virtual object.
  • All virtual objects included in the video content may be specific virtual objects, or only one virtual object may be specific virtual objects.
  • the scale change information 30 is information on the display size change mode of the specific virtual object.
  • the information about the display scale change mode is included. Specifically, it includes information regarding switching of the display scale change mode (display size change mode).
  • scale change information 30 information regarding two different change modes and information regarding switching between two different change modes are stored.
  • the two different change modes include, for example, a first change mode in which the display scale is changed at the first change rate and a first change mode in which the display scale is changed at the second change rate different from the first change mode.
  • the change mode includes a mode in which the display scale is not changed.
  • the change mode in which the change of the display scale is restricted can be said to be a change mode in which the change rate is zero.
  • the information regarding the switching between the two change modes includes, for example, the timing at which the change modes are switched, and the threshold value regarding the display size that is the reference for switching the change modes.
  • a threshold regarding the display scale is stored as the threshold regarding the display size. For example, when the display scale of the specific virtual object reaches a predetermined threshold, the display scale changing mode is switched.
  • the maximum display scale that does not increase the display scale any more and the minimum display scale that the display scale does not decrease any more may be set as the threshold related to the display scale.
  • the maximum display scale and the minimum display scale correspond to threshold values for switching the mode in which the display scale is changed and the change mode in which the change of the display scale is restricted.
  • the maximum display scale and the minimum display scale correspond to the maximum display size and the minimum display size.
  • the display size of the virtual object is changed within the range of the maximum display scale and the minimum display scale.
  • the maximum display scale and the minimum display scale may be set.
  • the scale change information 30 includes limit information regarding the limit of changing the display size (display scale) of other virtual objects other than the specific virtual object for which the scale change information 30 is set.
  • limit information information on whether to restrict the change of the display size (display scale) of another virtual object according to the switching of the change mode of the display size (display scale) is stored.
  • the display size (display scale) reaches the threshold value, information on whether to limit the change of the display size (display scale) of another virtual object is stored.
  • the scale change information 30 corresponds to the display size change information.
  • the controller 40 controls the operation of each block included in the HMD 10.
  • the controller 40 has a hardware configuration necessary for a computer, such as a CPU, a GPU, and a memory (RAM, ROM). Various processes are executed by the CPU or the like loading the control program 28 stored in the storage unit 27 into the RAM and executing the control program 28.
  • controller 40 for example, a device such as a PLD (Programmable Logic Device) such as FPGA (Field Programmable Gate Array) or other ASIC (Application Specific Integrated Circuit) may be used.
  • PLD Process-Demand Deformation
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • FIG. 3 is a block diagram showing a functional configuration example of the controller 40.
  • the CPU or the like of the controller 40 executes a program (for example, an application program) according to the present embodiment, and as a functional block, the scale change processing unit 41, the notification control unit 42, the display generation unit 43, the scale change The information generation unit 44 and the voice control unit 45 are realized.
  • a program for example, an application program
  • the information processing method according to the present embodiment is executed by these functional blocks.
  • dedicated hardware such as an IC (integrated circuit) may be appropriately used to implement each functional block.
  • the information processing device according to the present technology is realized by the HMD 10 including the controller 40.
  • the HMD 10 also functions as a display device according to the present technology.
  • the scale change processing unit 41 reads model information of a plurality of virtual objects displayed on the display 22 from the storage unit 27. Then, the display scale (display size) is changed for the plurality of virtual objects. At this time, for the specific virtual object, the scale change information set for the specific virtual object is read from the storage unit 27, and the display scale is changed based on the read scale change information.
  • the scale change process is executed based on the user's change instruction input through the operation of the operation button 24
  • the change instruction may be input by voice input or gesture input.
  • the display scale may be changed without depending on the user's change instruction.
  • the scale change processing unit 41 executes the scale change processing on the plurality of virtual objects.
  • the display scale is changed for the specific virtual object in different change modes. Further, at the timing of changing the display scale change mode of any one of the specific virtual objects, the change of the display scale for the plurality of virtual objects is stopped. After that, when the user's display scale change instruction is input again, the display sizes of the plurality of virtual objects are changed again.
  • the display size changing method is not limited to this.
  • the notification control unit 42 executes notification regarding switching of the display scale change mode of a specific virtual object when the display scale of a plurality of virtual objects is changed.
  • the notification regarding the change of the change mode an arbitrary notification that allows the user to recognize that the change mode of the specific virtual object has been changed may be executed.
  • highlighting of a specific virtual object For example, highlighting of a specific virtual object, output of related information regarding switching of change mode, etc. are executed.
  • highlighting of the specific virtual object for example, blinking, vibrating, enlarging and / or reducing the specific virtual object, changing the color, changing the animation, attaching a specific marker, or the like, for arbitrary highlighting the specific virtual object Display may be performed.
  • any related information regarding switching of the change mode may be output.
  • At least one of the highlighting of the specific virtual object and the output of the related information regarding the switching of the change mode is executed, but other notification methods may be executed.
  • change mode switching notification A notification regarding change mode switching (hereinafter referred to as change mode switching notification) is executed at the timing when the display scale change mode of the specific virtual object is switched. Therefore, in the present embodiment, the change notification is executed at the timing of changing the change mode, and the change of the display scale is stopped. As a result, the user can fully understand that the display scale change mode of the specific virtual object is switched.
  • the timing of the switching notification is not limited, and the timing according to the timing of switching the display scale change mode of the specific virtual object may be set appropriately.
  • the change mode switching notification may be executed at a predetermined timing before the display scale changing mode is switched.
  • any timing that allows the user to recognize the switching of the change mode may be adopted.
  • the notification control unit 42 generates an image for highlighting a specific object, an image of related information regarding switching of the change mode, and the like, and outputs the image to the display generation unit 43.
  • the notification control unit 42 can also be referred to as a notification expression generation unit. Note that output of related information regarding switching of the change mode may be performed by voice output via the headphone unit 13.
  • the notification by the notification control unit 42 is executed based on the scale change information 30 set in the specific virtual object.
  • the scale change processing unit 41 reads the scale change information 30 from the storage unit 27 and outputs it to the notification control unit 42.
  • the notification control unit 42 may read the scale change information 30 from the storage unit 27.
  • the display generation unit 43 generates an image (rendering image) for displaying on the display 22 a plurality of virtual objects whose display scale has been changed by the scale change processing unit 41.
  • the scale change processing unit 41 also generates an image (rendering image) for displaying the notification display (highlighted display or display of related information) output by the notification control unit 42 on the display 22.
  • a plurality of virtual objects and a change mode switching notification are displayed on the display 22 by the generated rendered image.
  • the scale change information generation unit 44 generates the scale change information 30 set in the specific virtual object. For example, it is possible to dynamically generate the scale change information 30 based on user information regarding the user, surrounding environment information, device information of the HMD 10 that displays the specific virtual object, and the like.
  • the user information includes arbitrary information such as the standing position of the user, the eyesight of the user, and the physical condition of the user.
  • the environmental information includes arbitrary information such as ambient brightness and temperature.
  • the device information arbitrary information such as the resolution of the HMD 10 and lens information can be given.
  • the user information, the environment information, and the device information can be acquired based on the detection result of the sensor unit 26 of the HMD 10, for example.
  • user information, environment information, and device information may be input in advance and stored in the storage unit 27.
  • the scale change information generating unit 44 generates the display scale change information based on at least one of the user information, the environment information, and the device information, but the scale change information is generated based on other information. May be generated.
  • the scale change information generation unit 44 may not be provided, and the scale change information stored in the storage unit 27 in advance may be used. That is, the present technology is applicable even when the scale change information is not dynamically generated.
  • the voice control unit 45 controls the output of voice regarding each of the plurality of virtual objects.
  • the voice control unit 45 controls the output of the voice regarding the specific virtual object based on the scale change information 30 of the specific virtual object. The user can hear the sound regarding the specific virtual object output through the headphone unit 13.
  • the display scale of the tennis ball which is a specific virtual object, is changed.
  • the volume of the sound generated when the ball is hit by the player's racket and the volume of the sound of the ball bouncing the court are controlled. .
  • the scale change processing unit 41, the notification control unit 42, and the display generation unit 43 change the display size for a plurality of virtual objects
  • a specific virtual object among the plurality of virtual objects is displayed.
  • a display control unit that implements a notification regarding switching of the display size change mode of the specific virtual object based on the display size change information of the object is realized.
  • the scale change processing unit 41 also realizes an input unit for inputting a user instruction. Further, the scale change information generation unit 44 realizes a generation unit that generates the display size change information set in the specific virtual object.
  • [Change display scale of specific virtual object] 4 to 7 are graphs for explaining examples of changing the display scale of a specific virtual object.
  • 4 and 5 are graphs showing specific examples in the case where the display scale of the specific virtual object is reduced along the time axis.
  • 6 and 7 are graphs showing a specific example in which the display scale of the specific virtual object is enlarged along the time axis.
  • the change mode M1 and the change mode M2 are the "first change mode in which the display scale is changed at the first change rate" and the "display scale is changed at the second change rate different from the first change rate”. Second change mode ”.
  • FIGS. 4 to 7 show the switching scale X times, which is a threshold value related to the display scale that serves as a reference for switching the change mode.
  • the timing T at which the display scale of the specific virtual object becomes X times the switching scale is the switching timing at which the change mode M1 is switched to the change mode M2.
  • the switching notification is executed at this switching timing.
  • the timing T is the switching timing and the notification timing of the switching notification.
  • the timing T may be referred to as a switching timing T or a notification timing T by using the same symbol.
  • the switching notification may be executed at the timing T ′ immediately before the switching timing T.
  • the timing T ′ immediately before becomes the notification timing.
  • the interval C between the switching timing T and the notification timing T ′ may be set arbitrarily.
  • the interval C may be set long.
  • the interval C is set between 0 second and 1 second, for example.
  • a threshold value related to the display scale may be set in order to execute the switching notification. For example, a value close to the threshold value for switching the change mode (set as the switching threshold value) is set as the threshold value for executing the switching notification (set as the notification threshold value).
  • the switching notification is executed when the display scale reaches the notification threshold. After that, when the display scale reaches the switching threshold value, the change mode is switched. Such processing is also possible.
  • interval C can also be referred to as a grace period from the execution of the switching notification to the switching of the change mode.
  • the display scale is reduced by the change mode M1 in which the change rate of the display scale is monotonically decreasing (straight line descending to the right) until the display scale reaches the switching scale X times.
  • the display scale is not changed, that is, the change mode M2 in which the change of the display scale is restricted is set. Therefore, the switching scale X times is the minimum display scale.
  • the display scale change rate can be defined by the display scale change amount per unit time, for example.
  • the change rate may be defined by the slope (differential value) or the like. As shown in FIGS. 4 to 7, it is possible to set various change rates such as a monotone decrease, a monotone increase, a curve, a leveling change, or a non-continuous change.
  • the switching timing T of the change mode the change of the display scale for a plurality of virtual objects is stopped. That is, at the switching timing P, the change of the entire display scale is once stopped. Then, the switching notification is executed at the same timing.
  • the change mode of the specific virtual object is the change mode M2, so the display scale is not changed.
  • the display scale is changed based on the limit information included in the scale change information 30 set for the specific virtual object. This point will be described later in detail.
  • the change mode M1 is a mode in which the display scale of the specific virtual object is changed at the change rate of the curve.
  • the change mode M2 is a mode in which the change of the display scale of the specific virtual object is restricted.
  • the change mode M1 is a mode in which the display scale of the specific virtual object is changed by monotonically decreasing.
  • the change mode M2 is a mode in which the display scale is changed at a change rate (gradient slope) lower than that in the change mode M1.
  • the change mode M1 is a mode in which the display scale of the specific virtual object is changed by monotonically decreasing.
  • the change mode M2 is a mode in which the change of the display scale of the specific virtual object is restricted.
  • the display scale of the specific virtual object when the display scale of the specific virtual object reaches X times the switching scale, the display scale is instantaneously changed. That is, in FIG. 5B, the switching scale X times is not the minimum display scale. It is also possible to adopt a setting in which the display scale of the specific virtual object is changed discontinuously.
  • the change mode M1 is a mode in which the display scale of a specific virtual object is changed at a change rate of monotonically increasing (a straight line rising to the right).
  • the change mode M2 is a mode in which the change of the display scale of the specific virtual object is restricted. Therefore, the switching scale X times is the maximum display scale.
  • the change mode M1 is a mode in which the display scale of the specific virtual object is changed at the change rate of the curve.
  • the change mode M2 is a mode in which the change of the display scale of the specific virtual object is restricted.
  • the change mode M1 is a mode in which the display scale of the specific virtual object is changed at the change rate of the curve.
  • the change mode M2 is a mode in which the display scale is changed at a curve change rate different from that of the change mode M1.
  • the change mode M1 is a mode in which the display scale of the specific virtual object is changed by monotonically increasing.
  • the change mode M2 is a mode in which the change of the display scale of the specific virtual object is restricted.
  • the display scale of the specific virtual object reaches the switching scale X times, the display scale is instantaneously changed.
  • FIG. 8 is a flowchart showing an example of changing the display scale for a plurality of virtual objects.
  • FIG. 9 is a schematic diagram showing an example of a plurality of virtual objects displayed on the display 22 and notifications.
  • FIG. 10 is a table showing an example of the scale change information 30 of the specific virtual object and the display scale (display magnification) in FIG. 7.
  • a player 50, a ball 51, and a court 52 are set as a plurality of virtual objects. Then, the scale change information 30 is set for the player 50, the ball 51, and the court 52. That is, in this example, all of the plurality of virtual objects are set as the specific virtual object.
  • the maximum display scale is “5 times”
  • the minimum display scale is “0.5 times”
  • the other object scale limit is “present”.
  • the maximum display scale is “none”, the minimum display scale is “0.8 times”, and the other object scale limit is “none”.
  • the maximum display scale is "none"
  • the display scale of the ball 51 can be increased without any upper limit.
  • the maximum display scale is “none”
  • the minimum display scale is “0.8 times”
  • the other object scale limit is “present”.
  • the other object scale limit is information on whether or not to limit the change of the display scale of other virtual objects of the plurality of virtual objects.
  • the other object scale limit is set to “present” or “not present”.
  • the other object scale limit is set to "none", even if the display scale of the specific virtual object reaches the maximum display scale or the minimum display scale, the change of the display scale of other virtual objects is not limited.
  • the ball 51 and the court 52 are other virtual objects for the player 50.
  • the player 50 and the court 52 are other virtual objects.
  • the player 50 and the ball 51 are other virtual objects for the court 52.
  • the other object scale limit is set to “present”, and thus the display scale of the ball 51 and the court 52, which are other objects, is changed. Is stopped.
  • each one of a plurality of players may be set as different specific virtual objects.
  • the conditions and the like of the scale change information 30 set for the specific virtual object are not limited.
  • the maximum display scale and the minimum display scale may be set to the same numerical value so that the display scale is not changed.
  • step 101 it is monitored whether a zoom operation is input (step 101).
  • the scale change processing unit 41 calculates the display scale of each virtual object (step 102).
  • the scale change processing unit 41 and the notification control unit 42 determine whether or not there is a specific virtual object that has reached the scale limit (step 103).
  • the scale limit is the maximum display scale or the minimum display scale set for each specific virtual object.
  • FIG. 9A is a diagram in which the display scale of the player 50, the ball 51, and the court 52 is 0.9 times. In this state, since there is no specific virtual object that has reached the scale limit (NO in step 103), the switching notification is not executed and the display scale is continuously changed (step 107).
  • FIG. 9B is a diagram in which the display scale of the player 50, the ball 51, and the court 52 is 0.8 times. Therefore, the ball 51 reaches the minimum display scale. As a result, it is determined that there is a virtual object that has reached the scale limit (YES in step 103), and it is determined whether the switching notification has been executed (step 104).
  • the notification control unit 42 and the display generating unit 43 execute the switching notification of the change mode (step 105).
  • the shape of the ball 51 is dynamically changed by animation, and a text indicating that the display scale of the ball 51 cannot be further reduced is displayed.
  • step 106 it is determined whether or not the other object scale limit is "present" (step 106). If it is determined in step 104 that the switching notification has already been executed, the process proceeds to step 106.
  • the display scale of the player 50 and the court 52 which are other objects, is not limited. As a result, the display scale of the ball 51 is stopped at 0.8 times, and the display scale of the player 50 and the court 52 is continuously changed (step 107).
  • the change of the display scale for the player 50, the ball 51, and the court 52 is stopped at the timing when the switching notification is executed. After that, when the zoom operation for reducing the display scale is input again, the display scales of the player 50 and the court 52 are reduced again (proceeding to the flow after YES in step 101).
  • FIG. 9C is a diagram showing a state in which the display scale of the player 50, the ball 51, and the court 52 is 0.5 times. Therefore, this time, the player 50 reaches the minimum display scale. As a result, the switching notification is executed for the player 50. For example, highlighting of the player 50 and display of related information such as text are executed.
  • step 106 becomes YES
  • the display scale changing process of the court 52 which is another virtual object is not executed, and the process returns to step 101. That is, the change of the display scale of the code 52 is limited.
  • the minimum display scale of the coat 52 is “0.3 times”. Therefore, if only the coat 52 is focused on, it is possible to further reduce the size as compared with the state of FIG. 7C. However, due to the other object scale limitation of the player 50, the court 52 cannot be set to a double display scale of 0.5 times or less.
  • the display scale of the ball 51 is “0.8 times”, and the display scales of the player 50 and the court 52 are “0.5 times”. Therefore, the display scale of the ball 51 is larger than that of the player 50 and the court 52. As a result, it is possible to sufficiently prevent the ball, which is an important factor for a tennis match, from becoming invisible due to the reduction of the display scale.
  • the change mode switching notification is executed. As a result, it becomes easier to recognize which specific virtual object is subject to the display scale limitation.
  • the notification regarding the switching of the display scale change mode of the specific virtual object is executed. As a result, high usability can be exhibited in displaying the virtual object.
  • CAD Computer aided design
  • the scale limitation is expressed in a form that is easy for the user to understand. This makes it possible to realize a high-quality virtual expression and exhibit high usability.
  • switching notification is executed for each specific virtual object, which makes it easier to recognize which specific virtual object has a scale limit. As a result, it is possible to recognize the specific virtual object whose display scale change rate is discontinuous.
  • FIG. 11 is a schematic diagram showing an example of a plurality of virtual objects and notifications displayed on the display 22 according to the second embodiment.
  • the indicator 65 is displayed on the display 22 when the user performs the zoom operation.
  • the indicator 65 can display the current display scale of the specific virtual object, the maximum display scale and the minimum display scale that are thresholds related to the display scale, and the like.
  • the display of the indicator 65 is included in the notification regarding the switching of the change mode of the display size (display scale) of the specific virtual object.
  • the timing of displaying the indicator 65 is not limited, and may be displayed in response to the input of the zoom operation, or may be displayed at the switching timing of the change mode of the specific virtual object.
  • the indicator 65 includes a current magnification bar 66 and threshold bars 70 to 72.
  • the current magnification bar 66 shows the current display scale.
  • the display scale becomes larger as the current magnification bar 66 approaches L (Large) at the left end of the indicator.
  • the display scale becomes smaller as the current magnification bar 66 approaches S (Small) at the right end of the indicator.
  • the threshold bars 70 to 72 indicate threshold values that serve as a reference for switching the change mode of each specific virtual object. Therefore, when the current magnification bar reaches the threshold bars 70 to 72, the change mode switching notification is executed for the specific virtual object corresponding to the threshold bars 70 to 72.
  • the notification bar 70 indicates the threshold of the display scale of the player 60.
  • the notification bar 70a shows the maximum display scale of the player 60
  • the notification bar 70b shows the minimum display scale of the player 60.
  • the notification bar 71 indicates the threshold value of the display scale of the ball 61.
  • the notification bar 72 indicates the threshold value of the display scale of the court 62.
  • the notification bar 72a shows the maximum display scale of the court 62, and the notification bar 72b shows the minimum display scale of the court 62.
  • each bar is not limited.
  • the bar color may be changed according to the characteristics such as the color of each specific virtual object.
  • the number of the bar magnification may be displayed in text near the current magnification bar 66 or the notification bar.
  • the case where the current magnification bar 66 has not reached any of the threshold bars corresponds to the case where there is no specific virtual object that has reached the scale limit. Therefore, the switching notification is not executed.
  • the notification control unit 42 and the display control unit 43 may display a predetermined indicator marker 63 at the position of the ball 61 instead of the ball 61. That is, the ball 61 may be replaced with the indicator marker 63. This makes it possible to prevent the ball from becoming too small and difficult to see.
  • the timing of displaying the indicator marker 63 instead of the ball 61 is not limited.
  • the indicator marker 63 may be displayed at a timing when the size of the ball 61 becomes smaller than a predetermined size. For example, when the size of the ball 61 becomes 1 dot or less of the display device, the indicator marker 63 is replaced. Such processing is also possible.
  • the shape of the indicator marker 63 is not limited.
  • the usability can be improved by displaying the indicator 65 as a notification regarding switching of the change mode.
  • an arbitrary GUI may be used as the notification regarding the switching of the change mode.
  • by replacing the indicator marker 63 or the like it is possible to notify the user that the virtual object may become invisible.
  • changing the display scale was taken as an example of changing the display size.
  • the invention is not limited to this, and the length of the virtual object, the area of the virtual object, the volume of the virtual object, and the like may be changed. That is, the present technology is applicable even when the length, area, volume, etc. are changed by the user.
  • the magnification of each specific virtual object is changed uniformly from the same value.
  • the present invention is not limited to this, and the display scale of each specific virtual object may be changed from a different state, and the display scale of each specific virtual object may be changed.
  • the display scale changing mode of each specific virtual object may be set arbitrarily.
  • the magnification of the ball 51 (61) may be largely changed in advance so that the visibility can be ensured with a low magnification.
  • a change mode in which a plurality of virtual objects maintain a predetermined size ratio and the display size is changed at the same time as illustrated in FIG. 9A may be defined as the first change mode according to the present technology. Further, a change mode in which a change in the display size of the specific virtual object is restricted to a change having a size ratio different from a predetermined size ratio, as shown in FIG. 9C, is defined as a second change mode according to the present technology. May be done.
  • a plurality of virtual objects maintain a predetermined size ratio and the display size is changed at the same time.
  • the change mode and the change mode in which the change in the display size of the specific virtual object is restricted to the change in the size ratio different from the predetermined size ratio may be set.
  • the voice control unit 45 controls the output of the voice regarding the specific virtual object based on the scale change information 30 of the specific virtual object.
  • the present invention is not limited to this, and the output of the sound regarding the specific virtual object may be controlled based on the change of the display scale of the specific virtual object.
  • the volume of the sound generated when the table tennis ball is hit by the player's racket is controlled based on the magnification of the table tennis ball, the area of the displayed ball, and the like.
  • each specific virtual object has reached the scale limit one by one.
  • the present invention is not limited to this, and there may be a plurality of specific virtual objects that have reached the scale limit. For example, when there are both the settings of "existence" and “absence” of the other object scale restriction, "existence" of the other object scale restriction may be prioritized.
  • the display scale of the specific virtual object is temporarily stopped at the timing when the change mode M1 is switched to the change mode M2.
  • the display scale of the specific virtual object may not be temporarily stopped at the switching timing.
  • the switching notification is performed when the specific virtual object reaches the scale limit.
  • the notification may be executed only when the display scale of the specific virtual object is reduced or enlarged. Further, for example, the notification may not be given at all switching timings.
  • one timing T at which the display scale of the specific virtual object becomes the switching scale X times is set.
  • a plurality of timings T may be set for the display scale of one specific virtual object.
  • a plurality of notification timings T' may be set.
  • the HMD 10 is an immersive head mounted display.
  • the present technology is not limited to this, and the present technology can also be applied to wearable terminals such as AR glasses having a transmissive display and ARs and VRs such as smartphones.
  • FIG. 12 is a perspective view showing an external appearance example of an HMD 100 according to another embodiment.
  • the HMD 100 is a glasses-type device having a transmissive display and is also called AR glasses.
  • the HMD 100 includes a frame 101, a left-eye lens 102a and a right-eye lens 102b, a left-eye display 103a and a right-eye display 103b, a left-eye camera 104a and a right-eye camera 104b, and an outward facing camera 105.
  • the frame 101 is in the shape of glasses and has a rim portion 106 and a temple portion 107.
  • the rim portion 106 is a portion arranged in front of the left and right eyes of the user, and supports the left-eye lens 102a and the right-eye lens 102b, respectively.
  • the temple portion 107 extends rearward from both ends of the rim portion 106 toward both ears of the user, and the tips thereof are attached to both ears.
  • the rim portion 106 and the temple portion 107 are formed of a material such as synthetic resin or metal.
  • the left-eye lens 102a and the right-eye lens 102b are arranged in front of the left and right eyes of the user so as to cover at least a part of the visual field of the user.
  • Each lens is typically designed to correct the user's vision.
  • the present invention is not limited to this, and so-called abrupt lens may be used.
  • the left-eye display 103a and the right-eye display 103b are transmissive displays, and are arranged so as to cover a partial area of the left-eye lens 102a and the right-eye lens 102b, respectively. That is, the left-eye lens 102a and the right-eye lens 102b are arranged in front of the left and right eyes of the user, respectively.
  • the left-eye display 103a and the right-eye display 103b display images for the left-eye and the right-eye, respectively.
  • the user wearing the HMD 100 can visually recognize the actual scenery and at the same time visually recognize the images displayed on the respective displays 103a and 103b. This enables the user to experience augmented reality (AR) and the like.
  • AR augmented reality
  • a virtual display object (virtual object) is displayed on each of the displays 103a and 103b.
  • CG Computer Graphics
  • CG Computer Graphics
  • the present invention is not limited to this, and any virtual object may be displayed.
  • the left-eye display 103a and the right-eye display 103b for example, a transmissive organic EL display or an LCD (Liquid Crystal Display) display is used.
  • the specific configurations of the left-eye display 103a and the right-eye display 103b are not limited, and for example, a method of projecting and displaying an image on a transparent screen, a method of displaying an image using a prism, or the like. Any type of transmissive display may be appropriately used.
  • the left-eye camera 104a and the right-eye camera 104b are appropriately installed on the frame 101 so that the user's left and right eyes can be photographed. For example, it is possible to detect the line-of-sight information regarding the line of sight of the user based on the images of the left eye and the right eye captured by the left-eye camera 104a and the right-eye camera 104b.
  • the left-eye camera 104a and the right-eye camera 104b for example, digital cameras equipped with image sensors such as CMOS sensors and CCD sensors are used. Further, an infrared camera equipped with infrared illumination such as an infrared LED may be used.
  • the outward facing camera 105 is arranged at the center of the frame 101 (rim portion 106) toward the outside (the side opposite to the user).
  • the outward camera 105 can capture an image of a real space included in the user's visual field. Therefore, the outward camera 105 can generate a captured image of the real space.
  • the outward camera 105 captures an area that is on the front side of the user and includes the display area of the transmissive display 103. That is, the real space is photographed so as to include a range that can be seen through the display area as seen from the user.
  • a digital camera including an image sensor such as a CMOS sensor or a CCD sensor is used.
  • the information processing method and the program according to the present technology are executed by linking a computer mounted on the HMD with another computer capable of communicating via a network, or by another computer capable of communicating with the HMD, An information processing device according to the present technology may be constructed.
  • the information processing method and the program according to the present technology can be executed not only in a computer system configured by a single computer but also in a computer system in which a plurality of computers operate in conjunction.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all the constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems.
  • the information processing method according to the present technology and the execution of the program by the computer system include, for example, the case where the determination of the scale change information, the change of the display scale, the generation of the switching notification, and the like are executed by a single computer, and the respective processes. When both are executed by different computers.
  • the execution of each process by a predetermined computer includes causing a part or all of the process to be executed by another computer and acquiring the result.
  • the information processing method and program according to the present technology can be applied to a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • the effects described in the present disclosure are merely examples and are not limited, and other effects may be present.
  • the above description of the plurality of effects does not mean that those effects are necessarily exhibited simultaneously. It means that at least one of the above effects can be obtained depending on the conditions and the like, and of course, there is a possibility that an effect not described in the present disclosure may be exhibited.
  • An information processing apparatus comprising: a display control unit that executes a notification regarding switching of a display size change mode.
  • a display control unit that executes a notification regarding switching of a display size change mode.
  • the display control unit executes a notification regarding switching of the change mode at a timing according to a timing at which the change mode of the display size of the specific virtual object is switched.
  • the timing of executing the notification regarding the switching of the change mode is a timing at which the display size change mode is switched, or a predetermined timing before the display size change mode is switched.
  • the change of the display size includes at least one of a change in display scale of the virtual object, a change in length of the virtual object, and a change in area of the virtual object.
  • the information processing device according to any one of (1) to (6), An information processing apparatus, wherein the display size change information includes a threshold regarding the display size, which is a reference for switching the display size change mode.
  • the information processing device according to any one of (1) to (7), The information processing apparatus, wherein the display size change information includes at least one of a maximum display size and a minimum display size.
  • the information processing device according to any one of (1) to (8), The information processing device, wherein the plurality of virtual objects are three-dimensional models that are simultaneously displayed in a virtual space at a predetermined size ratio.
  • the information processing device In the display size change information, the display size is changed at a first change mode in which the display size is changed at a first change rate and at a second change rate different from the first change rate.
  • An information processing device including information on switching to the second change mode.
  • (11) The information processing device according to (10), In the first change mode, the plurality of virtual objects maintain the predetermined size ratio and the display size is changed at the same time, In the second modification mode, the modification of the display size of the specific virtual object is restricted to a modification having a size ratio different from the predetermined size ratio.
  • the information processing device according to any one of (1) to (11), An information processing apparatus, wherein the display size change information includes restriction information regarding a restriction on a change in the display size of another virtual object of the plurality of virtual objects.
  • the restriction information includes information on whether or not to restrict the change of the display size of the other virtual object according to the switching of the change mode of the display size.
  • the information processing device according to (12) or (13), The information processing apparatus, wherein the restriction information includes information on whether or not to limit the change of the display size of the other virtual object when the display size reaches the threshold value.
  • the information processing device according to any one of (1) to (14), further comprising: An input unit is provided for inputting user instructions, The information processing apparatus, wherein the display control unit executes the change of the display size for the plurality of virtual objects based on the display size change instruction input to the input unit.
  • the display control unit stops changing the display size of the plurality of virtual objects at a timing at which the display size changing mode of the specific virtual object is switched, and thereafter, the input unit is instructed to change the display size.
  • An information processing device that, when input again, changes the display size of the plurality of virtual objects again.
  • the information processing device according to any one of (1) to (16), further comprising: A generation unit that generates the display size change information set in the specific virtual object, An information processing device, wherein the generation unit generates the display size change information based on at least one of user information regarding the user, environment information, and device information regarding a display device that displays the specific virtual object.
  • the information processing apparatus according to any one of (1) to (17), further comprising: A voice control unit that controls the output of the voice for each of the plurality of virtual objects; An information processing apparatus, wherein the audio control unit controls output of audio related to the specific virtual object based on the display size change information of the specific virtual object.
  • the display size of the specific virtual object is changed based on the display size change information of the specific virtual object among the plurality of virtual objects.
  • the display size of the specific virtual object is changed based on the display size change information of the specific virtual object of the plurality of virtual objects.
  • a program that causes a computer system to perform the steps of performing notification of change mode switching. The information processing apparatus according to any one of (1) to (18), The display control unit replaces the specific virtual object with a predetermined marker according to switching of the display size changing mode.

Abstract

本技術の一形態に係る情報処理装置は、表示制御部を具備する。前記表示制御部は、複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、前記複数の仮想オブジェクトのうちの特定仮想オブジェクトに設定された表示サイズ変更情報に基づいて、前記特定仮想オブジェクトの前記表示サイズの変更モードの切替に関する通知を実行する。これにより、仮想オブジェクトの表示について、高いユーザビリティを発揮することが可能となる。

Description

情報処理装置、情報処理方法、及びプログラム
　本技術は、ＶＲ（Virtual Reality）やＡＲ（Augmented Reality）等の仮想コンテンツの表示に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
　特許文献１に記載の表示制御装置では、撮像画像から撮像対象の位置及び姿勢が認識される。認識された撮像対象に関連付けられた仮想オブジェクトが撮像対象の撮像倍率に応じて表示制御される。撮像倍率に応じた撮像対象の移動量に基づいて、仮想オブジェクトの移動量の割合が制御される。これにより、撮像箇所に対応する仮想オブジェクトを表示する場合において、ユーザの使用感を向上させることが図られている。（特許文献１の明細書段落［００４７］［００５０］図５、６等）。
特許第６３０４２３８号公報
　ＶＲやＡＲ等の仮想オブジェクトの表示について、高いユーザビリティを発揮可能な技術が求められている。
　以上のような事情に鑑み、本技術の目的は、仮想オブジェクトの表示について、高いユーザビリティを発揮可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、表示制御部を具備する。
　前記表示制御部は、複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、前記複数の仮想オブジェクトのうちの特定仮想オブジェクトに設定された表示サイズ変更情報に基づいて、前記特定仮想オブジェクトの前記表示サイズの変更モードの切替に関する通知を実行する。
　この情報処理装置では、複数の仮想オブジェクトのうちの特定仮想オブジェクトに対して表示サイズの変更が実行される際に、特定仮想オブジェクトの表示サイズの変更モードの切替に関する通知が実行される。これにより、仮想オブジェクトの表示について高いユーザビリティを発揮することが可能となる。
　前記表示制御部は、前記特定仮想オブジェクトの前記表示サイズの変更モードが切替わるタイミングに応じたタイミングで前記変更モードの切替に関する通知を実行してもよい。
　前記変更モードの切替に関する通知を実行するタイミングは、前記表示サイズの変更モードが切替わるタイミング、又は前記表示サイズの変更モードが切替わる前の所定のタイミングであってもよい。
　前記表示サイズの変更は、前記仮想オブジェクトの表示スケールの変更、前記仮想オブジェクトの長さの変更、及び前記仮想オブジェクトの面積の変更の少なくとも１つを含んでもよい。
　前記変更モードに関する通知は、前記特定仮想オブジェクトの強調表示、及び前記変更モードの切替に関する関連情報の出力の少なくとも一方を含んでもよい。
　前記表示制御部は、前記表示サイズの変更モードが切替わるタイミングで、前記表示サイズの変更を停止してもよい。
　前記表示サイズ変更情報は、前記表示サイズの変更モードの切替の基準となる前記表示サイズに関する閾値を含んでもよい。
　前記表示サイズ変更情報は、最大表示サイズ及び最小表示サイズの少なくとも一方を含んでもよい。
　前記複数の仮想オブジェクトは、仮想空間内にそれぞれ所定のサイズ比で同時に表示される３次元モデルであってもよい。
　前記表示サイズ変更情報は、第１の変更率で前記表示サイズが変更される第１の変更モードと、前記第１の変更率とは異なる前記第２の変更率で前記表示サイズが変更される第２の変更モードとの切替に関する情報を含んでもよい。
　前記第１の変更モードにおいては、前記複数の仮想オブジェクトは前記所定のサイズ比を維持して同時に前記表示サイズが変更されてもよい。この場合、前記第２の変更モードにおいては、前記特定仮想オブジェクトの前記表示サイズの変更は、前記所定のサイズ比とは異なるサイズ比となる変更に規制されてもよい。
　前記表示サイズ変更情報は、前記複数の仮想オブジェクトのうちの他の仮想オブジェクトの前記表示サイズの変更の制限に関する制限情報を含んでもよい。
　前記制限情報は、前記表示サイズの変更モードの切替に応じて、前記他の仮想オブジェクトの前記表示サイズの変更を制限するか否かの情報を含んでもよい。
　前記制限情報は、前記表示サイズが前記閾値に達した場合に、前記他の仮想オブジェクトの前記表示サイズの変更を制限するか否かの情報を含んでもよい。
　前記情報処理装置は、さらに、ユーザの指示が入力される入力部を具備してもよい。この場合、前記表示制御部は、前記入力部に入力される前記表示サイズの変更指示に基づいて、前記複数の仮想オブジェクトに対する前記表示サイズの変更を実行してもよい。
　前記表示制御部は、前記特定仮想オブジェクトの前記表示サイズの変更モードが切替わるタイミングで前記複数の仮想オブジェクトに対する前記表示サイズの変更を停止し、その後、前記入力部に前記表示サイズの変更指示が再度入力された場合に、前記複数の仮想オブジェクトに対する前記表示サイズの変更を再度実行してもよい。
　前記情報処理装置は、さらに、前記特定仮想オブジェクトに設定される前記表示サイズ変更情報を生成する生成部を具備してもよい。この場合、前記生成部は、前記ユーザに関するユーザ情報、環境情報、及び前記特定仮想オブジェクトを表示する表示装置に関する装置情報の少なくとも１つに基づいて、前記表示サイズ変更情報を生成してもよい。
　前記情報処理装置は、さらに、前記複数の仮想オブジェクトの各々に関する音声の出力を制御する音声制御部を具備してもよい。この場合、前記音声制御部は、前記特定仮想オブジェクトの前記表示サイズ変更情報に基づいて、前記特定仮想オブジェクトに関する音声の出力を制御してもよい。
　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、前記複数の仮想オブジェクトのうちの特定仮想オブジェクトの表示サイズ変更情報に基づいて、前記特定仮想オブジェクトの前記表示サイズの変更モードの切替に関する通知を実行することを含む。
　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、前記複数の仮想オブジェクトのうちの特定仮想オブジェクトの表示サイズ変更情報に基づいて、前記特定仮想オブジェクトの前記表示サイズの変更モードの切替に関する通知を実行するステップ。
　以上のように、本技術によれば、本技術の目的は、仮想オブジェクトの表示について、高いユーザビリティを発揮することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第１の実施形態に係るＨＭＤの構成例を示す図である。 ＨＭＤの機能的な構成例を示すブロック図である。 コントローラの機能的な構成例を示すブロック図である。 時間軸に沿って、特定仮想オブジェクトの表示スケールが縮小される場合の具体例を示すグラフである。 時間軸に沿って、特定仮想オブジェクトの表示スケールが縮小される場合の具体例を示すグラフである。 時間軸に沿って、特定仮想オブジェクトの表示スケールが拡大される場合の具体例を示すグラフである。 時間軸に沿って、特定仮想オブジェクトの表示スケールが拡大される場合の具体例を示すグラフである。 複数の仮想オブジェクトに対する表示スケールの変更例を示すフローチャートである。 ディスプレイに映される複数の仮想オブジェクト及び通知の一例を示す模式図である。 特定仮想オブジェクトのスケール変更情報及び図７における表示スケール（表示倍率）の一例を示す表である。 第２の実施形態に係るディスプレイに映される複数の仮想オブジェクト及び通知の一例を示す模式図である。 他の実施形態に係るＨＭＤの外観例を示す斜視図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　＜第１の実施形態＞
　［ＨＭＤ（Head Mounted Display）］
　図１は、本技術の第１の実施形態に係るＨＭＤ１０の構成例を示す図である。図１ＡはＨＭＤ１０の外観を模式的に示す斜視図であり、図１ＢはＨＭＤ１０を分解した様子を模式的に示す斜視図である。
　ＨＭＤ１０は、基体部１１と、装着バンド部１２と、ヘッドフォン部１３と、ディスプレイユニット１４と、内向きカメラ１５（１５ａ、１５ｂ）と、外向きカメラ１６と、カバー部１７とを有する。
　基体部１１は、ユーザの左右の眼の前方に配置される部材であり、ユーザの前頭部と当接される前頭支持部１８が設けられる。
　装着バンド部１２は、ユーザの頭部に装着される。図１に示すように、装着バンド部１２は、側頭バンド１９と、頭頂バンド２０とを有する。側頭バンド１９は、基体部１１に接続され、側頭部から後頭部にかけてユーザの頭部を囲むように装着される。頭頂バンド２０は、側頭バンド１９に接続され、側頭部から頭頂部にかけてユーザの頭部を囲むように装着される。
　ヘッドフォン部１３は、基体部１１に接続され、ユーザの左右の耳を覆うように配置される。ヘッドフォン部１３には、左用及び右用のスピーカが設けられる。ヘッドフォン部１３の位置は、手動又は自動により制御可能となっている。そのための構成は限定されず、任意の構成が採用されてよい。
　ディスプレイユニット１４は、基体部１１に挿入され、ユーザの眼の前方に配置される。ディスプレイユニット１４の内部には、ディスプレイ２２が配置される。ディスプレイ２２としては、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた任意の表示デバイスが用いられてよい。またディスプレイユニット１４には、ディスプレイ２２により表示された画像をユーザの左右の眼に導くレンズ系（図示は省略）が配置される。
　内向きカメラ１５は、ユーザの左眼及び右眼を撮影可能な左眼用カメラ１５ａ及び右眼用カメラ１５ｂからなる。左眼用カメラ１５ａ及び右眼用カメラ１５ｂは、ＨＭＤ１０の所定の位置、具体的には基体部１１の所定の位置にそれぞれ設置される。例えば、左眼用カメラ１５ａ及び右眼用カメラ１５ｂにより撮影された左眼及び右眼の画像に基づいて、ユーザの視線に関する視線情報等を検出することが可能である。
　左眼用カメラ１５ａ及び右眼用カメラ１５ｂとしては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。また、例えば赤外線ＬＥＤ等の赤外線照明を搭載した赤外線カメラが用いられてもよい。
　外向きカメラ１６は、カバー部１７の中央に、外側（ユーザとは反対側）に向けて配置される。外向きカメラ１６は、ユーザの前方側の実空間を撮影することが可能である。外向きカメラ１６としては、例えばＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備えるデジタルカメラが用いられる。
　カバー部１７は、基体部１１に取付けられ、ディスプレイユニット１４を覆うように構成される。このように構成されたＨＭＤ１０は、ユーザの視野を覆うように構成された没入型のヘッドマウントディスプレイとして機能する。例えばＨＭＤ１０により、３次元的な仮想空間が表示される。ユーザはＨＭＤ１０を装着することで、仮想現実（ＶＲ）等を体験することが可能となる。
　図２は、ＨＭＤ１０の機能的な構成例を示すブロック図である。ＨＭＤ１０は、さらに、コネクタ２３と、操作ボタン２４と、通信部２５と、センサ部２６と、記憶部２７と、コントローラ４０とを有する。
　コネクタ２３は、他のデバイスとの接続のための端子である。例えばＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の端子が設けられる。また充電時には、充電用のドッグ（クレードル）の充電端子とコネクタ２３とが接続されて充電が行われる。
　操作ボタン２４は、例えば基体部１１の所定の位置に設けられる。操作ボタン２４により、電源のＯＮ／ＯＦＦの操作、画像表示や音声出力に関する機能やネットワーク通信機能等のＨＭＤ１０が有する種々の機能に関する操作を実行することができる。ユーザにより操作ボタン２４が操作されると、操作に応じた操作信号が生成され、コントローラ４０に入力される。これにより、ユーザの指示がコントローラ４０に入力される。
　通信部２５は、他のデバイスとの間で、ネットワーク通信や近距離無線通信等を実行するためのモジュールである。例えばＷｉＦｉ等の無線ＬＡＮモジュールや、Bluetooth（登録商標）等の通信モジュールが設けられる。通信部２５が動作することで、外部装置等との間で無線通信が可能となる。
　センサ部２６は、９軸センサ２９と、ＧＰＳ３０と、生体センサ３１と、マイク３２とを有する。
　９軸センサ２９は、３軸加速度センサ、３軸ジャイロセンサ、及び３軸コンパスセンサを含む。９軸センサ２９により、ＨＭＤ１０の、３軸における加速度、角速度、及び方位を検出することが可能である。ＧＰＳ３０は、ＨＭＤ１０の現在位置の情報を取得する。９軸センサ２９及びＧＰＳ３０の検出結果は、例えばユーザ（ＨＭＤ１０）の姿勢や位置、ユーザの移動（動き）等の検出に用いられる。これらのセンサは、例えば基体部１１の所定の位置に設けられる。
　生体センサ３１は、ユーザの生体情報を検出することが可能である。例えば生体センサ３１として、脳波センサ、筋電センサ、脈拍センサ、発汗センサ、温度センサ、血流センサ、体動センサ等が設けられる。
　マイク３２は、ユーザの周辺の音情報を検出する。例えばユーザが発話した音声等が適宜検出される。これにより、例えばユーザは、音声通話をしながらＶＲ体験を楽しむことや、音声入力を用いたＨＭＤ１０の操作入力を行うことが可能である。
　センサ部２６として設けられるセンサの種類は限定されず、任意のセンサが設けられてもよい。例えばＨＭＤ１０を使用する環境の温度や湿度等を測定可能な温度センサや湿度センサ等が設けられてもよい。内向きカメラ１５及び外向きカメラ１６を、センサ部２６の一部として見做すことも可能である。
　記憶部２７は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が用いられる。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
　記憶部２７には、ＨＭＤ１０の全体の動作を制御するための制御プログラム２８、モデル情報２９、及びスケール変更情報３０が記憶される。制御プログラム２８、モデル情報２９、及びスケール変更情報３０を、ＨＭＤ１０にインストールする方法は限定されない。
　モデル情報２９は、仮想オブジェクトをレンダリングするための情報であり、仮想オブジェクトの形状、色、基準サイズ等を含む。基準サイズは、ディスプレイ２２に仮想オブジェクトが表示される際の基準となるサイズである。本実施形態では、基準サイズを基準として、表示スケール（表示倍率）に応じた表示サイズで、仮想オブジェクトが表示される。
　例えば、表示スケールが１倍の場合には、基準サイズと表示サイズが等しくなるように、仮想オブジェクトが表示される。表示スケールが２倍の場合には、基準サイズの２倍のサイズが表示サイズとなるように、仮想オブジェクトが表示される。表示スケールが０．５倍の場合には、基準サイズの０．５倍のサイズが表示サイズとなるように、仮想オブジェクトが表示される。基準サイズは、表示スケールが１倍の場合の表示サイズとも言える。
　ユーザは、表示スケールを変更することで、ディスプレイ２２に表示された仮想オブジェクトに対する表示サイズの変更を実行することが可能である。例えば、操作ボタン２２の操作、音声入力、ジェスチャー入力、視線の動きに基づいた入力等により、表示スケールの変更指示を入力することが可能である。なおジェスチャー入力は、外向きカメラ１６により撮影されたユーザの手等の画像に基づいて実行することが可能である。視線の動きに基づいた入力は、視線情報に基づいて実行することが可能である。
　もちろん、ユーザによる表示サイズの変更指示の入力がない場合でも、表示スケールの変更が実行される場合はあり得る。例えばＨＭＤ１０と仮想オブジェクトとの距離が変化した場合や、映像コンテンツにおける所定の視覚効果を生成する場合等、ユーザの指示とは別に表示スケールが変更する場合もあり得る。いずれにせよ、仮想オブジェクトの表示サイズの変更に対して、本技術を適用可能である。
　本実施形態では、複数の仮想オブジェクトとして、仮想空間内にそれぞれ所定のサイズ比で同時に表示される３次元モデルが表示される。例えば、複数の仮想オブジェクトの各々が基準サイズで表示されている状態が、所定のサイズ比で同時に表示されている状態となる。すなわち基準サイズ同士の比が、所定のサイズに相当する。
　なお、表示スケールの変更に応じて表示サイズを変更する方法は、基準サイズを用いた方法に限定されず、任意のアルゴリズムが採用されてよい。この場合でも、例えば所定の表示状態における複数の仮想オブジェクトのサイズ比を、所定のサイズ比として規定することが可能である。
　スケール変更情報３０は、ディスプレイ２２に表示される複数の仮想オブジェクトのうち、特定仮想オブジェクトに設定される情報である。逆に言えば、ディスプレイ２２に表示される複数の仮想オブジェクトのうち、スケール変更情報３０が設定された仮想オブジェクトが、特定仮想オブジェクトとなる。
　映像コンテンツに含まれる全ての仮想オブジェクトが、特定仮想オブジェクトとなる場合もあり得るし、１つの仮想オブジェクトのみが特定仮想オブジェクトとなる場合もありえる。
　スケール変更情報３０は、特定仮想オブジェクトの表示サイズの変更モードに関する情報である。本実施形態では、表示スケールの変更モードに関する情報が含まれる。具体的には、表示スケールの変更モード（表示サイズの変更モード）の切替に関する情報が含まれる。
　例えばスケール変更情報３０として、互いに異なる２つの変更モードに関する情報や、互いに異なる２つの変更モードの切替に関する情報が記憶される。
　互いに異なる２つの変更モードとしては、例えば第１の変更率で表示スケールが変更される第１の変更モード、及び第１の変更モードとは異なる第２の変更率で表示スケールが変更される第２の変更モードが挙げられる。すなわち変更率が互いに異なる２つの変更モードが挙げられる。
　また互いに異なる２つの変更モードとして、表示スケールが変更するモード、及び表示スケールの変更が規制された変更モードが挙げられる。すなわち本開示では、変更モードは、表示スケールが変更されないモードを含む。なお、表示スケールの変更が規制された変更モードは、変更率がゼロの変更モードとも言える。
　互いに２つの変更モードの切替に関する情報としては、例えば変更モードが切替わるタイミングや、変更モードの切替の基準となる表示サイズに関する閾値が挙げられる。本実施形態では、表示サイズに関する閾値として、表示スケールに関する閾値が記憶される。例えば特定仮想オブジェクトの表示スケールが所定の閾値に達した場合に、表示スケールの変更モードが切替えられる。
　また、表示スケールがそれ以上大きくならない最大表示スケールや、表示スケールがそれ以上小さくならない最小表示スケールが、表示スケールに関する閾値として設定されてもよい。最大表示スケール及び最小表示スケールは、表示スケールが変更するモード、及び表示スケールの変更が規制された変更モードを切替えるための閾値に相当する。本実施形態において、最大表示スケール及び最小表示スケールは、最大表示サイズ及び最小表示サイズに相当する。
　当然のことながら、最大表示スケール及び最小表示スケールが設定される場合は、仮想オブジェクトの表示サイズは、最大表示スケール及び最小表示スケールの範囲内で変更される。もちろん、最大表示スケール及び最小表示スケールのいずれか一方のみが設定されてもよい。
　またスケール変更情報３０は、そのスケール変更情報３０が設定されている特定仮想オブジェクト以外の、その他の仮想オブジェクトの表示サイズ（表示スケール）の変更の制限に関する制限情報を含む。例えば、制限情報として、表示サイズ（表示スケール）の変更モードの切替に応じて、他の仮想オブジェクトの表示サイズ（表示スケール）の変更を制限するか否かの情報が記憶される。あるいは、表示サイズ（表示スケール）が閾値に達した場合に、他の仮想オブジェクトの表示サイズ（表示スケール）の変更を制限するか否かの情報が記憶される。
　スケール変更情報３０を用いた複数の仮想オブジェクトの表示については、後に詳しく説明する。本実施形態において、スケール変更情報３０は、表示サイズ変更情報に相当する。
　コントローラ４０は、ＨＭＤ１０が有する各ブロックの動作を制御する。コントローラ４０は、例えばＣＰＵ、ＧＰＵ、メモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵ等が記憶部２７に記憶されている制御プログラム２８をＲＡＭにロードして実行することにより、種々の処理が実行される。
　コントローラ４０として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。
　図３は、コントローラ４０の機能的な構成例を示すブロック図である。本実施形態では、コントローラ４０のＣＰＵ等が本実施形態に係るプログラム（例えばアプリケーションプログラム）を実行することで、機能ブロックとして、スケール変更処理部４１、通知制御部４２、表示生成部４３、スケール変更情報生成部４４、及び音声制御部４５が実現される。
　これらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。本実施形態では、コントローラ４０を有するＨＭＤ１０により、本技術に係る情報処理装置が実現される。またＨＭＤ１０は、本技術に係る表示装置としても機能する。
　スケール変更処理部４１は、ディスプレイ２２に表示される複数の仮想オブジェクトのモデル情報を記憶部２７から読み出す。そして複数の仮想オブジェクトに対して、表示スケール（表示サイズ）の変更を実行する。その際に、特定仮想オブジェクトに対しては、その特定仮想オブジェクトに設定されているスケール変更情報を記憶部２７から読出し、読み出したスケール変更情報に基づいて、表示スケールの変更が実行される。
　ここでは、操作ボタン２４の操作を介して入力されるユーザの変更指示に基づいて、スケール変更処理が実行される場合を例に挙げて説明する。もちろん、音声入力やジェスチャー入力により変更指示が入力される場合もあり得る。またユーザの変更指示によらずに、表示スケールが変更される場合もあり得る。いずれにせよ、スケール変更処理部４１により、複数の仮想オブジェクトに対して、スケール変更処理が実行される。
　本実施形態では、特定仮想オブジェクトに対して、互いに異なる変更モードにて、表示スケールが変更される。またいずれかの特定仮想オブジェクトの表示スケールの変更モードが切替わるタイミングで、複数の仮想オブジェクトに対する表示スケールの変更が停止される。その後、ユーザの表示スケールの変更指示が再度入力された場合に、複数の仮想オブジェクトに対する表示サイズの変更が再度実行される。もちろんこのような表示サイズの変更方法に限定される訳ではない。
　通知制御部４２は、複数の仮想オブジェクトの表示スケールの変更が実行される際に、特定仮想オブジェクトの表示スケールの変更モードの切替に関する通知を実行する。変更モードの切替に関する通知として、特定仮想オブジェクトの変更モードが切替わったことをユーザが認識可能となる任意の通知が実行されてよい。
　例えば、特定仮想オブジェクトの強調表示や、変更モードの切替に関する関連情報の出力等が実行される。特定仮想オブジェクトの強調表示として、例えば特定仮想オブジェクトを点滅、振動、拡大又は／及び縮小、色を変える、アニメーション等の変化、特定のマーカを付ける等の、特定仮想オブジェクトを強調するための任意の表示が実行されてよい。
　変更モードの切替に関する関連情報の出力として、変更モードの切替わった旨（もうすぐ切替わる旨）等のテキスト、現在の変更モードを示すテキスト等の表示が挙げられる。また現在の表示スケール（表示倍率）の表示、特定仮想オブジェクトの表示スケールの閾値が示されたインジケータ等の表示が挙げられる。その他、変更モードの切替に関する任意の関連情報が出力されてよい。
　本実施形態では、特定仮想オブジェクトの強調表示、及び変更モードの切替に関する関連情報の出力の少なくとも一方が実行されるが、その他の通知方法が実行されてもよい。
　変更モードの切替に関する通知（以下、変更モードの切替通知と記載する）は、特定仮想オブジェクトの表示スケールの変更モードが切替わるタイミングで実行される。従って、本実施形態では、変更モードが切替わるタイミングで切替通知が実行されるとともに、表示スケールの変更が停止される。これにより、ユーザは、特定仮想オブジェクトの表示スケールの変更モードが切替わることを、十分に把握することが可能となる
　もちろん、切替通知のタイミングは限定されず、特定仮想オブジェクトの表示スケールの変更モードが切替わるタイミングに応じたタイミングが適宜設定されてよい。例えば表示スケールの変更モードが切替わる前の所定のタイミングで、変更モードの切替通知が実行されてもよい。その他、ユーザが変更モードの切替が把握可能な任意のタイミングが採用されてよい。
　図３に示す例では、通知制御部４２により、特定オブジェクトを強調表示するための画像や、変更モードの切替に関する関連情報の画像等が生成され、表示生成部４３に出力される。通知制御部４２を、通知表現生成部と言うことも可能である。なお、ヘッドフォン部１３を介した音声出力により、変更モードの切替に関する関連情報の出力等が実行されてもよい。
　通知制御部４２による通知は、特定仮想オブジェクトに設定されたスケール変更情報３０に基づいて実行される。図３に示す例では、スケール変更処理部４１により、記憶部２７からスケール変更情報３０が読み出され、通知制御部４２に出力される。もちろん、通知制御部４２により、記憶部２７からスケール変更情報３０が読み出されてもよい。
　表示生成部４３は、スケール変更処理部４１により表示スケールが変更された複数の仮想オブジェクトをディスプレイ２２に表示するための画像（レンダリング画像）を生成する。またスケール変更処理部４１は、通知制御部４２により出力される通知表示（強調表示や関連情報の表示）をディスプレイ２２に表示するための画像（レンダリング画像）を生成する。生成されたレンダリング画像により、ディスプレイ２２に、複数の仮想オブジェクト、及び変更モードの切替通知が表示される。
　スケール変更情報生成部４４は、特定仮想オブジェクトに設定されるスケール変更情報３０を生成する。例えば、ユーザに関するユーザ情報、周辺の環境情報、特定仮想オブジェクトを表示するＨＭＤ１０の装置情報等に基づいて、スケール変更情報３０を動的に生成することが可能である。
　ユーザ情報としては、ユーザの立ち位置、ユーザの視力、ユーザの体調等任意の情報が挙げられる。環境情報としては、周囲の明るさや温度等の任意の情報が挙げられる。装置情報としては、ＨＭＤ１０の解像度やレンズの情報等の任意の情報が挙げられる。ユーザ情報、環境情報、及び装置情報は、例えばＨＭＤ１０のセンサ部２６による検出結果に基づいて取得可能である。もちろんユーザ情報、環境情報、及び装置情報が予め入力され、記憶部２７に記憶されてもよい。
　本実施形態では、スケール変更情報生成部４４により、ユーザ情報、環境情報、及び装置情報の少なくとも１つに基づいて、表示スケール変更情報が生成されるが、その他の情報に基づいて、スケール変更情報が生成されてもよい。
　また、スケール変更情報生成部４４が備えられず、予め記憶部２７に記憶されたスケール変更情報が用いられてもよい。すなわちスケール変更情報が動的に生成されない場合でも、本技術は適用可能である。
　音声制御部４５は、複数の仮想オブジェクトの各々に関する音声の出力を制御する。本実施形態では、音声制御部４５は、特定仮想オブジェクトのスケール変更情報３０に基づいて、特定仮想オブジェクトに関する音声の出力を制御する。ユーザは、ヘッドフォン部１３を介して出力された特定仮想オブジェクトに関する音声を聞くことができる。
　例えば、ＶＲとして、ＨＭＤ１０を用いてテニスの試合をユーザが視聴していた場合、特定仮想オブジェクトであるテニスのボールの表示スケールを変更する操作を行うとする。この時、スケール変更情報３０に基づいて変更されるボールの表示スケールに応じて、ボールが選手のラケットにより打たれたときに生じる音や、ボールがコートをバウンドする音の大きさが制御される。
　本実施形態において、スケール変更処理部４１、通知制御部４２、及び表示生成部４３により、複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、複数の仮想オブジェクトのうちの特定仮想オブジェクトの表示サイズ変更情報に基づいて、特定仮想オブジェクトの表示サイズの変更モードの切替に関する通知を実行する表示制御部が実現される。
　またスケール変更処理部４１により、ユーザの指示が入力される入力部が実現される。また、スケール変更情報生成部４４により、特定仮想オブジェクトに設定される表示サイズ変更情報を生成する生成部が実現される。
　［特定仮想オブジェクトの表示スケールの変更］
　図４～図７は、特定仮想オブジェクトの表示スケールの変更例を説明するためのグラフである。図４及び図５は、時間軸に沿って、特定仮想オブジェクトの表示スケールが縮小される場合の具体例を示すグラフである。図６及び図７は、時間軸に沿って、特定仮想オブジェクトの表示スケールが拡大される場合の具体例を示すグラフである。
　図４～図７には、特定仮想オブジェクトの表示スケールの変更について、互いに異なる２つの変更モードＭ１及び変更モードＭ２の例が図示されている。変更モードＭ１及び変更モードＭ２は、「第１の変更率で表示スケールが変更される第１の変更モード」、及び「第１の変更率とは異なる第２の変更率で表示スケールが変更される第２の変更モード」の一実施形態に相当する。
　また図４～図７には、変更モードの切替の基準となる表示スケールに関する閾値となる、切替スケールＸ倍が図示されている。特定仮想オブジェクトの表示スケールが切替スケールＸ倍となるタイミングＴが、変更モードＭ１から変更モードＭ２に切替えられる切替タイミングとなる。この切替タイミングにて、切替通知が実行される。
　すなわち本実施形態では、タイミングＴが、切替タイミング、及び切替通知の通知タイミングとなる。以下、タイミングＴを、同じ符号を用いて、切替タイミングＴや通知タイミングＴと記載する場合がある。
　図４～図７に示すように、切替タイミングＴの直前のタイミングＴ'で、切替通知が実行されてもよい。この場合、直前のタイミングＴ'が、通知タイミングとなる。切替タイミングＴと通知タイミングＴ'との間隔Ｃは、任意に設定されてよい。なお直前のタイミングＴ'は、表示スケールの変更モードが切替わる前の所定のタイミングに相当する。
　例えば、ユーザが早めに変更モードが切替わるタイミングを知りたければ、間隔Ｃを長く設定してよい。例えば、例えば０秒～１秒までの間で間隔Ｃが設定される。もちろんこれに限定される訳ではない。なお間隔Ｃ＝０は、切替タイミング＝通知タイミングに相当する。
　もちろん、切替通知を実行するために、表示スケールに関する閾値が設定されてもよい。例えば変更モードを切替えるための閾値（切替用閾値とする）に近い値を、切替通知を実行するための閾値（通知用閾値とする）として設定する。表示スケールが通知用閾値に到達した場合に切替通知が実行される。その後、表示スケールが切替用閾値に到達した場合に変更モードの切替が実行される。このような処理も可能である。
　また間隔Ｃを、特定仮想オブジェクトごとに異なるように設定することも可能である。すなわち異なる特定仮想オブジェクトに対して、異なる間隔Ｃがそれぞれ設定されてもよい。間隔Ｃのことを、切替通知が実行されてから変更モードが切替わるまでの猶予時間ということも可能である。
　図４Ａに示す例では、表示スケールが切替スケールＸ倍に到達するまでには、表示スケールが単調減少（右下がりの直線）の変更率となる変更モードＭ１により、表示スケールが縮小される。表示スケールが切替スケールＸ倍に到達した後は、表示スケールが変更されない、すなわち表示スケールの変更が規制された変更モードＭ２となる。従って、切替スケールＸ倍は、最小表示スケールとなっている。
　なお表示スケールの変更率は、例えば単位時間に対する表示スケールの変更量により規定することが可能である。あるいは、傾き（微分値）等により、変更率が規定されてもよい。図４～図７に示すように、単調減少、単調増加、曲線、横ばい、又は非連続な変更等、様々な変更率を設定することが可能である。
　本実施形態では、変更モードの切替タイミングＴにて、複数の仮想オブジェクトに対する表示スケールの変更が停止される。すなわち切替タイミングＰで、一度全体の表示スケールの変更が停止される。そして、同じタイミングで切替通知が実行される。
　例えばユーザが表示スケールを縮小するボタン等をずっと押していたとしても、切替タイミングＰにて一度全体の表示スケールの変更が停止され、切替通知が実行される。これにより、ユーザは、特定仮想オブジェクトの表示スケールの変更モードが切替わることを、十分に把握することが可能となる。
　その後、ユーザにより、表示スケールを縮小するボタンが再度押されると、複数の仮想オブジェクトの表示スケールの変更が再度実行される。なお図４に示す例では、特定仮想オブジェクトの変更モードは、変更モードＭ２となるので、表示スケールは変更されない。
　他の仮想オブジェクトについては、特定仮想オブジェクトに設定されたスケール変更情報３０に含まれる制限情報に基づいて、表示スケールが変更される。この点については、後に詳しく説明する。
　図４Ｂに示す例では、変更モードＭ１は、曲線の変更率で特定仮想オブジェクトの表示スケールを変更するモードである。変更モードＭ２は、特定仮想オブジェクトの表示スケールの変更が規制されたモードである。
　図５Ａに示す例では、変更モードＭ１は、特定仮想オブジェクトの表示スケールを単調減少で変更するモードである。変更モードＭ２は、変更モードＭ１よりも低い変更率（緩やかな傾き）で表示スケールを変更するモードである。
　図５Ｂに示す例では、変更モードＭ１は、特定仮想オブジェクトの表示スケールを単調減少で変更するモードである。変更モードＭ２は、特定仮想オブジェクトの表示スケールの変更が規制されたモードである。
　図５Ｂに示す例では、特定仮想オブジェクトの表示スケールが切替スケールＸ倍に到達すると、表示スケールが瞬間的に変更される。すなわち図５Ｂに示すでは、切替スケールＸ倍は、最小表示スケールとはなっていない。このような特定仮想オブジェクトの表示スケールが非連続で変更する設定も採用可能である。
　図６Ａに示す例では、変更モードＭ１は、単調増加（右上がりの直線）の変更率で特定仮想オブジェクトの表示スケールを変更するモードである。変更モードＭ２は、特定仮想オブジェクトの表示スケールの変更が規制されたモードである。従って、切替スケールＸ倍は、最大表示スケールとなっている。
　図６Ｂに示す例では、変更モードＭ１は、曲線の変更率で特定仮想オブジェクトの表示スケールを変更するモードである。変更モードＭ２は、特定仮想オブジェクトの表示スケールの変更が規制されたモードである。
　図７Ａに示す例では、変更モードＭ１は、曲線の変更率で特定仮想オブジェクトの表示スケールを変更するモードである。変更モードＭ２は、変更モードＭ１とは異なる曲線の変更率で表示スケールを変更するモードである。
　図７Ｂに示す例では、変更モードＭ１は、特定仮想オブジェクトの表示スケールを単調増加で変更するモードである。変更モードＭ２は、特定仮想オブジェクトの表示スケールの変更が規制されたモードである。図７Ｂに示す例では、特定仮想オブジェクトの表示スケールが切替スケールＸ倍に到達すると、表示スケールが瞬間的に変更される。
　図８は、複数の仮想オブジェクトに対する表示スケールの変更例を示すフローチャートである。図９は、ディスプレイ２２に映される複数の仮想オブジェクト、及び通知の一例を示す模式図である。図１０は、特定仮想オブジェクトのスケール変更情報３０及び図７における表示スケール（表示倍率）の一例を示す表である。
　図９に示すように、ユーザがＨＭＤ１０を装着してＶＲコンテンツとしてテニスの試合を視聴している場合を例に挙げる。そして、ユーザにより、ズーム操作（表示スケールの変更操作）が入力されるとする。
　図１０に示すように、複数の仮想オブジェクトとして、選手５０、ボール５１、及びコート５２が設定されている。そして選手５０、ボール５１、及びコート５２に対して、スケール変更情報３０が設定される。すなわち本例では、複数の仮想オブジェクトの全てが、特定仮想オブジェクトとして設定されている。
　選手５０のスケール変更情報３０は、最大表示スケールが「５倍」、最小表示スケールが「０．５倍」、及び他オブジェクトスケール制限が「あり」である。
　ボール５１のスケール変更情報３０は、最大表示スケールが「なし」、最小表示スケールが「０．８倍」、及び他オブジェクトスケール制限が「なし」である。最大表示スケールが「なし」となっている場合は、ボール５１の表示スケールは上限なく大きくなることが可能である。
　コート５２のスケール変更情報３０は、最大表示スケールが「なし」、最小表示スケールが「０．８倍」、及び他オブジェクトスケール制限が「あり」である。
　他オブジェクトスケール制限は、複数の仮想オブジェクトのうちの他の仮想オブジェクトの表示スケールの変更を制限するか否かの情報である。本実施形態では、他オブジェクトスケール制限は、「あり」又は「なし」で設定されている。
　各特定仮想オブジェクトについて、表示スケールに関する閾値である最大表示スケール又は最小表示スケールに特定仮想オブジェクトの表示スケールが到達した場合に、他オブジェクトスケール制限の「あり」「なし」に基づいて、他の仮想オブジェクトの表示スケールが変更される。
　例えば、他オブジェクトスケール制限が「あり」となっている場合は、その特定仮想オブジェクトの表示スケールが最大表示スケール又は最小表示スケールに到達した場合は、他の仮想オブジェクトの表示スケールの変更が制限される。
　他オブジェクトスケール制限が「なし」となっている場合は、その特定仮想オブジェクトの表示スケールが最大表示スケール又は最小表示スケールに到達した場合でも、他の仮想オブジェクトの表示スケールの変更は制限されない。
　なお本実施形態において、選手５０に対して、ボール５１及びコート５２が他の仮想オブジェクトとなる。ボール５１に対して、選手５０及びコート５２が他の仮想オブジェクトとなる。またコート５２に対して、選手５０及びボール５１が他の仮想オブジェクトとなる。
　例えば、選手５０が最小表示スケールである「０．５倍」に到達した場合、他オブジェクトスケール制限が「あり」に設定されているので、他オブジェクトであるボール５１及びコート５２の表示スケールの変更は停止される。
　なお、仮想オブジェクトの種類や数は限定されない。例えば、複数の選手の１人１人を互いに異なる特定仮想オブジェクトとして設定してもよい。また特定仮想オブジェクトに設定されるスケール変更情報３０の条件等は限定されない。例えば、最大表示スケール及び最小表示スケールを同じ数値に設定し、表示スケールが変更されないようにしてもよい。
　図８に示すように、ズーム操作が入力されたか否か監視される（ステップ１０１）。ズーム操作が入力された場合（ステップ１０１のＹＥＳ）、スケール変更処理部４１により、各仮想オブジェクトの表示スケールが計算される（ステップ１０２）。
　例えば、図９に示すテニスの試合のＶＲに対して、表示スケール１倍の表示サイズから、表示スケールを小さくするズーム操作が入力されたとする。本実施形態では、特定仮想オブジェクトである選手５０、ボール５１、及びコート５２が、同じ１倍の表示スケールから同じ変更率（同じ変更モード）で縮小されるとする。
　スケール変更処理部４１及び通知制御部４２により、スケール制限に到達した特定仮想オブジェクトがあるか否か判定される（ステップ１０３）。なおスケール制限は、各特定仮想オブジェクトに設定されている最大表示スケール又は最小表示スケールである。
　図１０に示すように、図９Ａは、選手５０、ボール５１、及びコート５２の表示スケールが０．９倍となる状態の図である。この状態では、スケール制限に到達した特定仮想オブジェクトは存在しないので（ステップ１０３のＮＯ）、切替通知は実行されず表示スケールの変更が継続される（ステップ１０７）。
　図９Ｂは、選手５０、ボール５１、及びコート５２の表示スケールが０．８倍となる状態の図である。従って、ボール５１が最小表示スケールに到達する。この結果、スケール制限に到達した仮想オブジェクトが存在すると判定され（ステップ１０３のＹＥＳ）、切替通知が実行されたか否かが判定される（ステップ１０４）。
　切替通知が実行されていない場合は（ステップ１０４のＮＯ）、通知制御部４２及び表示生成部４３により、変更モードの切替通知が実行される（ステップ１０５）。例えば図９Ｂに示す例では、例えば、ボール５１の形状をアニメーションにより動的に変更させ、ボール５１の表示スケールはこれ以上縮小できない旨のテキストを表示する。
　そして、他オブジェクトスケール制限が「あり」か否かが判定される（ステップ１０６）。なおステップ１０４にて、既に切替通知が実行されていると判定される場合は、ステップ１０６に進む。
　図１０に示すように、ボール５１は、他オブジェクトスケール制限が「なし」に設定されているため（ステップ１０６のＮＯ）、他のオブジェクトである選手５０及びコート５２の表示スケールは制限されない。この結果、ボール５１の表示スケールは、０．８倍で止まった状態で、選手５０及びコート５２に対して表示スケールの変更が継続される（ステップ１０７）。
　なお、上記したように、切替通知が実行されるタイミングで、選手５０、ボール５１、及びコート５２に対する表示スケールの変更は停止される。その後、表示スケールを縮小するズーム操作が再度入力さると、選手５０及びコート５２の表示スケールが再度縮小される（ステップ１０１のＹＥＳ以降のフローへ進む）。
　図９Ｃは、選手５０、ボール５１、及びコート５２の表示スケールが０．５倍となる状態の図である。従って、今度は選手５０が最小表示スケールに到達する。この結果、選手５０に対して、切替通知が実行される。例えば、選手５０の強調表示や、テキスト等の関連情報の表示が実行される。
　図１０に示すように、選手５０の他オブジェクトスケール制限は、「あり」に設定されている。従ってステップ１０６はＹＥＳとなり、他の仮想オブジェクトであるコート５２の表示スケールの変更処理は実行されず、ステップ１０１に戻る。すなわちコード５２の表示スケールの変更が制限される。
　図１０に示すように、コート５２の最小表示スケールは「０．３倍」である。従って、コート５２だけに着目すれば、図７Ｃの状態よりもさらに縮小することが可能である。しかしながら、選手５０の他オブジェクトスケール制限により、コート５２を０．５倍以下の倍表示スケールにすることはできなくなっている。
　図９Ｃに示す状態では、ボール５１の表示スケールが「０．８倍」であり、選手５０及びコート５２の表示スケールは「０．５倍」である。従って、ボール５１は、選手５０及びコート５２に対して表示スケールが大きい状態になる。これにより、表示スケールの縮小により、テニスの試合にとって重要な要素であるボールが見えなくなってしまうといったことが十分に防止される。
　またボール５１等の表示スケールの変更について、変更モードの切替通知が実行される。これにより、これにより、どの特定仮想オブジェクトについて表示スケールの制限が掛かっているのか等を認識しやすくなる。
　以上、本実施形態に係るＨＭＤ１０では、複数の仮想オブジェクトに対して表示スケールの変更が実行される際に、特定仮想オブジェクトの表示スケールの変更モードの切替に関する通知が実行される。これにより、仮想オブジェクトの表示について、高いユーザビリティが発揮可能となる。
　透過型ディスプレイのＡＲグラスやビデオシースルー表示を備えたＨＭＤによるＡＲやＶＲ空間等では、仮想オブジェクトの表示スケールをユーザが操作することができる。この時、小さくしすぎると潰れて見えなくなったり、逆に大きくし過ぎると分かりにくくなったり、操作することが困難になる。これらの様々な不都合が生じるが、ユーザはそれに気づかずにスケール操作を継続してしまうことがあった。
　これらの課題について、ＣＡＤ（Computer aided design）ソフト等では表示スケールの変更の操作を途中でロックし、ユーザが解除の操作を行ってから、表示スケールの変更の操作を再開するアプローチが取られている。しかし、この方法は操作が煩雑な上、表示スケールの変更の操作時に視認性を担保したい仮想オブジェクトを指定する手段も提供されていないため、使いやすいものではなかった。
　そこで、本技術では、視認性を担保したい仮想オブジェクトを複数含む場合において、スケール制限をユーザが理解しやすい形で表現する。これにより、高品質な仮想表現を実現し、高いユーザビリティを発揮することが可能となる。
　また本技術では、各特定仮想オブジェクトに対して切替通知が実行されることにより、どの特定仮想オブジェクトについてスケール制限が掛かっているかを認識しやすくなる。この結果、表示スケールの変更率が不連続になった特定仮想オブジェクトを認識することが可能となる。
　＜第２の実施形態＞
　本技術に係る第２の実施形態のＨＭＤ１０について説明する。これ以降の説明では、上記の実施形態で説明したＨＭＤ１０における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
　図１１は、第２の実施形態に係るディスプレイ２２に映される複数の仮想オブジェクト及び通知の一例を示す模式図である。
　本実施形態では、ユーザがズーム操作を行う際に、ディスプレイ２２にインジケータ６５が表示される。インジケータ６５により、特定仮想オブジェクトの現在の表示スケールや、表示スケールに関する閾値となる最大表示スケール及び最小表示スケール等を表示することが可能である。
　インジケータ６５の表示は、特定仮想オブジェクトの表示サイズ（表示スケール）の変更モードの切替に関する通知に含まれる。インジケータ６５を表示するタイミングは限定されず、ズーム操作の入力に応じて表示されてもよいし、特定仮想オブジェクトの変更モードの切替タイミングで表示されてもよい。
　図１１に示すように、インジケータ６５は、現在倍率バー６６、閾値バー７０～７２を含む。現在倍率バー６６は、現在の表示スケールを示す。現在倍率バー６６がインジケータの左端のＬ（Large）に近づくほど、表示スケールは大きくなる。現在倍率バー６６がインジケータの右端のＳ（Small）に近づくほど、表示スケールは小さくなる。
　閾値バー７０～７２は、各特定仮想オブジェクトの変更モードの切替の基準となる閾値を示す。従って、現在倍率バーが閾値バー７０～７２に到達すると、閾値バー７０～７２に対応する特定仮想オブジェクトについて、変更モードの切替通知が実行される。
　通知バー７０は、選手６０の表示スケールの閾値を示す。通知バー７０ａは選手６０の最大表示スケールを示し、通知バー７０ｂは選手６０の最小表示スケールを示す。
　通知バー７１は、ボール６１の表示スケールの閾値を示す。通知バー７２は、コート６２の表示スケールの閾値を示す。通知バー７２ａはコート６２の最大表示スケールを示し、通知バー７２ｂはコート６２の最小表示スケールを示す。
　なお、各バーの表示方法は限定されない。例えば、各特定仮想オブジェクトの色等の特徴に合わせてバーの色を変えてもよい。また例えば、現在倍率バー６６や通知バーの近辺にバーの倍率の数字がテキスト表示されてもよい。
　図１０Ａに示すように、現在倍率バー６６がいずれの閾値バーにも到達していない場合は、スケール制限に到達した特定仮想オブジェクトが無い場合に相当する。従って、切替通知は実行されない。
　図１０Ｂに示すように、現在倍率バー６６が閾値バー７１に到達した場合、ボール６１がスケール制限に到達したことになる。従って、選手６０、ボール６１、コート６２に対する表示スケールの変更は停止され、ボール６１について変更モードの切替通知が実行される。そして、ボールについて、変更モードが切替えられる。
　ここでボールについて、図５Ａに示すような、変更モードが設定されているとする。すなわち切替通知の実行後も、変更モードＭ２により、さらにボールの表示スケールが縮小されるとする。
　この場合、通知制御部４２及び表示制御部４３により、ボール６１の代わりに所定のインジケータマーカ６３が、ボール６１の位置に表示されてもよい。すなわちボール６１がインジケータマーカ６３に置き換えられてもよい。これにより、ボールが小さくなりすぎて視認が難しくなってしまうことを防止することが可能となる。
　ボール６１の代わりにインジケータマーカ６３を表示するタイミングは限定されない。例えばボール６１のサイズが所定のサイズよりも小さくなるタイミングでインジケータマーカ６３が表示されてもよい。例えば、ボール６１の大きさが表示デバイスの１ドット以下なった場合に、インジケータマーカ６３置き換える。このような処理も可能である。なおインジケータマーカ６３の形状等は限定されない。
　本実施形態のように、変更モードの切替に関する通知として、インジケータ６５を表示することで、ユーザビリティを向上させることが可能である。その他、変更モードの切替に関する通知として、任意のＧＵＩが用いられてよい。また、インジケータマーカ６３の置き換え等を実行することで、仮想オブジェクトが見えなくなる可能性がある事をユーザに通知することも可能となっている。
　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
　上記では、表示サイズの変更として、表示スケールの変更を例に挙げた。これに限定されず、仮想オブジェクトの長さの変更、仮想オブジェクトの面積の変更、仮想オブジェクトの体積の変更等が実行されてもよい。すなわち長さ、面積、体積等がユーザにより変更される場合でも、本技術は適用可能である。
　上記の実施形態では、各特定仮想オブジェクトの倍率が同じ値から一律に変更が行われた。これに限定されず、各特定仮想オブジェクトの表示スケールが異なる状態から変更され、各特定仮想オブジェクトの表示スケールが各々に変更されてもよい。
　例えば、選手５０（６０）に注目したい場合は、選手５０の表示スケールのみを大きくなるように変更してもよい。またその際に、各特定仮想オブジェクトの表示スケールの変更モードは任意に設定してもよい。
　また上記の実施形態のように一律に表示スケールを変更する場合でも、低い倍率で視認性を担保出来る様に、ボール５１（６１）の倍率を予め大きく変更しておいてもよい。
　図９Ａに例示するような、複数の仮想オブジェクトが所定のサイズ比を維持して同時に表示サイズが変更される変更モードが、本技術に係る第１の変更モードとして規定されてもよい。また図９Ｃに例示すような、特定仮想オブジェクトの表示サイズの変更が、所定のサイズ比とは異なるサイズ比となる変更に規制される変更モードが、本技術に係る第２の変更モードとして規定されてもよい。
　すなわち各々の特定仮想オブジェクトに設定されているスケール変更情報３０に含まれる互いに異なる第１及び第２の変更モードとして、複数の仮想オブジェクトが所定のサイズ比を維持して同時に表示サイズが変更される変更モードと、特定仮想オブジェクトの表示サイズの変更が所定のサイズ比とは異なるサイズ比となる変更に規制される変更モードとがそれぞれ設定されてもよい。
　上記の実施形態では、音声制御部４５は、特定仮想オブジェクトのスケール変更情報３０に基づいて、特定仮想オブジェクトに関する音声の出力を制御した。これに限定されず、特定仮想オブジェクトの表示スケールの変更に基づいて、特定仮想オブジェクトに関する音声の出力が制御されてもよい。
　例えば、ＨＭＤ１０を用いて卓球の試合をユーザが視聴していた場合、特定仮想オブジェクトである卓球の球の表示スケールを拡大する操作を行うとする。この時、卓球の球の倍率や表示される球の面積等に基づいて、卓球の球が選手のラケットにより打たれたときに生じる音の大きさが制御される。
　上記の実施形態では、各特定仮想オブジェクトが１つずつスケール制限に到達した。これに限定されず、スケール制限に到達した特定仮想オブジェクトが複数あってもよい。例えば、他オブジェクトスケール制限が「あり」及び「なし」の設定が両方存在する場合は、他オブジェクトスケール制限が「あり」が優先されてもよい。
　上記の実施形態では、変更モードＭ１が変更モードＭ２に切替わるタイミングで特定仮想オブジェクトの表示スケールが一旦停止された。これに限定されず、特定仮想オブジェクトの表示スケールは、切替タイミングで一旦停止しなくてもよい。
　上記の実施形態では、切替通知は、特定仮想オブジェクトがスケール制限に到達した時に行った。これに限定されず、特定仮想オブジェクトの表示スケールが縮小又は拡大のときだけに通知が実行されてもよい。また例えば、全部の切替タイミングで通知されなくてもよい。
　上記の実施形態では、特定仮想オブジェクトの表示スケールが切替スケールＸ倍となるタイミングＴが１つ設定された。これに限定されず、１つの特定仮想オブジェクトの表示スケールに対して複数のタイミングＴを設定してもよい。同様に通知タイミングＴ'も複数設定されてもよい。
　また上記の実施形態では、特定仮想オブジェクトの表示スケールにスケール制限をかける例として、テニス等のボールの視認性が重要な球技スポーツコンテンツが挙げられた。球技におけるボール以外にも視認性が重要なものの例としては、重要な情報を含む文字、テキスト、記号、アイコン、広告表示、及びアバター同士のコミュニケーションにおけるアバターの顔（表情や視線）等が挙げられる。
　また視認性以外にも、スイッチ、レバー、ダイヤル操作、及び仮想オブジェクトの選択や移動等の操作等の仮想オブジェクトの操作が出来る事が重要なものでもよい。
　上記の実施形態では、ＨＭＤ１０は没入型のヘッドマウントディスプレイが用いられた。これに限定されず、透過型ディスプレイを有したＡＲグラス等のウェアラブル端末やスマートフォン等のＡＲやＶＲ等においても本技術は適用可能である。
　図１２は、他の実施形態に係るＨＭＤ１００の外観例を示す斜視図である。ＨＭＤ１００は、透過型のディスプレイを備えたメガネ型の装置であり、ＡＲグラスとも呼ばれる。ＨＭＤ１００は、フレーム１０１、左眼用レンズ１０２ａ及び右眼用レンズ１０２ｂ、左眼用ディスプレイ１０３ａ及び右眼用ディスプレイ１０３ｂ、左眼用カメラ１０４ａ及び右眼用カメラ１０４ｂ、及び外向きカメラ１０５を有する。
　フレーム１０１は、メガネ型の形状でなり、リム部１０６及びテンプル部１０７を有する。リム部１０６は、ユーザの左右の眼の前方に配置される部分であり、左眼用レンズ１０２ａ及び右眼用レンズ１０２ｂをそれぞれ支持する。テンプル部１０７は、リム部１０６の両端からユーザの両耳に向けて後方に延在し、先端が両耳に装着される。リム部１０６及びテンプル部１０７は、例えば合成樹脂、金属等の材料で形成される。
　左眼用レンズ１０２ａ及び右眼用レンズ１０２ｂは、ユーザの視野の少なくとも一部を覆うように、ユーザの左右の眼の前方にそれぞれ配置される。典型的には、各レンズは、ユーザの視力を矯正するように設計される。もちろんこれに限定されず、いわゆる度無しレンズが用いられてもよい。
　左眼用ディスプレイ１０３ａ及び右眼用ディスプレイ１０３ｂは、透過型ディスプレイであり、左眼用レンズ１０２ａ及び右眼用レンズ１０２ｂの一部の領域を覆うように、それぞれ配置される。すなわち左眼用レンズ１０２ａ及び右眼用レンズ１０２ｂは、ユーザの左右の眼の前方にそれぞれ配置される。
　左眼用ディスプレイ１０３ａ及び右眼用ディスプレイ１０３ｂには、左眼用及び右眼用の画像等がそれぞれ表示される。ＨＭＤ１００を装着するユーザは、現実の景色を視認すると同時に、各ディスプレイ１０３ａ及び１０３ｂに表示される画像を視認することが可能となる。これにより、ユーザは拡張現実（ＡＲ）等を体験することが可能となる。
　各ディスプレイ１０３ａ及び１０３ｂには、例えば仮想的な表示物（仮想オブジェクト）が表示される。例えばキャラクター等のＣＧ（Computer Graphics）、写真、文字等が仮想オブジェクトとして表示可能である。もちろんこれに限定されず、任意の仮想オブジェクトが表示されてよい。
　左眼用ディスプレイ１０３ａ及び右眼用ディスプレイ１０３ｂとしては、例えば透過型の有機ＥＬディスプレイやＬＣＤ（Liquid Crystal Display、液晶表示素子）ディスプレイ等が用いられる。この他、左眼用ディスプレイ１０３ａ及び右眼用ディスプレイ１０３ｂの具体的な構成は限定されず、例えば透明なスクリーンに画像を投影して表示する方式や、プリズム等を用いて画像を表示する方式等の任意の方式の透過型ディスプレイが適宜用いられてよい。
　左眼用カメラ１０４ａ及び右眼用カメラ１０４ｂは、ユーザの左眼及び右眼を撮影可能なように、フレーム１０１に適宜設置される。例えば、左眼用カメラ１０４ａ及び右眼用カメラ１０４ｂにより撮影された左眼及び右眼の画像に基づいて、ユーザの視線に関する視線情報等を検出することが可能である。
　左眼用カメラ１０４ａ及び右眼用カメラ１０４ｂとしては、例えばＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備えるデジタルカメラが用いられる。また、例えば赤外線ＬＥＤ等の赤外線照明を搭載した赤外線カメラが用いられてもよい。
　外向きカメラ１０５は、フレーム１０１（リム部１０６）の中央に、外側（ユーザとは反対側）に向けて配置される。外向きカメラ１０５は、ユーザの視野に含まれる実空間を撮影することが可能である。従って外向きカメラ１０５は、実空間が撮影された撮影画像を生成することが可能である。
　本実施形態では、ユーザから見て前方側の範囲であり、透過型ディスプレイ１０３の表示領域を含む範囲が、外向きカメラ１０５により撮影される。すなわちユーザから見て、表示領域を透過して見える範囲を含むように、実空間が撮影される。外向きカメラ１０５としては、例えばＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備えるデジタルカメラが用いられる。
　ＨＭＤに搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより、あるいはＨＭＤと通信可能な他のコンピュータにより、本技術に係る情報処理方法、及びプログラムが実行され、本技術に係る情報処理装置が構築されてもよい。
　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば、スケール変更情報の決定、表示スケールの変更、及び切替通知の生成等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。
　すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
　各図面を参照して説明した情報処理装置、スケール変更処理部、通知情報生成部、表示生成部等の各構成、コントローラ４０の制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
　なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。
　以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。
　なお、本技術は以下のような構成も採ることができる。
（１）複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、前記複数の仮想オブジェクトのうちの特定仮想オブジェクトに設定された表示サイズ変更情報に基づいて、前記特定仮想オブジェクトの前記表示サイズの変更モードの切替に関する通知を実行する表示制御部
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記表示制御部は、前記特定仮想オブジェクトの前記表示サイズの変更モードが切替わるタイミングに応じたタイミングで前記変更モードの切替に関する通知を実行する
　情報処理装置。
（３）（２）に記載の情報処理装置であって、
　前記変更モードの切替に関する通知を実行するタイミングは、前記表示サイズの変更モードが切替わるタイミング、又は前記表示サイズの変更モードが切替わる前の所定のタイミングである
　情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
　前記表示サイズの変更は、前記仮想オブジェクトの表示スケールの変更、前記仮想オブジェクトの長さの変更、及び前記仮想オブジェクトの面積の変更の少なくとも１つを含む
　情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
　前記変更モードに関する通知は、前記特定仮想オブジェクトの強調表示、及び前記変更モードの切替に関する関連情報の出力の少なくとも一方を含む
　情報処理装置。
（６）（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記表示サイズの変更モードが切替わるタイミングで、前記表示サイズの変更を停止する
　情報処理装置。
（７）（１）から（６）のうちいずれか１つに記載の情報処理装置であって、
　前記表示サイズ変更情報は、前記表示サイズの変更モードの切替の基準となる前記表示サイズに関する閾値を含む
　情報処理装置。
（８）（１）から（７）のうちいずれか１つに記載の情報処理装置であって、
　前記表示サイズ変更情報は、最大表示サイズ及び最小表示サイズの少なくとも一方を含む
　情報処理装置。
（９）（１）から（８）のうちいずれか１つに記載の情報処理装置であって、
　前記複数の仮想オブジェクトは、仮想空間内にそれぞれ所定のサイズ比で同時に表示される３次元モデルである
　情報処理装置。
（１０）（９）に記載の情報処理装置であって、
　前記表示サイズ変更情報は、第１の変更率で前記表示サイズが変更される第１の変更モードと、前記第１の変更率とは異なる前記第２の変更率で前記表示サイズが変更される第２の変更モードとの切替に関する情報を含む
　情報処理装置。
（１１）（１０）に記載の情報処理装置であって、
　前記第１の変更モードにおいては、前記複数の仮想オブジェクトは前記所定のサイズ比を維持して同時に前記表示サイズが変更され、
　前記第２の変更モードにおいては、前記特定仮想オブジェクトの前記表示サイズの変更は、前記所定のサイズ比とは異なるサイズ比となる変更に規制される
　情報処理装置。
（１２）（１）から（１１）のうちいずれか１つに記載の情報処理装置であって、
　前記表示サイズ変更情報は、前記複数の仮想オブジェクトのうちの他の仮想オブジェクトの前記表示サイズの変更の制限に関する制限情報を含む
　情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
　前記制限情報は、前記表示サイズの変更モードの切替に応じて、前記他の仮想オブジェクトの前記表示サイズの変更を制限するか否かの情報を含む
　情報処理装置。
（１４）（１２）又は（１３）に記載の情報処理装置であって、
　前記制限情報は、前記表示サイズが前記閾値に達した場合に、前記他の仮想オブジェクトの前記表示サイズの変更を制限するか否かの情報を含む
　情報処理装置。
（１５）（１）から（１４）のうちいずれか１つに記載の情報処理装置であって、さらに、
　ユーザの指示が入力される入力部を具備し、
　前記表示制御部は、前記入力部に入力される前記表示サイズの変更指示に基づいて、前記複数の仮想オブジェクトに対する前記表示サイズの変更を実行する
　情報処理装置。
（１６）（１）から（１５）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記特定仮想オブジェクトの前記表示サイズの変更モードが切替わるタイミングで前記複数の仮想オブジェクトに対する前記表示サイズの変更を停止し、その後、前記入力部に前記表示サイズの変更指示が再度入力された場合に、前記複数の仮想オブジェクトに対する前記表示サイズの変更を再度実行する
　情報処理装置。
（１７）（１）から（１６）のうちいずれか１つに記載の情報処理装置であって、さらに、
　前記特定仮想オブジェクトに設定される前記表示サイズ変更情報を生成する生成部を具備し、
　前記生成部は、前記ユーザに関するユーザ情報、環境情報、及び前記特定仮想オブジェクトを表示する表示装置に関する装置情報の少なくとも１つに基づいて、前記表示サイズ変更情報を生成する
　情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、さらに、
　前記複数の仮想オブジェクトの各々に関する音声の出力を制御する音声制御部を具備し、
　前記音声制御部は、前記特定仮想オブジェクトの前記表示サイズ変更情報に基づいて、前記特定仮想オブジェクトに関する音声の出力を制御する
　情報処理装置。
（１９）複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、前記複数の仮想オブジェクトのうちの特定仮想オブジェクトの表示サイズ変更情報に基づいて、前記特定仮想オブジェクトの前記表示サイズの変更モードの切替に関する通知を実行する
　ことをコンピュータシステムが実行する情報処理方法。
（２０）複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、前記複数の仮想オブジェクトのうちの特定仮想オブジェクトの表示サイズ変更情報に基づいて、前記特定仮想オブジェクトの前記表示サイズの変更モードの切替に関する通知を実行するステップ
　をコンピュータシステムに実行させるプログラム。
（２１）（１）から（１８）のうちいずれか１つに記載の情報処理装置であって、
　前記表示制御部は、前記表示サイズの変更モードの切替に応じて、前記特定仮想オブジェクトを所定のマーカに置き換える
　情報処理装置。
　１０…ＨＭＤ
　２４…操作ボタン
　２７…記憶部
　４０…コントローラ
　４１…スケール変更処理部
　４２…通知情報生成部
　４３…表示生成部
　４４…スケール変更情報生成部
　４５…音声制御部
　５０…選手
　５１…ボール
　５２…コート
　６５…インジケータ

Claims (20)

  1. 　複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、前記複数の仮想オブジェクトのうちの特定仮想オブジェクトに設定された表示サイズ変更情報に基づいて、前記特定仮想オブジェクトの前記表示サイズの変更モードの切替に関する通知を実行する表示制御部
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記特定仮想オブジェクトの前記表示サイズの変更モードが切替わるタイミングに応じたタイミングで前記変更モードの切替に関する通知を実行する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記変更モードの切替に関する通知を実行するタイミングは、前記表示サイズの変更モードが切替わるタイミング、又は前記表示サイズの変更モードが切替わる前の所定のタイミングである
    　情報処理装置。
  4. 　請求項１に記載の情報処理装置であって、
    　前記表示サイズの変更は、前記仮想オブジェクトの表示スケールの変更、前記仮想オブジェクトの長さの変更、及び前記仮想オブジェクトの面積の変更の少なくとも１つを含む
    　情報処理装置。
  5. 　請求項１に記載の情報処理装置であって、
    　前記変更モードに関する通知は、前記特定仮想オブジェクトの強調表示、及び前記変更モードの切替に関する関連情報の出力の少なくとも一方を含む
    情報処理装置。
  6. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記表示サイズの変更モードが切替わるタイミングで、前記表示サイズの変更を停止する
    　情報処理装置。
  7. 　請求項１に記載の情報処理装置であって、
    　前記表示サイズ変更情報は、前記表示サイズの変更モードの切替の基準となる前記表示サイズに関する閾値を含む
    　情報処理装置。
  8. 　請求項１に記載の情報処理装置であって、
    　前記表示サイズ変更情報は、最大表示サイズ及び最小表示サイズの少なくとも一方を含む
    　情報処理装置。
  9. 　請求項１に記載の情報処理装置であって、
    　前記複数の仮想オブジェクトは、仮想空間内にそれぞれ所定のサイズ比で同時に表示される３次元モデルである
    　情報処理装置。
  10. 　請求項９に記載の情報処理装置であって、
    　前記表示サイズ変更情報は、第１の変更率で前記表示サイズが変更される第１の変更モードと、前記第１の変更率とは異なる前記第２の変更率で前記表示サイズが変更される第２の変更モードとの切替に関する情報を含む
    　情報処理装置。
  11. 　請求項１０に記載の情報処理装置であって、
    　前記第１の変更モードにおいては、前記複数の仮想オブジェクトは前記所定のサイズ比を維持して同時に前記表示サイズが変更され、
    　前記第２の変更モードにおいては、前記特定仮想オブジェクトの前記表示サイズの変更は、前記所定のサイズ比とは異なるサイズ比となる変更に規制される
    　情報処理装置。
  12. 　請求項１に記載の情報処理装置であって、
    　前記表示サイズ変更情報は、前記複数の仮想オブジェクトのうちの他の仮想オブジェクトの前記表示サイズの変更の制限に関する制限情報を含む
    　情報処理装置。
  13. 　請求項１２に記載の情報処理装置であって、
    　前記制限情報は、前記表示サイズの変更モードの切替に応じて、前記他の仮想オブジェクトの前記表示サイズの変更を制限するか否かの情報を含む
    　情報処理装置。
  14. 　請求項１２に記載の情報処理装置であって、
    　前記制限情報は、前記表示サイズが前記閾値に達した場合に、前記他の仮想オブジェクトの前記表示サイズの変更を制限するか否かの情報を含む
    　情報処理装置。
  15. 　請求項１に記載の情報処理装置であって、さらに、
    　ユーザの指示が入力される入力部を具備し、
    　前記表示制御部は、前記入力部に入力される前記表示サイズの変更指示に基づいて、前記複数の仮想オブジェクトに対する前記表示サイズの変更を実行する
    　情報処理装置。
  16. 　請求項１に記載の情報処理装置であって、
    　前記表示制御部は、前記特定仮想オブジェクトの前記表示サイズの変更モードが切替わるタイミングで前記複数の仮想オブジェクトに対する前記表示サイズの変更を停止し、その後、前記入力部に前記表示サイズの変更指示が再度入力された場合に、前記複数の仮想オブジェクトに対する前記表示サイズの変更を再度実行する
    　情報処理装置。
  17. 　請求項１に記載の情報処理装置であって、さらに、
    　前記特定仮想オブジェクトに設定される前記表示サイズ変更情報を生成する生成部を具備し、
    　前記生成部は、前記ユーザに関するユーザ情報、環境情報、及び前記特定仮想オブジェクトを表示する表示装置に関する装置情報の少なくとも１つに基づいて、前記表示サイズ変更情報を生成する
    　情報処理装置。
  18. 　請求項１に記載の情報処理装置であって、さらに、
    　前記複数の仮想オブジェクトの各々に関する音声の出力を制御する音声制御部を具備し、
    　前記音声制御部は、前記特定仮想オブジェクトの前記表示サイズ変更情報に基づいて、前記特定仮想オブジェクトに関する音声の出力を制御する
    　情報処理装置。
  19. 　複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、前記複数の仮想オブジェクトのうちの特定仮想オブジェクトの表示サイズ変更情報に基づいて、前記特定仮想オブジェクトの前記表示サイズの変更モードの切替に関する通知を実行する
    　ことをコンピュータシステムが実行する情報処理方法。
  20. 　複数の仮想オブジェクトに対して表示サイズの変更が実行される際に、前記複数の仮想オブジェクトのうちの特定仮想オブジェクトの表示サイズ変更情報に基づいて、前記特定仮想オブジェクトの前記表示サイズの変更モードの切替に関する通知を実行するステップ
    　をコンピュータシステムに実行させるプログラム。
PCT/JP2019/036968 2018-11-19 2019-09-20 情報処理装置、情報処理方法、及びプログラム WO2020105269A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/293,252 US20220004250A1 (en) 2018-11-19 2019-09-20 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018216631 2018-11-19
JP2018-216631 2018-11-19

Publications (1)

Publication Number Publication Date
WO2020105269A1 true WO2020105269A1 (ja) 2020-05-28

Family

ID=70773960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036968 WO2020105269A1 (ja) 2018-11-19 2019-09-20 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US20220004250A1 (ja)
WO (1) WO2020105269A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220334648A1 (en) * 2021-04-15 2022-10-20 Canon Kabushiki Kaisha Wearable information terminal, control method thereof, and storage medium
WO2023276565A1 (ja) * 2021-06-28 2023-01-05 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017176764A (ja) * 2016-03-31 2017-10-05 株式会社コロプラ ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
WO2018173383A1 (ja) * 2017-03-21 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2761440A4 (en) * 2011-09-30 2015-08-19 Intel Corp MECHANISM FOR CONTEXTIC MODEL-BASED IMAGE COMPOSITION AND PRESENTATION ON COMPUTER DEVICES
US9639964B2 (en) * 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US9880711B2 (en) * 2014-01-22 2018-01-30 Google Llc Adaptive alert duration
US10140464B2 (en) * 2015-12-08 2018-11-27 University Of Washington Methods and systems for providing presentation security for augmented reality applications
US20170291544A1 (en) * 2016-04-12 2017-10-12 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive alert system for autonomous vehicle
US20170337745A1 (en) * 2016-05-23 2017-11-23 tagSpace Pty Ltd Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
DK201770372A1 (en) * 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
DK201870347A1 (en) * 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017176764A (ja) * 2016-03-31 2017-10-05 株式会社コロプラ ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
WO2018173383A1 (ja) * 2017-03-21 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220334648A1 (en) * 2021-04-15 2022-10-20 Canon Kabushiki Kaisha Wearable information terminal, control method thereof, and storage medium
WO2023276565A1 (ja) * 2021-06-28 2023-01-05 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法

Also Published As

Publication number Publication date
US20220004250A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US10620699B2 (en) Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
JP6511386B2 (ja) 情報処理装置および画像生成方法
US20210350762A1 (en) Image processing device and image processing method
CN107710105B (zh) 操作输入装置和操作输入方法
JP6097377B1 (ja) 画像表示方法及びプログラム
JP6576536B2 (ja) 情報処理装置
CN110300994B (zh) 图像处理装置、图像处理方法以及图像系统
US11244427B2 (en) Image resolution processing method, system, and apparatus, storage medium, and device
EP3196734B1 (en) Control device, control method, and program
WO2020189254A1 (ja) 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
JP2014106888A (ja) 作業補助システムおよびプログラム
EP3697086A1 (en) Information processing device, information processing method, and program
WO2020105269A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019040303A (ja) ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータ
JP6278546B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
KR20180055637A (ko) 전자 장치 및 그의 제어 방법
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019033906A (ja) 情報処理方法、プログラム及びコンピュータ
JP6442619B2 (ja) 情報処理装置
JP2018206353A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019032715A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2023096844A (ja) プログラム、情報処理方法、及び情報処理装置
JPWO2018101162A1 (ja) ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19887808

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19887808

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP