WO2019021566A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019021566A1
WO2019021566A1 PCT/JP2018/017505 JP2018017505W WO2019021566A1 WO 2019021566 A1 WO2019021566 A1 WO 2019021566A1 JP 2018017505 W JP2018017505 W JP 2018017505W WO 2019021566 A1 WO2019021566 A1 WO 2019021566A1
Authority
WO
WIPO (PCT)
Prior art keywords
real
user
real object
virtual object
virtual
Prior art date
Application number
PCT/JP2018/017505
Other languages
English (en)
French (fr)
Inventor
俊逸 小原
遼 深澤
慧 新田
浩一 川崎
浩丈 市川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/631,884 priority Critical patent/US20200143774A1/en
Publication of WO2019021566A1 publication Critical patent/WO2019021566A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • augmented reality In recent years, a technique called augmented reality (AR) has been attracting attention, in which a virtual object is superimposed on a real space and presented to a user.
  • a head mounted display hereinafter also referred to as "HMD" having a display positioned in front of the user's eyes when mounted on the head of the user or a projector may be used to provide virtual objects in real space. It is possible to make a superimposed display.
  • Patent Document 1 discloses a technique of determining a display area of a virtual object displayed on a display surface according to information of a real object present on the display surface.
  • a virtual object desired for the user is not necessarily displayed.
  • the user selects the first real object as the operation target object by the user among the first real object and the second real object existing in the real space and recognized as a candidate for the operation target object And displaying a first virtual object corresponding to the first real object at a first position in the real space according to the position of the first real object based on the user's selection.
  • a second position in the real space according to the position of the second real object based on the selection of the user An information processing apparatus is provided that includes a display control unit that controls display so that a second virtual object corresponding to the second real object is displayed.
  • the user sets the first real object as the operation target object by the user.
  • a first virtual object corresponding to the first real object is placed at a first position in the real space according to the position of the first real object based on the user's selection.
  • a second in the real space is provided according to the position of the second real object based on the selection of the user.
  • the user operates the first real object by the user among the first real object and the second real object.
  • a target object is selected, a first position corresponding to the first real object at a first position in the real space according to the position of the first real object based on the selection of the user
  • a virtual object is displayed and the second real object is selected as the operation target object by the user, in the real space according to the position of the second real object based on the selection of the user
  • a program is provided for realizing a function of controlling display such that a second virtual object corresponding to the second real object is displayed at a second position.
  • FIG. 13 is an explanatory diagram for describing an example of a specific operation of the information processing device 1 according to the same embodiment. It is an explanatory view showing the example of hardware constitutions.
  • a plurality of components having substantially the same functional configuration may be distinguished by attaching different alphabets to the same reference numerals.
  • the same reference numerals when it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numerals will be given.
  • FIG. 1 is a diagram for explaining an outline of an information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 according to the present embodiment is realized by, for example, a glasses-type head mounted display (HMD) mounted on the head of the user U.
  • the display unit 13 corresponding to the spectacle lens portion positioned in front of the user U at the time of wearing may be transmissive or non-transmissive.
  • the information processing apparatus 1 can present the virtual object in front of the line of sight of the user U by displaying the virtual object on the display unit 13.
  • HMD which is an example of the information processing apparatus 1 is not limited to what presents an image to both eyes, and may present an image only to one eye.
  • the HMD may be of one eye type provided with a display unit 13 for presenting an image to one eye.
  • the information processing apparatus 1 is provided with an outward camera 110 which captures an image of the user U in the line of sight, that is, the outward direction when the information processing apparatus 1 is attached. Furthermore, although not illustrated in FIG. 1, the information processing apparatus 1 is provided with various sensors such as an inward camera or a microphone (hereinafter, referred to as a “microphone”) that captures an eye of the user U at the time of wearing. A plurality of outward cameras 110 and a plurality of inward cameras may be provided. In addition, when the outward camera 110 is provided with two or more, a depth image (distance image) can be obtained by parallax information, and it is possible to sense surrounding environment three-dimensionally. In addition, even in the case where there is only one outward camera 110, it is possible to estimate depth information (distance information) from a plurality of images.
  • depth image distance image
  • the shape of the information processing apparatus 1 is not limited to the example shown in FIG.
  • the information processing apparatus 1 is a headband type (a type mounted with a band that goes around the entire circumference of the head. There may be a band that passes not only the side but also the top of the head). It may be an HMD (the visor portion of the helmet corresponds to the display).
  • the information processing apparatus 1 is a wristband type (for example, a smart watch, with or without a display), a headphone type (without a display), or a neck phone type (with a neck type, with or without a display). May be realized by a wearable device such as
  • the operation input to the wearable device that can be worn by the user may be performed based on the movement or sound of the user sensed by a sensor such as the above-described camera.
  • a sensor such as the above-described camera.
  • virtual objects do not exist, it is difficult for the user to intuitively perform an operation input using such a virtual object, for example, as compared with an operation input using an existing controller or the like.
  • the information processing apparatus 1 receives an operation input using a real object existing in real space.
  • the information processing apparatus 1 according to the present embodiment may receive, as an operation input, that the user moves the real object, rotates the real object, or touches the real object.
  • an operation input more intuitive to the user than an operation input using a virtual object can be realized.
  • the real object used for operation input in this embodiment may be called an operation target object.
  • the operation target object is not limited to a dedicated controller prepared in advance or a specific real object determined in advance, and may be various real objects existing in the real space.
  • the operation target object according to the present embodiment may be any real object such as a writing instrument, a can, a book, a watch, a dish, etc. existing in the periphery. Such a configuration improves the convenience of the user.
  • a virtual object indicates that the real object is the operation target object and the user can receive an operation input by the user (an example of information related to the operation input using the operation target object) May be displayed.
  • the virtual object is displayed at a position according to the position of the operation target object, and may be displayed superimposed on the operation target object, for example, or may be displayed in the vicinity of the operation target object.
  • the operation target object is automatically allocated among the real objects existing in the periphery, there is a fear that the real object which does not match the user's preference (for example, it is difficult to perform the operation input) is allocated as the operation target object. is there.
  • the operation target object when all real objects that are present in the periphery and can be used as the operation target object are set as the operation target object, and virtual objects corresponding to the operation target object are displayed, even virtual objects that are undesirable for the user are displayed. There is.
  • virtual objects corresponding to real objects other than the operation target object that the user actually uses for operation input continue to be displayed, the user's operation input may be hindered.
  • the information processing apparatus 1 assigns the operation target object and displays the virtual object based on the user's selection, thereby assigning the operation target object according to the user's preference and the user And display of the desired virtual object. Specifically, the information processing apparatus 1 identifies the operation target object based on the user's selection among the plurality of real objects existing in the real space and recognized as candidates for the operation target object. Display a virtual object corresponding to the operation target object.
  • FIG. 2 is a block diagram showing a configuration example of the information processing device 1 according to the present embodiment.
  • the information processing apparatus 1 includes a sensor unit 11, a control unit 12, a display unit 13, a speaker 14, a communication unit 15, an operation input unit 16, and a storage unit 17.
  • the sensor unit 11 has a function of acquiring various information related to the user or the surrounding environment.
  • the sensor unit 11 includes an outward camera 110, an inward camera 111, a microphone 112, a gyro sensor 113, an acceleration sensor 114, an azimuth sensor 115, a position measurement unit 116, and a living body sensor 117.
  • the specific example of the sensor part 11 mentioned here is an example, and this embodiment is not limited to this.
  • each sensor may be plural.
  • the outward camera 110 and the inward camera 111 are obtained by a lens system including an imaging lens, an aperture, a zoom lens, a focus lens, etc., a drive system for performing a focus operation and a zoom operation on the lens system, and a lens system.
  • the imaging light is photoelectrically converted to generate an imaging signal.
  • the solid-state imaging device array may be realized by, for example, a charge coupled device (CCD) sensor array or a complementary metal oxide semiconductor (CMOS) sensor array.
  • the microphone 112 picks up the user's voice and the surrounding environmental sound, and outputs it to the control unit 12 as voice data.
  • the gyro sensor 113 is realized by, for example, a three-axis gyro sensor, and detects an angular velocity (rotational speed).
  • the acceleration sensor 114 is realized by, for example, a 3-axis acceleration sensor (also referred to as a G sensor), and detects an acceleration at the time of movement.
  • a 3-axis acceleration sensor also referred to as a G sensor
  • the azimuth sensor 115 is realized by, for example, a three-axis geomagnetic sensor (compass), and detects an absolute direction (azimuth).
  • the position measurement unit 116 has a function of detecting the current position of the information processing device 1 based on an externally obtained signal.
  • the position positioning unit 116 is realized by a GPS (Global Positioning System) positioning unit, receives radio waves from GPS satellites, and detects and detects the position where the information processing apparatus 1 is present. The position information is output to the control unit 12. Further, the position measurement unit 116 detects the position by transmission / reception with, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), mobile phone, PHS, smart phone, etc. in addition to GPS, or by short distance communication, etc. It may be.
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • mobile phone PHS
  • smart phone smart phone
  • the biometric sensor 117 detects biometric information of the user. Specifically, for example, heart rate, body temperature, sweating, blood pressure, pulse, breathing, blink, eye movement, fixation time, size of pupil diameter, blood pressure, brain wave, body movement, body position, skin temperature, skin electrical resistance, MV (Micro vibration), myoelectric potential, or SPO2 (blood oxygen saturation) etc. can be detected.
  • biometric information of the user Specifically, for example, heart rate, body temperature, sweating, blood pressure, pulse, breathing, blink, eye movement, fixation time, size of pupil diameter, blood pressure, brain wave, body movement, body position, skin temperature, skin electrical resistance, MV (Micro vibration), myoelectric potential, or SPO2 (blood oxygen saturation) etc.
  • Control unit 12 The control unit 12 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 1 according to various programs. Further, as shown in FIG. 2, the control unit 12 according to the present embodiment is a voice recognition unit 121, a real object recognition unit 122, a hand detection unit 123, a determination unit 124, a display control unit 125, an operation input reception unit 126, and It functions as the device control unit 127.
  • the voice recognition unit 121 recognizes the user or the environmental sound using the various sensor information sensed by the sensor unit 11. For example, the voice recognition unit 121 may perform noise removal, sound source separation, and the like on the collected sound information acquired by the microphone 112, and perform voice recognition, morphological analysis, sound source recognition, noise level recognition, and the like. Further, the voice recognition unit 121 may detect a predetermined voice command as a trigger for starting an operation input.
  • the predetermined voice command may be prepared in advance according to the function corresponding to the operation input. For example, the predetermined voice command for starting the operation input corresponding to the function of changing the output volume of the speaker 14 is “Change It may be "TV volume".
  • the real object recognition unit 122 uses the various sensor information sensed by the sensor unit 11 to recognize information on the real object present in the real space.
  • the real object recognition unit 122 analyzes, for example, a captured image obtained by the outward camera 110 or a depth image obtained based on a plurality of captured images, and the shape, pattern, size, type, angle of the real object And recognize information related to a real object such as a three-dimensional position in real space.
  • the real object recognition unit 122 may start the process related to the above recognition when, for example, a predetermined voice command is detected by the voice recognition unit 121 as a trigger for starting an operation input.
  • the real object recognition unit 122 recognizes candidates for the operation target object based on the information on the recognized real object.
  • the real object recognition unit 122 may recognize all recognized real objects as candidates for the operation target object, and among the recognized real objects, the real object matching the predetermined condition is the operation target object It may be recognized as a candidate for
  • the predetermined conditions are, for example, having a predetermined shape, having a predetermined pattern, being equal to or less than a predetermined size, being equal to or larger than a predetermined size, and being a real object of a predetermined type. It may be present, be present in a predetermined range, or the like.
  • the real object recognition unit 122 recognizes at least two real objects as candidates for the operation target object will be described as an example, and the two real objects will be described as a first real object and a second real object, respectively. It distinguishes by calling it a real object.
  • the number of operation target object candidates that can be recognized by the real object recognition unit 122 is not limited to two, and may be three or more.
  • the hand detection unit 123 detects the user's hand using various sensor information sensed by the sensor unit 11.
  • the hand detection unit 123 detects a user's hand by analyzing, for example, a captured image obtained by the outward camera 110 or a depth image obtained based on a plurality of captured images.
  • the hand detection unit 123 may detect the three-dimensional position of the hand in the real space.
  • the determination unit 124 performs determination related to the selection of the operation target object by the user. For example, among the real objects recognized as candidates for the operation target object by the real object recognition unit 122, the determination unit 124 determines that the real object touched by the user is the real object selected by the user as the operation target object. May be That is, when the user touches the first real object, the determination unit 124 determines that the first real object is selected as the operation target object, and the user touches the second real object. It may be determined that the second real object is selected as the operation target object.
  • the determination unit 124 determines that the real object which the user first touched is the real object selected by the user as the operation target object. May be That is, it is assumed that the user touches the second real object after determining that the first real object is selected as the operation target object based on the fact that the user touched the first real object. Also, it may not be determined that the second real object is selected as the operation target object. Similarly, after the determination unit 124 determines that the second real object is selected as the operation target object based on the user touching the second real object, the user touches the first real object. Also, it may not be determined that the first real object is selected as the operation target object.
  • the determination unit 124 determines that the user is an actual object based on the three-dimensional position of the hand detected by the hand detection unit 123 and the three-dimensional position of the real object recognized as a candidate for the operation target by the real object recognition unit 122. It may be determined whether or not the body has been touched.
  • the display control unit 125 controls the display by the display unit 13. As described above with reference to FIG. 1, since the display unit 13 exists in front of the user's eyes, for example, when the display unit 13 is of a transmissive type, the virtual object displayed on the display unit 13 is real to the user. It is viewed as existing in space. Then, by controlling display of the virtual object by the display unit 13, the display control unit 125 can control the position of the virtual object in the real space (the position at which the virtual object is viewed as existing for the user).
  • the display control unit 125 is a virtual object corresponding to the real object at a position in the real space according to the real object selected as the operation target object based on the selection of the user determined by the determination unit 124 Control the display to make
  • the display control unit 125 determines the first position in the real space according to the position of the first real object based on the user's selection. , The first virtual object corresponding to the first real object is displayed.
  • the display control unit 125 determines a second position in the real space according to the position of the second real object based on the selection of the user. , The second virtual object corresponding to the second real object is displayed.
  • a virtual object corresponding to the real object selected by the user as the operation target object is displayed, so that a virtual object more desirable for the user is displayed.
  • the display control unit 125 sets the position in the real space according to the real object recognized as the candidate of the operation target object based on the fact that the real object recognition unit 122 recognizes the real object as a candidate of the operation target object.
  • a virtual object corresponding to the real object may be displayed. That is, the display control unit 125 causes the first virtual object and the second virtual object to be displayed based on the recognition of the first real object and the second real object as candidates for the operation target object. May be According to such a configuration, the user can easily grasp the real object recognized as the candidate of the operation target object.
  • the display control unit 125 detects a virtual object corresponding to a real object (a real object other than the real object selected as the operation target object) that is not the operation target object.
  • the visibility may be reduced. That is, when the first real object is selected as the operation target object by the user, the display control unit 125 may reduce the visibility of the second virtual object based on the selection of the user. Similarly, when the second real object is selected as the operation target object by the user, the display control unit 125 may reduce the visibility of the first virtual object based on the selection of the user.
  • the user can easily grasp the selected operation target object, and at the same time, it is suppressed that the virtual object corresponding to the real object other than the operation target object is obstructed by the user's view and the user's operation input. Is possible.
  • the display control unit 125 reduces the visibility of the virtual object corresponding to the real object which is not the operation target object by controlling the display such that the virtual object corresponding to the real object which is not the operation target object is not displayed. May be That is, when the first real object is selected as the operation target object by the user, the display control unit 125 controls the display so that the second virtual object is not displayed based on the user's selection. Good. Similarly, when the second real object is selected as the operation target object by the user, the display control unit 125 controls the display so that the first virtual object is not displayed based on the user's selection. It is also good. According to such a configuration, the user can more easily grasp the selected operation target object, and further, the virtual object corresponding to the real object other than the operation target object further suppresses the obstruction of the user's view and the user's operation input. It is possible.
  • the method of reducing the visibility of the virtual object corresponding to a real object that is not the operation target object by the display control unit 125 is not limited to the above.
  • the display control unit 125 decreases the luminance of the virtual object corresponding to the real object that is not the operation target object, decreases the saturation, increases the transparency, or blurs the pattern, etc.
  • the visibility may be reduced.
  • the virtual objects displayed by the display control unit 125 may be virtual objects indicating information on operation input using each real object. That is, the first virtual object and the second virtual object may be virtual objects indicating information on operation input using the first real object and the second real object, respectively. According to such a configuration, the user can grasp information related to the operation input, and can more easily perform the operation input using the operation target object.
  • the display control unit 125 is a virtual object indicating information related to an operation input from the time when the actual object is recognized as a candidate for the operation target, for example, before the actual object is selected as the operation target object. It may be displayed as a virtual object corresponding to. With such a configuration, it is possible to determine which real object to select as the operation target object based on the information on the operation input indicated by the virtual object. For example, when a virtual object including an arrow described later is displayed, the user recognizes information such as how to move the real object when selecting each real object as the operation target object, and performs the operation. It is possible to make a selection related to the target object.
  • the display control unit 125 may display a virtual object indicating more detailed information regarding the operation input as a virtual object corresponding to the real object.
  • the display control unit 125 displays a virtual object (for example, a glowing effect described later) indicating simple information as a virtual object corresponding to the real object. It is also good.
  • the display control unit 125 may display a virtual object (for example, an arrow described later) indicating more detailed information as a virtual object corresponding to the real object. Good.
  • virtual objects indicating more detailed information may be additionally displayed in addition to virtual objects indicating simple information. With such a configuration, for example, when there are many candidates for the operation target object, it is possible to prevent the user's selection of the operation target object from being hindered by displaying a large number of complex virtual objects.
  • the virtual object displayed by the display control unit 125 may include a virtual object indicating that the operation input receiving unit 126 described below can receive an operation input using a real object corresponding to the virtual object. That is, the first virtual object and the second virtual object are virtual objects indicating that the operation input receiving unit 126 can receive an operation input using the first real object and the second real object, respectively. May be included.
  • the virtual object is not particularly limited, but may be, for example, a glowing effect, or a character string indicating that an operation input can be received. It may be any virtual object superimposed on or displayed in the vicinity of a real object.
  • the user can easily grasp the operation target object which can receive the operation input or the candidate of the operation target object.
  • the virtual object displayed by the display control unit 125 may include a virtual object indicating an operation direction that can be accepted by the operation input receiving unit 126 in an operation input using a real object corresponding to the virtual object. That is, in the operation input using the first real object and the second virtual object, the first virtual object and the second virtual object indicate virtual operation directions that can be received by the operation input receiving unit 126, respectively. It may contain objects.
  • the virtual object is not particularly limited, but may be, for example, an arrow.
  • the user can grasp in which direction the operation target object should be moved to perform the operation input.
  • the virtual object displayed by the display control unit 125 may include a virtual object indicating an operation range that can be received by the operation input receiving unit 126 in an operation input using a real object corresponding to the virtual object. That is, in the operation input using the first real object and the second virtual object, the first virtual object and the second virtual object indicate virtual operation ranges that can be received by the operation input receiving unit 126. It may contain objects.
  • the virtual object is not particularly limited, but may be, for example, a frame or a line segment.
  • the user can grasp in which range the operation input using the operation target object should be performed.
  • the virtual object displayed by the display control unit 125 is an operation using the real object corresponding to the virtual object. It may include a virtual object that indicates the measure in the input. That is, the first virtual object and the second virtual object may include virtual objects indicating the scale in the operation input using the first real object and the second real object, respectively.
  • the virtual object is not particularly limited, but may be, for example, a scale, an illustration, a character string, or the like.
  • the scale may be a nominal scale used to distinguish, an ordinal scale that is significant to a magnitude relationship, an interval scale that is significant to a numerical difference, or a proportional proportional to a numeric difference or ratio. It is used as an expression including scale.
  • the user when performing operation input for moving or rotating the operation target object, the user can perform more appropriate operation input by referring to the virtual object indicating the scale.
  • the virtual object displayed by the display control unit 125 may include a virtual object indicating an operation type that can be received by the operation input receiving unit 126 in an operation input using a real object corresponding to the virtual object. That is, in the operation input using the first real object and the second virtual object, the first virtual object and the second virtual object indicate virtual operation types that can be received by the operation input receiving unit 126. It may contain objects.
  • the virtual object is not particularly limited, but may be, for example, a character string.
  • the display control unit 125 may display the character string "turn" as a virtual object corresponding to the real object. Good.
  • the virtual object displayed by the display control unit 125 may include a virtual object indicating a function corresponding to an operation input using a real object corresponding to the virtual object. That is, the first virtual object and the second virtual object may include virtual objects indicating functions corresponding to operation input using the first real object and the second real object, respectively.
  • the virtual object is not particularly limited, but may be, for example, a character string.
  • the display control unit 125 sets the character string “volume change” to a virtual object corresponding to the real object. It may be displayed as
  • the display control unit 125 may specify and display virtual objects corresponding to each real object based on the information related to the real object recognized by the real object recognition unit 122. For example, the display control unit 125 identifies and displays a virtual object corresponding to the real object based on at least one of the shape (square, elongated, cylindrical, etc.), size, pattern, and type of the real object. May be That is, the display control unit 125 causes the first virtual object to be displayed based on at least one of the shape, the size, and the type of the first real object, and the shape, the size, or the second real object. The second virtual object may be displayed based on at least one of the types.
  • the display control unit 125 specifies the operation type, the operation direction, the operation range, the scale, the function, and the like described above in the operation input by the real object based on the shape, size, pattern, and type of the real object.
  • a virtual object corresponding to the real object may be displayed.
  • the operation input receiving unit 126 receives an operation input by the user using the real object selected as the operation target object. For example, the operation input reception unit 126 performs an operation input based on the position of the real object (operation target object) recognized by the real object recognition unit 122 or the position of the user's hand detected by the hand detection unit 123. May be accepted. The operation input receiving unit 126 outputs the information on the received operation input to the device control unit 127.
  • the information related to the operation input may include, for example, information such as an operation amount (movement amount, rotation amount, etc.) related to the operation input, and the number of times of operation.
  • the device control unit 127 controls the device based on the information on the operation input received by the operation input receiving unit 126.
  • the device control unit 127 may perform control related to the information processing apparatus 1 such as brightness of the display unit 13 and volume of the speaker 14 or may perform control related to an external device (for example, an external display or a speaker). Good.
  • the device control unit 127 controls an external device, the device control unit 127 generates a control signal for controlling the external device, and the communication unit 15 transmits the control signal to the external device. May be
  • the display unit 13 is realized by, for example, a lens unit (an example of a transmissive display unit) that performs display using a hologram optical technology, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or the like.
  • the display unit 13 may be transmissive, semi-transmissive or non-transmissive.
  • the speaker 14 reproduces an audio signal according to the control of the control unit 12.
  • the communication unit 15 is a communication module for transmitting and receiving data to and from another device by wired or wireless communication.
  • the communication unit 15 is, for example, a wired LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity (registered trademark), infrared communication, Bluetooth (registered trademark), short distance / non-contact communication, etc. Communicate directly with or wirelessly through a network access point.
  • the operation input unit 16 is realized by an operation member having a physical structure such as a switch, a button, or a lever.
  • the storage unit 17 stores programs and parameters for the control unit 12 to execute each function.
  • the storage unit 17 stores information on a virtual object, information on an operation input that can be received by the operation input receiving unit 126, information on a device that can be controlled by the device control unit 127, and the like.
  • the configuration of the information processing apparatus 1 according to the present embodiment has been specifically described above, but the configuration of the information processing apparatus 1 according to the present embodiment is not limited to the example illustrated in FIG.
  • the configuration of the information processing apparatus 1 according to the present embodiment is not limited to the example illustrated in FIG.
  • at least a part of the functions of the control unit 12 of the information processing device 1 may exist in another device connected via the communication unit 15.
  • FIG. 3 is a flowchart showing the flow of processing performed by the information processing apparatus 1 according to the present embodiment.
  • the voice recognition unit 121 repeats the voice command detection process until a voice command is detected (S102).
  • the voice recognition unit 121 detects a voice command (YES in S102)
  • the real object recognition unit 122 recognizes a real object existing in the real space as a candidate for the operation target object (S104).
  • the display control unit 125 causes the display unit 13 to display a virtual object corresponding to the real object recognized as a candidate for the operation target object in step S104 (S106).
  • the hand detection unit 123 detects the user's hand (S108), and the determination unit 124 determines any of the operation target object candidates until the user's hand touches any of the operation target object candidates.
  • the process of determining whether or not a person is touched is repeated (S110). If the determination unit 124 determines that the user's hand has touched any of the operation target object candidates (YES in S110), the determination unit 124 determines that the real object touched by the user's hand is selected as the operation target object. It determines (S112). Subsequently, the display control unit 125 reduces the visibility of the virtual object corresponding to the real object other than the operation target object while displaying the virtual object corresponding to the real object selected as the operation target object based on the user's selection. (S114).
  • the operation input receiving unit 126 repeats the process of receiving an operation input using the operation target object (S116), and the device control unit 127 performs device control based on the received operation input (S118).
  • the process of step S116 and step S118 may be repeated.
  • the processing of steps S102 to S118 described above may be repeated sequentially.
  • FIG. 4 is an explanatory diagram for describing an example of a specific operation of the information processing device 1.
  • the user wears the information processing apparatus 1 which is a glasses-type HMD as shown in FIG. 1.
  • the display unit 13 of the information processing apparatus 1 located in front of the user is transparent, and the virtual objects V1 to V3 displayed on the display unit 13 are viewed by the user as if they exist in the real space. .
  • real objects R1 to R3 are included in the field of view of the user.
  • the real object recognition unit 122 recognizes the real objects R1 to R3 as candidates for the operation target object, and the display control unit 125 is a virtual corresponding to each of the real objects R1 to R3.
  • the objects V1 to V3 are displayed on the display unit 13 (center of FIG. 4).
  • the virtual object V1 includes an arrow indicating the operation direction related to the movement of the real object R3, a line segment indicating the operation range, and a scale indicating the interval scale.
  • the virtual object V2 also includes an arrow indicating the operation direction related to the movement of the real object R3, and a frame indicating the operation range.
  • the virtual object V3 includes an arrow indicating an operation direction related to the rotation of the real object R3.
  • the display control unit 125 displays the virtual object V1 corresponding to the real object R2 based on the user's selection, The display is controlled such that the virtual object V1 and the virtual object V3 corresponding to the real object R1 other than the real object R2 and the real object R3 are not displayed.
  • the operation example of the information processing apparatus 1 illustrated in FIG. 4 is an example, and the present embodiment is not limited to the example.
  • the number of real objects recognized as candidates for the operation target object may be less than 3 or 4 or more, and the shape of the virtual object to be displayed may be various without being limited to the example of FIG. 4 .
  • the display control unit 125 may improve the visibility of the virtual object corresponding to the operation target object instead of or in addition to reducing the visibility of the virtual object corresponding to the real object that is not the operation target object. . That is, when the first real object is selected as the operation target object by the user, the display control unit 125 may improve the visibility of the first virtual object based on the selection of the user. Similarly, when the second real object is selected as the operation target object by the user, the display control unit 125 may improve the visibility of the second virtual object based on the user's selection. According to the configuration, the user can more easily grasp the selected operation target object.
  • the information processing apparatus 1 is HMD and the example provided with the display part 13 of a transmissive
  • the display control unit 125 causes the virtual object to be superimposed on the image of the real space obtained by the imaging of the outward camera 110, and the above-described function and It is possible to realize the same functions and effects as the effects.
  • the information processing apparatus 1 may not be an HMD, and the display unit 13 may be a projector. In such a case, it is possible to realize the same function and effect as the above-described function and effect by causing the display control unit 125 to control the display unit 13 which is a projector to project and display the virtual object in the real space. .
  • FIG. 5 is a block diagram showing an example of the hardware configuration of the information processing apparatus 1 according to the present embodiment.
  • Information processing by the information processing apparatus 1 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 1 includes a central processing unit (CPU) 901, a read only memory (ROM) 902, a random access memory (RAM) 903, and a host bus 904 a.
  • the information processing apparatus 1 further includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 1 may have a processing circuit such as a DSP or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 1 according to various programs. Also, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution.
  • the CPU 901 can form, for example, the control unit 12.
  • the CPU 901, the ROM 902, and the RAM 903 are mutually connected by a host bus 904a including a CPU bus and the like.
  • the host bus 904 a is connected to an external bus 904 b such as a peripheral component interconnect / interface (PCI) bus via the bridge 904.
  • PCI peripheral component interconnect / interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily need to be separately configured, and these functions may be implemented on one bus.
  • the input device 906 is realized by, for example, a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever to which information is input by the user. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA corresponding to the operation of the information processing apparatus 1. . Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above input unit, and outputs the generated input signal to the CPU 901. The user of the information processing apparatus 1 can input various data to the information processing apparatus 1 and instruct processing operations by operating the input device 906.
  • the output device 907 is formed of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 907 outputs, for example, results obtained by various processes performed by the information processing device 1.
  • the display device visually displays the results obtained by the various processes performed by the information processing device 1 in various formats such as text, images, tables, graphs, and the like.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and aurally outputs it.
  • the output device 907 may form, for example, the display unit 13 and the speaker 14.
  • the storage device 908 is a device for storing data formed as an example of a storage unit of the information processing device 1.
  • the storage device 908 is realized by, for example, a magnetic storage unit device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the storage unit 17.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 1.
  • the drive 909 reads out information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port to an external device capable of data transmission by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless Local Area Network (LAN), Long Term Evolution (LTE), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for asymmetric digital subscriber line (ADSL), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or another communication device.
  • the communication device 913 may form, for example, the communication unit 15.
  • the sensor 915 is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 1 such as the attitude of the information processing apparatus 1 and the moving speed, and information on the environment around the information processing apparatus 1 such as brightness and noise around the information processing apparatus 1.
  • sensor 915 may include a GPS sensor that receives GPS signals and measures latitude, longitude and altitude of the device.
  • the sensor 915 may form, for example, the sensor unit 11.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include the Internet, a public network such as a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), or the like.
  • the network 920 may include a leased line network such as an Internet Protocol-Virtual Private Network (IP-VPN).
  • IP-VPN Internet Protocol-Virtual Private Network
  • a computer program for realizing each function of the information processing apparatus 1 according to the present embodiment as described above, and to implement it on a PC or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • the assignment of the operation target object and the display of the virtual object based on the user's selection allow the assignment of the operation target object according to the user's preference. And a display of a virtual object desired by the user. Further, according to the present embodiment, by displaying virtual objects corresponding to each of the real objects recognized as candidates for the operation target object, the user can easily facilitate the real object recognized as the candidate for the operation target object. It is possible to grasp. Further, according to the present embodiment, the visibility of the virtual object corresponding to the real object other than the operation target object selected by the user is reduced, thereby suppressing inhibition of the user's view or the user's operation input. It is possible.
  • steps in the above embodiment do not necessarily have to be processed chronologically in the order described as the flowchart diagram.
  • each step in the process of the above embodiment may be processed in an order different from the order described as the flowchart diagram, or may be processed in parallel.
  • a first virtual object corresponding to the first real object is displayed at a first position in the real space according to the position of the first real object based on the selection of the user, and the user is caused to display the first virtual object
  • the second real object is selected as the operation target object
  • the second position in the real space corresponding to the position of the second real object is selected based on the selection of the user.
  • An information processing apparatus comprising a display control unit that controls display so as to display a second virtual object corresponding to a real object.
  • the display control unit is configured to, based on the recognition of the first real object and the second real object as candidates for the operation target object, the first virtual object and the second virtual object.
  • the information processing apparatus according to (1) wherein (3) When the user selects the first real object as the operation target object, the display control unit reduces the visibility of the second virtual object based on the selection of the user, and the display control unit reduces the visibility of the second virtual object.
  • the information processing apparatus according to (2) wherein the visibility of the first virtual object is lowered based on the user's selection when the second real object is selected as the operation target object by .
  • the display control unit controls display so that the second virtual object is not displayed based on the user's selection when the user selects the first real object as the operation target object.
  • the display is controlled based on the selection of the user such that the first virtual object is not displayed.
  • the information processing apparatus according to claim 1.
  • the display control unit improves the visibility of the first virtual object based on the selection of the user, and the display control unit is configured by the user.
  • the second real object is selected as the operation target object, one of the above (2) to (4) improves the visibility of the second virtual object based on the user's selection.
  • the information processing apparatus according to one item.
  • the display control unit displays the first virtual object based on at least one of the shape, the size, the pattern, and the type of the first real object, and the shape and the size of the second real object.
  • the information according to (7), wherein the first virtual object and the second virtual object indicate information related to the operation input using the first real object and the second real object, respectively. Processing unit.
  • the first virtual object to be displayed by the display control unit and the second virtual object are respectively the operation input using the operation input using the first real object and the second real object.
  • the first virtual object and the second virtual object are operation directions that can be received by the operation input reception unit in the operation input using the first real object and the second real object, respectively.
  • the first virtual object and the second virtual object are operation ranges that can be received by the operation input reception unit in the operation input using the first real object and the second real object, respectively.
  • the first virtual object and the second virtual object include virtual objects indicating scales of the operation input using the first real object and the second real object, respectively (8)
  • the information processing apparatus according to any one of (11) to (11).
  • (13) In the operation input using the first real object and the second real object, the first virtual object and the second virtual object to be displayed by the display control unit respectively receive the operation input.
  • the first virtual object displayed by the display control unit and the second virtual object indicate functions corresponding to the operation input using the first real object and the second real object, respectively.
  • the information processing apparatus according to any one of (8) to (13), including a virtual object.
  • the apparatus further comprises a determination unit that makes a determination related to the selection of the operation target object by the user, The determination unit determines that the first real object is selected as the operation target object when the user touches the first real object, and the user touches the second real object.
  • the information processing apparatus according to any one of (1) to (14), wherein it is determined that the second real object is selected as the operation target object.
  • the display control unit controls display by a transmissive display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】実空間に存在し、操作対象物体の候補として認識された第１の実物体と第２の実物体のうち、ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の実物体の位置に応じた前記実空間における第１の位置に、前記第１の実物体に対応する第１の仮想オブジェクトを表示させ、前記ユーザにより前第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の実物体の位置に応じた前記実空間における第２の位置に、前記第２の実物体に対応する第２の仮想オブジェクトを表示させるように表示を制御する、表示制御部を備える情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　近年、実空間に仮想オブジェクトを重畳してユーザに提示する拡張現実（ＡＲ：Augmented　Reality）と呼ばれる技術が注目されている。例えば、ユーザの頭部に装着された際にユーザの眼前に位置するディスプレイを有するヘッドマウントディスプレイ（Head Mounted Display：以下、「ＨＭＤ」とも称する）や、プロジェクタを用いて、実空間に仮想オブジェクトを重畳表示させることが可能である。
　このようなＡＲ技術では、実空間に存在する実物体の情報に基づいて仮想オブジェクトを表示することも行われている。例えば、カメラにより撮像された画像に基づいて認識した実物体の情報に応じた仮想オブジェクトを、認識された実物体に重畳するように表示することが行われている。また、下記特許文献１には、表示面上に存在する実物体の情報に応じて、表示面に表示される仮想オブジェクトの表示領域を決定する技術が開示されている。
国際公開第２０１４／１７１２００号
　このように実物体の情報に基づいて仮想オブジェクトを表示させる場合、ユーザにとって望ましい仮想オブジェクトが表示されるとは限らなかった。
　そこで、本開示では、ユーザの選択に基づいて表示を制御することで、ユーザにとってより望ましい仮想オブジェクトを表示させることが可能な、新規かつ改良された、情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、実空間に存在し、操作対象物体の候補として認識された第１の実物体と第２の実物体のうち、ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の実物体の位置に応じた前記実空間における第１の位置に、前記第１の実物体に対応する第１の仮想オブジェクトを表示させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の実物体の位置に応じた前記実空間における第２の位置に、前記第２の実物体に対応する第２の仮想オブジェクトを表示させるように表示を制御する、表示制御部を備える情報処理装置が提供される。
　また、本開示によれば、操作対象物体の候補として認識された実空間に存在する第１の実物体と第２の実物体のうち、ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の実物体の位置に応じた前記実空間における第１の位置に、前記第１の実物体に対応する第１の仮想オブジェクトを表示させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の実物体の位置に応じた前記実空間における第２の位置に、前記第２の実物体に対応する第２の仮想オブジェクトを表示させるように、プロセッサが表示を制御すること、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータに、操作対象物体の候補として認識された実空間に存在する第１の実物体と第２の実物体のうち、ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の実物体の位置に応じた前記実空間における第１の位置に、前記第１の実物体に対応する第１の仮想オブジェクトを表示させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の実物体の位置に応じた前記実空間における第２の位置に、前記第２の実物体に対応する第２の仮想オブジェクトを表示させるように表示を制御する機能を実現させるための、プログラムが提供される。
　以上説明したように本開示によれば、ユーザの選択に基づいて表示を制御することで、ユーザにとってより望ましい仮想オブジェクトを表示させることが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理装置１の概要を説明する図である。 同実施形態による情報処理装置１の構成例を示すブロック図である。 同実施形態に係る情報処理装置１が行う処理の流れを示すフローチャート図である。 同実施形態に係る情報処理装置１の具体的な動作の一例を説明するための説明図である。 ハードウェア構成例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．概要＞＞
　＜＜２．構成＞＞
　＜＜３．動作＞＞
　　＜３－１．処理の流れ＞
　　＜３－２．具体例＞
　＜＜４．変形例＞＞
　　＜４－１．変形例１＞
　　＜４－２．変形例２＞
　　＜４－３．変形例３＞
　＜＜５．ハードウェア構成例＞＞
　＜＜６．むすび＞＞
　＜＜１．概要＞＞
　まず、本開示の一実施形態による情報処理装置の概要について説明する。図１は、本実施形態による情報処理装置１の概要を説明する図である。図１に示すように、本実施形態による情報処理装置１は、例えばユーザＵの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現される。装着時にユーザＵの眼前に位置するメガネレンズ部分に相当する表示部１３は、透過型または非透過型であってもよい。情報処理装置１は、表示部１３に仮想オブジェクトを表示することで、ユーザＵの視線の前方に仮想オブジェクトを提示することができる。また、情報処理装置１の一例であるＨＭＤは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。例えばＨＭＤは、片方の眼に画像を提示する表示部１３が設けられた片目タイプのものであってもよい。
　また、情報処理装置１には、装着時にユーザＵの視線方向、すなわち外方向を撮像する外向きカメラ１１０が設けられている。さらに、図１に図示しないが、情報処理装置１には、装着時にユーザＵの眼を撮像する内向きカメラやマイクロホン（以下、「マイク」と示す。）等の各種センサが設けられている。外向きカメラ１１０、および内向きカメラは、それぞれ複数設けられていてもよい。なお、外向きカメラ１１０が複数設けられている場合、視差情報によりデプス画像（距離画像）を得ることができ、周囲の環境を三次元的にセンシングすることが可能である。また、外向きカメラ１１０が１台の場合であっても、複数枚の画像からデプス情報（距離情報）を推定することが可能である。
　なお情報処理装置１の形状は図１に示す例に限定されない。例えば情報処理装置１は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。また、情報処理装置１は、リストバンド型（例えばスマートウォッチ。ディスプレイがある場合または無い場合を含む）、ヘッドフォン型（ディスプレイなし）、またはネックフォン型（首掛けタイプ。ディスプレイがある場合または無い場合を含む）等のウェアラブル装置により実現されてもよい。
　本実施形態による情報処理装置１のように、ユーザに装着され得るウェアラブル装置に対する操作入力は、例えば上述したカメラなどのセンサによりセンシングされたユーザの動きや音声に基づいて行われ得る。例えば、表示部１３に表示された仮想オブジェクトに対して触れるようなジェスチャ等の、仮想オブジェクトを用いた操作入力を受け付けることが考えられる。しかし、仮想オブジェクトは実在しないため、このような仮想オブジェクトを用いた操作入力は、例えば実在するコントローラ等を用いた操作入力と比べると、ユーザが直感的に行うことは困難であった。
　そこで、本実施形態による情報処理装置１は、実空間に存在する実物体を用いた操作入力を受け付ける。例えば、本実施形態による情報処理装置１は、ユーザが実物体を移動させたり、実物体を回転させたり、または実物体に触れたりすることを操作入力として受け付けてもよい。係る構成により、仮想オブジェクトを用いた操作入力よりもユーザにとって直感的な操作入力が実現され得る。なお、以下では、本実施形態において操作入力に用いられる実物体を、操作対象物体と呼称する場合がある。
　本実施形態において、操作対象物体は、予め用意された専用コントローラや、予め決められた特定の実物体に限定されず、実空間に存在する多様な実物体であってよい。例えば、本実施形態に係る操作対象物体は、周辺に存在する筆記用具や缶、本、時計、食器等、如何なる実物体であってもよい。係る構成により、ユーザの利便性が向上する。
　上述したように、操作対象物体は、予め用意された専用コントローラや、予め決められた特定の実物体に限定されないため、周辺に存在する実物体のうち、いずれの実物体が操作対象物体であるかを、ユーザに通知することが望ましい。そのため、本実施形態に係る情報処理装置１は、実物体が操作対象物体であり、ユーザによる操作入力を受け付け可能であること（操作対象物体を用いた操作入力に関する情報の一例）を示す仮想オブジェクトを表示させてもよい。仮想オブジェクトは、操作対象物体の位置に応じた位置に表示され、例えば操作対象物体に重畳して表示されてもよいし、操作対象物体の近傍に表示されてもよい。
　ここで、周辺に存在する実物体のうち、操作対象物体が自動的に割り当てられてしまうと、ユーザの嗜好と合わない（例えば操作入力を行い難い）実物体が操作対象物体として割り当てられる恐れがある。また、周辺に存在し、操作対象物体として利用可能な全ての実物体を操作対象物体とし、操作対象物体に対応する仮想オブジェクトを表示させてしまうと、ユーザにとって望ましくない仮想オブジェクトまで表示される場合がある。特に、ユーザが実際に操作入力に用いる操作対象物体以外の実物体に対応する仮想オブジェクトが表示され続けると、ユーザの操作入力が阻害される恐れがある。
　そこで、本実施形態に係る情報処理装置１は、ユーザの選択に基づいて、操作対象物体の割り当てと仮想オブジェクトの表示とを行うことで、よりユーザの嗜好に応じた操作対象物体の割り当てとユーザの望む仮想オブジェクトの表示とを実現する。具体的には、情報処理装置１は、実空間に存在し、操作対象物体の候補として認識された複数の実物体の中から、ユーザの選択に基づいて操作対象物体を特定し、特定された操作対象物体に対応する仮想オブジェクトを表示させる。
　＜＜２．構成＞＞
　以上、本実施形態による情報処理装置１の概要について説明した。続いて、本実施形態による情報処理装置１の構成について図２を参照して説明する。図２は、本実施形態による情報処理装置１の構成例を示すブロック図である。図２に示すように、情報処理装置１は、センサ部１１、制御部１２、表示部１３、スピーカー１４、通信部１５、操作入力部１６、および記憶部１７を有する。
　（センサ部１１）
　センサ部１１は、ユーザまたは周辺環境に関する各種情報を取得する機能を有する。例えばセンサ部１１は、外向きカメラ１１０、内向きカメラ１１１、マイク１１２、ジャイロセンサ１１３、加速度センサ１１４、方位センサ１１５、位置測位部１１６、および生体センサ１１７を含む。なおここで挙げるセンサ部１１の具体例は一例であって、本実施形態はこれに限定されない。また、各センサはそれぞれ複数であってもよい。
　外向きカメラ１１０および内向きカメラ１１１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
　マイク１１２は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１２に出力する。
　ジャイロセンサ１１３は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
　加速度センサ１１４は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。
　方位センサ１１５は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
　位置測位部１１６は、外部からの取得信号に基づいて情報処理装置１の現在位置を検知する機能を有する。具体的には、例えば位置測位部１１６は、ＧＰＳ（Global　Positioning　System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１が存在している位置を検知し、検知した位置情報を制御部１２に出力する。また、位置測位部１１６は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
　生体センサ１１７は、ユーザの生体情報を検知する。具体的には、例えば心拍、体温、発汗、血圧、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、またはＳＰＯ２（血中酸素飽和度））などを検知し得る。
　（制御部１２）
　制御部１２は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、本実施形態による制御部１２は、図２に示すように、音声認識部１２１、実物体認識部１２２、手検出部１２３、判定部１２４、表示制御部１２５、操作入力受付部１２６、及び機器制御部１２７として機能する。
　音声認識部１２１は、センサ部１１によりセンシングされた各種センサ情報を用いて、ユーザまたは環境音の認識を行う。例えば音声認識部１２１は、マイク１１２により取得した収音情報に対してノイズ除去や音源分離等を行い、音声認識、形態素解析、音源認識、または騒音レベルの認識等を行い得る。また、音声認識部１２１は、操作入力を開始するためのトリガとして、所定の音声コマンドを検出してもよい。所定の音声コマンドは、操作入力に対応する機能に応じて予め用意されてもよく、例えばスピーカー１４の出力音量を変更する機能に対応する操作入力を開始するための所定の音声コマンドは、「Change　TV　volume」であってもよい。
　実物体認識部１２２は、センサ部１１によりセンシングされた各種センサ情報を用いて、実空間に存在する実物体に係る情報の認識を行う。実物体認識部１２２は、例えば外向きカメラ１１０により取得される撮像画像、または複数の撮像画像に基づいて取得されるデプス画像を解析して、実物体の形状、模様、大きさ、種別、角度、実空間における３次元位置等の実物体に係る情報を認識する。なお、実物体認識部１２２は、例えば操作入力を開始するためのトリガとして、所定の音声コマンドが音声認識部１２１により検出された場合に、上記の認識に係る処理を開始してもよい。
　また、実物体認識部１２２は、認識された実物体に係る情報に基づいて、操作対象物体の候補を認識する。実物体認識部１２２は、認識された全ての実物体を操作対象物体の候補として認識してもよいし、認識された実物体のうち、予め定められた条件に合致する実物体を操作対象物体の候補として認識してもよい。ここで、予め定められた条件は、例えば所定の形状を有する事、所定の模様を有する事、所定の大きさ以下であること、所定の大きさ以上であること、所定の種別の実物体であること、所定の範囲に存在すること等であってもよい。なお、以下では、実物体認識部１２２が、少なくとも２の実物体を操作対象物体の候補として認識した場合を例に説明し、当該２の実物体を、それぞれ第１の実物体、第２の実物体と呼称して区別する。ただし、実物体認識部１２２により認識され得る操作対象物体の候補の数は２に限定されず、３以上であってもよい。
　手検出部１２３は、センサ部１１によりセンシングされた各種センサ情報を用いて、ユーザの手を検出する。手検出部１２３は、例えば外向きカメラ１１０により取得される撮像画像、または複数の撮像画像に基づいて取得されるデプス画像を解析して、ユーザの手を検出する。なお、手検出部１２３は、実空間における手の３次元位置を検出してもよい。
　判定部１２４は、ユーザによる操作対象物体の選択に係る判定を行う。例えば、判定部１２４は、実物体認識部１２２により操作対象物体の候補として認識された実物体のうち、ユーザが触れた実物体を、ユーザが操作対象物体として選択した実物体であると判定してもよい。すなわち、判定部１２４は、ユーザが第１の実物体に触れた場合に、当該第１の実物体が操作対象物体として選択されたと判定し、ユーザが第２の実物体に触れた場合に、当該第２の実物体が操作対象物体として選択されたと判定してもよい。
　判定部１２４は、実物体認識部１２２により操作対象物体の候補として認識された実物体のうち、ユーザが最初に触れた実物体を、ユーザが操作対象物体として選択した実物体であると判定してもよい。すなわち、判定部１２４は、ユーザが第１の実物体に触れたことに基づいて当該第１の実物体が操作対象物体として選択されたと判定した後に、ユーザが第２の実物体に触れたとしても、当該第２の実物体が操作対象物体として選択されたと判定しなくてもよい。同様に、判定部１２４は、ユーザが第２の実物体に触れたことに基づいて当該第２の実物体が操作対象物体として選択されたと判定した後に、ユーザが第１の実物体に触れたとしても、当該第１の実物体が操作対象物体として選択されたと判定しなくてもよい。
　なお、判定部１２４は、手検出部１２３により検出された手の３次元位置と、実物体認識部１２２により操作対象物体の候補として認識された実物体の３次元位置に基づいて、ユーザが実物体に触れたか否かを判定してもよい。
　表示制御部１２５は、表示部１３による表示を制御する。図１を参照して説明したように、表示部１３はユーザの眼前に存在するため、例えば表示部１３が透過型である場合には、表示部１３に表示される仮想オブジェクトは、ユーザにとって実空間に存在するように視認される。そして、表示制御部１２５は、表示部１３による仮想オブジェクトの表示を制御することで、仮想オブジェクトの実空間における位置（ユーザにとって存在すると視認される位置）を制御することが可能である。
　本実施形態に係る表示制御部１２５は、判定部１２４により判定されたユーザの選択に基づき、操作対象物体として選択された実物体に応じた実空間における位置に、当該実物体に対応する仮想オブジェクトを表示させるように表示を制御する。
　例えば、表示制御部１２５は、ユーザにより第１の実物体が操作対象物体として選択された場合には、ユーザの選択に基づき、第１の実物体の位置に応じた実空間における第１の位置に、第１の実物体に対応する第１の仮想オブジェクトを表示させる。また、表示制御部１２５は、ユーザにより第２の実物体が操作対象物体として選択された場合には、ユーザの選択に基づき、第２の実物体の位置に応じた実空間における第２の位置に、第２の実物体に対応する第２の仮想オブジェクトを表示させる。
　係る構成により、ユーザが操作対象物体として選択した実物体に応じた仮想オブジェクトが表示されるため、ユーザにとってより望ましい仮想オブジェクトが表示される。
　さらに、表示制御部１２５は、実物体認識部１２２が実物体を操作対象物体の候補として認識したことに基づいて、操作対象物体の候補として認識された実物体に応じた実空間における位置に、当該実物体に対応する仮想オブジェクトを表示させてもよい。すなわち、表示制御部１２５は、第１の実物体と第２の実物体とが操作対象物体の候補として認識されたことに基づいて、第１の仮想オブジェクトと第２の仮想オブジェクトとを表示させてもよい。係る構成により、ユーザは、操作対象物体の候補として認識されている実物体を容易に把握することが可能である。
　さらに、表示制御部１２５は、判定部１２４により判定されたユーザの選択に基づいて、操作対象物体ではない実物体（操作対象物体として選択された実物体以外の実物体）に対応する仮想オブジェクトの視認性を低下させてもよい。すなわち、表示制御部１２５は、ユーザにより第１の実物体が操作対象物体として選択された場合には、係るユーザの選択に基づき、第２の仮想オブジェクトの視認性を低下させてもよい。同様に、表示制御部１２５は、ユーザにより第２の実物体が操作対象物体として選択された場合には、係るユーザの選択に基づき、第１の仮想オブジェクトの視認性を低下させてもよい。係る構成により、選択された操作対象物体をユーザが把握し易くなると共に、操作対象物体以外の実物体に対応する仮想オブジェクトによって、ユーザの視界やユーザの操作入力が阻害されることを抑制することが可能である。
　例えば、表示制御部１２５は、操作対象物体ではない実物体に対応する仮想オブジェクトが表示されないように表示を制御することで、操作対象物体ではない実物体に対応する仮想オブジェクトの視認性を低下させてもよい。すなわち、表示制御部１２５は、ユーザにより第１の実物体が操作対象物体として選択された場合には、係るユーザの選択に基づき、第２の仮想オブジェクトが表示されないように表示を制御してもよい。同様に、表示制御部１２５は、ユーザにより第２の実物体が操作対象物体として選択された場合には、係るユーザの選択に基づき、第１の仮想オブジェクトが表示されないように表示を制御してもよい。係る構成により、選択された操作対象物体をユーザがより把握し易くなると共に、操作対象物体以外の実物体に対応する仮想オブジェクトによって、ユーザの視界やユーザの操作入力が阻害されることをさらに抑制することが可能である。
　なお、表示制御部１２５が操作対象物体ではない実物体に対応する仮想オブジェクトの視認性を低下させる方法は上記に限定されない。例えば、表示制御部１２５は、操作対象物体ではない実物体に対応する仮想オブジェクトの輝度を低下させたり、彩度を低下させたり、透過度を増加させたり、模様をボケさせたりすることで、視認性を低下させてもよい。
　また、表示制御部１２５が表示させる仮想オブジェクトは、各実物体を用いた操作入力に関する情報を示す仮想オブジェクトであってもよい。すなわち、第１の仮想オブジェクト、及び第２の仮想オブジェクトは、それぞれ第１の実物体、及び第２の実物体を用いた操作入力に関する情報を示す仮想オブジェクトであってもよい。係る構成により、ユーザは操作入力に関する情報を把握して、操作対象物体を用いた操作入力をより容易に行うことが可能となる。
　なお、表示制御部１２５は、実物体が操作対象物体として選択される前から、例えば当該実物体が操作対象物体の候補として認識された時点から、操作入力に関する情報を示す仮想オブジェクトを当該実物体に対応する仮想オブジェクトとして表示させてもよい。係る構成により、仮想オブジェクトが示す操作入力に関する情報に基づいて、いずれの実物体を操作対象物体として選択するかを判断することが可能となる。例えば、後述する矢印を含む仮想オブジェクトが表示される場合、ユーザは各実物体を操作対象物体として選択した場合にどのように当該実物体を動かす必要があるか、といった情報を把握して、操作対象物体に係る選択を行うことが可能となる。
　また、表示制御部１２５は、実物体が操作対象物体として選択された場合に、操作入力に関するより詳細な情報を示す仮想オブジェクトを、当該実物体に対応する仮想オブジェクトとして表示させてもよい。例えば、表示制御部１２５は、実物体が操作対象物体の候補として認識された時点では、簡易な情報を示す仮想オブジェクト（例えば後述する光るエフェクト）を当該実物体に対応する仮想オブジェクトとして表示させてもよい。そして、表示制御部１２５は、当該実物体が操作対象物体として選択された場合に、より詳細な情報を示す仮想オブジェクト（例えば後述する矢印）を当該実物体に対応する仮想オブジェクトとして表示させてもよい。なお、より詳細な情報を示す仮想オブジェクトは、簡易な情報を示す仮想オブジェクトに加えて追加的に表示されてもよい。係る構成により、例えば操作対象物体の候補が多い場合に、複雑な仮想オブジェクトを多数表示させてしまうことによりユーザによる操作対象物体の選択を阻害することを、防ぐことが可能である。
　例えば、表示制御部１２５が表示させる仮想オブジェクトは、当該仮想オブジェクトに対応する実物体を用いた操作入力を後述する操作入力受付部１２６が受け付け可能であることを示す仮想オブジェクトを含んでもよい。すなわち、第１の仮想オブジェクト、及び第２の仮想オブジェクトは、それぞれ第１の実物体、及び第２の実物体を用いた操作入力を操作入力受付部１２６が受け付け可能であることを示す仮想オブジェクトを含んでもよい。なお、係る仮想オブジェクトについては特に限定されないが、例えば光るエフェクトであってもよいし、操作入力を受け付け可能であることを示す文字列であってもよいし、
実物体に重畳されて、または近傍に表示される任意の仮想オブジェクトであってもよい。
　係る構成により、ユーザは、操作入力を受け付け可能な操作対象物体、または操作対象物体の候補を容易に把握することが可能となる。
　また、表示制御部１２５が表示させる仮想オブジェクトは、当該仮想オブジェクトに対応する実物体を用いた操作入力において、操作入力受付部１２６が受け付け可能な操作方向を示す仮想オブジェクトを含んでもよい。すなわち、第１の仮想オブジェクト、及び第２の仮想オブジェクトは、それぞれ第１の実物体、及び第２の実物体を用いた操作入力において、操作入力受付部１２６が受け付け可能な操作方向を示す仮想オブジェクトを含んでもよい。なお、係る仮想オブジェクトについては特に限定されないが、例えば矢印であってもよい。
　係る構成により、ユーザは、操作対象物体をいずれの方向に移動させて操作入力を行えばよいのかを把握することが可能となる。
　また、表示制御部１２５が表示させる仮想オブジェクトは、当該仮想オブジェクトに対応する実物体を用いた操作入力において、操作入力受付部１２６が受け付け可能な操作範囲を示す仮想オブジェクトを含んでもよい。すなわち、第１の仮想オブジェクト、及び第２の仮想オブジェクトは、それぞれ第１の実物体、及び第２の実物体を用いた操作入力において、操作入力受付部１２６が受け付け可能な操作範囲を示す仮想オブジェクトを含んでもよい。なお、係る仮想オブジェクトについては特に限定されないが、例えば枠や線分であってもよい。
　係る構成により、ユーザは、いずれの範囲で操作対象物体を用いた操作入力を行えばよいのかを把握することが可能となる。
　また、実物体を用いた操作入力の種別が例えば当該実物体を移動、または回転させることである場合、表示制御部１２５が表示させる仮想オブジェクトは、当該仮想オブジェクトに対応する実物体を用いた操作入力における尺度を示す仮想オブジェクトを含んでもよい。すなわち、第１の仮想オブジェクト、及び第２の仮想オブジェクトは、それぞれ第１の実物体、及び第２の実物体を用いた操作入力における尺度を示す仮想オブジェクトを含んでもよい。なお、係る仮想オブジェクトについては特に限定されないが、例えば目盛、イラスト、文字列等であってもよい。また、本明細書において、尺度は、区別するために用いられる名義尺度、大小関係に意味のある順序尺度、数値の差に意味のある間隔尺度、または、数値の差と比に意味のある比例尺度、を含む表現として用いられる。
　係る構成により、ユーザは、操作対象物体を移動、または回転させる操作入力を行う場合に、尺度を示す仮想オブジェクトを参考にすることで、より適切な操作入力を行うことが可能となる。
　また、表示制御部１２５が表示させる仮想オブジェクトは、当該仮想オブジェクトに対応する実物体を用いた操作入力において、操作入力受付部１２６が受け付け可能な操作種別を示す仮想オブジェクトを含んでもよい。すなわち、第１の仮想オブジェクト、及び第２の仮想オブジェクトは、それぞれ第１の実物体、及び第２の実物体を用いた操作入力において、操作入力受付部１２６が受け付け可能な操作種別を示す仮想オブジェクトを含んでもよい。なお、係る仮想オブジェクトについては特に限定されないが、例えば文字列であってもよい。例えば、操作入力受付部１２６が受け付け可能な操作種別が実物体を回転させることである場合、表示制御部１２５は、「回す」という文字列を当該実物体に対応する仮想オブジェクトとして表示させてもよい。
　また、表示制御部１２５が表示させる仮想オブジェクトは、当該仮想オブジェクトに対応する実物体を用いた操作入力に対応する機能を示す仮想オブジェクトを含んでもよい。すなわち、第１の仮想オブジェクト、及び第２の仮想オブジェクトは、それぞれ第１の実物体、及び第２の実物体を用いた操作入力に対応する機能を示す仮想オブジェクトを含んでもよい。なお、係る仮想オブジェクトについては特に限定されないが、例えば文字列であってもよい。例えば、実物体を用いた操作入力に対応する機能が、スピーカー１４の出力音量を変更することである場合、表示制御部１２５は、「音量変更」という文字列を当該実物体に対応する仮想オブジェクトとして表示させてもよい。
　また、表示制御部１２５は、実物体認識部１２２により認識された実物体に係る情報に基づいて、各実物体に対応する仮想オブジェクトを特定して表示させてもよい。例えば、表示制御部１２５は、実物体の形状（四角い、細長い、円柱状等）、大きさ、模様、種別のうち少なくともいずれかに基づいて当該実物体に対応する仮想オブジェクトを特定して表示させてもよい。すなわち、表示制御部１２５は、第１の実物体の形状、大きさ、または種別のうち少なくともいずれかに基づいて第１の仮想オブジェクトを表示させ、第２の実物体の形状、大きさ、または種別のうち少なくともいずれかに基づいて第２の仮想オブジェクトを表示させてもよい。
　なお、表示制御部１２５は、実物体の形状、大きさ、模様、種別に基づいて、当該実物体による操作入力において上述した操作種別や操作方向、操作範囲、尺度、機能等を特定して、当該実物体に対応する仮想オブジェクトを表示させてもよい。
　操作入力受付部１２６は、操作対象物体として選択された実物体を用いたユーザによる操作入力を受け付ける。例えば、操作入力受付部１２６は、実物体認識部１２２により認識された、当該実物体（操作対象物体）の位置や、手検出部１２３により検出されたユーザの手の位置に基づいて、操作入力を受け付けてもよい。操作入力受付部１２６は、受け付けた操作入力に関する情報を機器制御部１２７へ出力する。なお、操作入力に関する情報には、例えば操作入力に係る操作量（移動量、回転量等）や、操作回数等の情報を含んでもよい。
　機器制御部１２７は、操作入力受付部１２６により受け付けられた操作入力に関する情報に基づいて、機器の制御を行う。なお、機器制御部１２７は、表示部１３の輝度やスピーカー１４の音量等、情報処理装置１に関する制御を行ってもよいし、外部の機器（例えば外部のディスプレイやスピーカー）に関する制御を行ってもよい。機器制御部１２７が外部の機器を制御する場合には、機器制御部１２７が外部の機器を制御するための制御信号を生成して、通信部１５が当該外部の機器へ当該制御信号を送信してもよい。
　（表示部１３）
　表示部１３は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic　Light　Emitting　Diode）装置等により実現される。また、表示部１３は、透過型、半透過型、または非透過型であってもよい。
　（スピーカー１４）
　スピーカー１４は、制御部１２の制御に従って、音声信号を再生する。
　（通信部１５）
　通信部１５は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１５は、例えば有線ＬＡＮ（Local　Area　Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless　Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
　（操作入力部１６）
　操作入力部１６は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
　（記憶部１７）
　記憶部１７は、上述した制御部１２が各機能を実行するためのプログラムやパラメータを記憶する。例えば記憶部１７には、仮想オブジェクトに関する情報や、操作入力受付部１２６が受付可能な操作入力に関する情報、機器制御部１２７が制御可能な機器に関する情報等が記憶されている。
　以上、本実施形態による情報処理装置１の構成について具体的に説明したが、本実施形態による情報処理装置１の構成は図２に示す例に限定されない。例えば情報処理装置１の制御部１２が有する少なくとも一部の機能が、通信部１５を介して接続される他の装置に存在してもよい。
　＜＜３．動作＞＞
　以上、本実施形態に係る情報処理装置１の構成例について説明した。続いて、本実施形態に係る情報処理装置１の動作について図３、及び図４を参照して説明する。以下では、図３を参照して、情報処理装置１の処理の流れを説明した後、図４を参照して、情報処理装置１の具体的な動作の一例を説明する。
　　＜３－１．処理の流れ＞
　図３は本実施形態に係る情報処理装置１が行う処理の流れを示すフローチャート図である。まず、音声認識部１２１により、音声コマンドが検出されるまで音声コマンドの検出処理が繰り返される（Ｓ１０２）。音声認識部１２１により、音声コマンドが検出されると（Ｓ１０２においてＹＥＳ）、実物体認識部１２２が、実空間に存在する実物体を、操作対象物体の候補として認識する（Ｓ１０４）。続いて、表示制御部１２５が、ステップＳ１０４で操作対象物体の候補として認識された実物体に対応する仮想オブジェクトを表示部１３に表示させる（Ｓ１０６）。
　続いて、手検出部１２３がユーザの手を検出し（Ｓ１０８）、判定部１２４は、ユーザの手が操作対象物体の候補のいずれかに触れるまで、ユーザの手が操作対象物体の候補のいずれかに触れたか否かを判定する処理を繰り返す（Ｓ１１０）。判定部１２４は、ユーザの手が操作対象物体の候補のいずれかに触れたと判定された場合（Ｓ１１０においてＹＥＳ）、判定部１２４はユーザの手が触れた実物体が操作対象物体として選択されたと判定する（Ｓ１１２）。続いて表示制御部１２５は、ユーザの選択に基づき、操作対象物体として選択された実物体に対応する仮想オブジェクトを表示させつつ、操作対象物体以外の実物体に対応する仮想オブジェクトの視認性を低下させる（Ｓ１１４）。
　続いて、操作入力受付部１２６が、操作対象物体を用いた操作入力を受け付ける処理を繰り返し（Ｓ１１６）、機器制御部１２７は、受け付けられた操作入力に基づいて機器制御を行う（Ｓ１１８）。なお、図３に示すように、ステップＳ１１６とステップＳ１１８の処理は繰り返されてもよい。また、以上説明したステップＳ１０２～Ｓ１１８の処理は、順次繰り返されてもよい。
　　＜３－２．具体例＞
　続いて、図４を参照して、情報処理装置１の具体的な動作の一例を説明する。図４は、情報処理装置１の具体的な動作の一例を説明するための説明図である。図４において、ユーザは図１に示したようなメガネ型のＨＭＤである情報処理装置１を装着している。また、ユーザの眼前に位置する情報処理装置１の表示部１３は透過型であり、表示部１３に表示される仮想オブジェクトＶ１～Ｖ３は、実空間に存在するかのようにユーザに視認される。
　まず、図４の上段に示すように、実物体Ｒ１～Ｒ３がユーザの視界に含まれている。ここで、ユーザが所定の音声コマンドを発話すると、実物体認識部１２２が実物体Ｒ１～Ｒ３を操作対象物体の候補として認識し、表示制御部１２５が実物体Ｒ１～Ｒ３のそれぞれに対応する仮想オブジェクトＶ１～Ｖ３を表示部１３に表示させる（図４中段）。
　図４の中段に示すように、仮想オブジェクトＶ１は、実物体Ｒ３の移動に係る操作方向を示す矢印、操作範囲を示す線分、間隔尺度を示す目盛を含む。また、仮想オブジェクトＶ２は、実物体Ｒ３の移動に係る操作方向を示す矢印、操作範囲を示す枠を含む。また、仮想オブジェクトＶ３は、実物体Ｒ３の回転に係る操作方向を示す矢印を含む。
　ここで、図４の下段に示すように、ユーザの手Ｈが実物体Ｒ２に触れると、表示制御部１２５は、ユーザの選択に基づき、実物体Ｒ２に対応する仮想オブジェクトＶ１が表示されつつ、実物体Ｒ２以外の実物体Ｒ１、及び実物体Ｒ３のそれぞれに対応する仮想オブジェクトＶ１、及び仮想オブジェクトＶ３が表示されないように表示を制御する。
　なお、図４に示した情報処理装置１の動作例は一例であって、本実施形態は係る例に限定されない。例えば、操作対象物体の候補として認識される実物体の数は３未満でも４以上であってもよいし、表示される仮想オブジェクトの形状も図４の例に限定されずに多様であってよい。
　＜＜４．変形例＞＞
　以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
　　＜４－１．変形例１＞
　上記実施形態では、表示制御部１２５が操作対象物体ではない実物体に対応する仮想オブジェクトの視認性を低下させる例を説明したが、本技術は係る例に限定されない。表示制御部１２５は、操作対象物体ではない実物体に対応する仮想オブジェクトの視認性を低下させることに代えて、または加えて、操作対象物体に対応する仮想オブジェクトの視認性を向上させてもよい。すなわち、表示制御部１２５は、ユーザにより第１の実物体が操作対象物体として選択された場合には、係るユーザの選択に基づき、第１の仮想オブジェクトの視認性を向上させてもよい。同様に、表示制御部１２５は、ユーザにより第２の実物体が操作対象物体として選択された場合には、係るユーザの選択に基づき、第２の仮想オブジェクトの視認性を向上させてもよい。係る構成によれば、選択された操作対象物体をユーザがより把握し易くなる。
　　＜４－２．変形例２＞
　また、上記実施形態では情報処理装置１がＨＭＤであり、透過型の表示部１３を備える例を主に説明したが、本技術は係る例に限定されない。例えば、表示部１３が非透過型である場合にも、表示制御部１２５が、外向きカメラ１１０の撮像により得られる実空間の画像に仮想オブジェクトを重畳させて表示させることで、上述した機能及び効果と同様の機能及び効果を実現することが可能である。
　また、情報処理装置１は、ＨＭＤでなくともよく、表示部１３がプロジェクタであってもよい。係る場合、表示制御部１２５がプロジェクタである表示部１３を制御して、実空間に仮想オブジェクトを投影表示させることで、上述した機能及び効果と同様の機能及び効果を実現することが可能である。
　　＜４－３．変形例３＞
　また、上記実施形態では、操作入力を開始するためのトリガとして、所定の音声コマンドが用いられる例を説明したが、本技術は係る例に限定されない。例えば、操作入力部１６を介したユーザの操作入力や、外向きカメラ１１０により取得される撮像画像に基づいて検出されるジェスチャ操作入力が、操作入力を開始するためのトリガとして用いられてもよい。
　＜＜５．ハードウェア構成＞＞
　以上、本開示の実施形態を説明した。最後に、図５を参照して、本実施形態に係る情報処理装置１のハードウェア構成について説明する。図５は、本実施形態に係る情報処理装置１のハードウェア構成の一例を示すブロック図である。本実施形態に係る情報処理装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図５に示すように、情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置１は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置１は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１２を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置１のユーザは、この入力装置９０６を操作することにより、情報処理装置１に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置１が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部１３、及びスピーカー１４を形成し得る。
　ストレージ装置９０８は、情報処理装置１の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１７を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１５を形成し得る。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置１の姿勢、移動速度等、情報処理装置１自身の状態に関する情報や、情報処理装置１の周辺の明るさや騒音等、情報処理装置１の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部１１を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置１の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置１の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜６．むすび＞＞
　以上説明したように、本開示の実施形態によれば、ユーザの選択に基づいて、操作対象物体の割り当てと仮想オブジェクトの表示とを行うことで、よりユーザの嗜好に応じた操作対象物体の割り当てとユーザの望む仮想オブジェクトの表示とが実現される。また、本実施形態によれば、操作対象物体の候補として認識された実物体のそれぞれに対応する仮想オブジェクトを表示することで、ユーザは、操作対象物体の候補として認識されている実物体を容易に把握することが可能である。また、本実施形態によれば、ユーザにより選択された操作対象物体以外の実物体に対応する仮想オブジェクトの視認性を低下させることで、ユーザの視界やユーザの操作入力が阻害されることを抑制することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　実空間に存在し、操作対象物体の候補として認識された第１の実物体と第２の実物体のうち、ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の実物体の位置に応じた前記実空間における第１の位置に、前記第１の実物体に対応する第１の仮想オブジェクトを表示させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の実物体の位置に応じた前記実空間における第２の位置に、前記第２の実物体に対応する第２の仮想オブジェクトを表示させるように表示を制御する、表示制御部を備える情報処理装置。
（２）
　前記表示制御部は、前記第１の実物体と前記第２の実物体とが前記操作対象物体の候補として認識されたことに基づいて、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとを表示させる、前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の仮想オブジェクトの視認性を低下させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の仮想オブジェクトの視認性を低下させる、前記（２）に記載の情報処理装置。
（４）
　前記表示制御部は、前記ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の仮想オブジェクトが表示されないように表示を制御し、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の仮想オブジェクトが表示されないように表示を制御する、前記（２）に記載の情報処理装置。
（５）
　表示制御部は、前記ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の仮想オブジェクトの視認性を向上させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の仮想オブジェクトの視認性を向上させる、前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記表示制御部は、前記第１の実物体の形状、大きさ、模様、または種別のうち少なくともいずれかに基づいて前記第１の仮想オブジェクトを表示させ、前記第２の実物体の形状、大きさ、または種別のうち少なくともいずれかに基づいて前記第２の仮想オブジェクトを表示させる、前記（１）に記載の情報処理装置。
（７）
　前記ユーザにより前記操作対象物体として選択された実物体を用いた操作入力を受け付ける操作入力受付部をさらに備える、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力に関する情報を示す、前記（７）に記載の情報処理装置。
（９）
　前記表示制御部が表示させる前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力を前記操作入力受付部が受け付け可能であることを示す仮想オブジェクトを含む、前記（８）に記載の情報処理装置。
（１０）
　前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力において、前記操作入力受付部が受け付け可能な操作方向を示す仮想オブジェクトを含む、前記（８）または（９）に記載の情報処理装置。
（１１）
　前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力において、前記操作入力受付部が受け付け可能な操作範囲を示す仮想オブジェクトを含む、前記（８）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力における尺度を示す仮想オブジェクトを含む、前記（８）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記表示制御部が表示させる前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力において、前記操作入力受付部が受け付け可能な操作種別を示す仮想オブジェクトを含む、前記（８）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記表示制御部が表示させる前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力に対応する機能を示す仮想オブジェクトを含む前記（８）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記ユーザによる前記操作対象物体の選択に係る判定を行う判定部をさらに備え、
　前記判定部は、前記ユーザが前記第１の実物体に触れた場合に、前記第１の実物体が前記操作対象物体として選択されたと判定し、前記ユーザが前記第２の実物体に触れた場合に、前記第２の実物体が前記操作対象物体として選択されたと判定する、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記表示制御部は、透過型の表示部による表示を制御する、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　操作対象物体の候補として認識された実空間に存在する第１の実物体と第２の実物体のうち、ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の実物体の位置に応じた前記実空間における第１の位置に、前記第１の実物体に対応する第１の仮想オブジェクトを表示させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の実物体の位置に応じた前記実空間における第２の位置に、前記第２の実物体に対応する第２の仮想オブジェクトを表示させるように、プロセッサが表示を制御すること、を含む情報処理方法。
（１８）
　コンピュータに、
　操作対象物体の候補として認識された実空間に存在する第１の実物体と第２の実物体のうち、ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の実物体の位置に応じた前記実空間における第１の位置に、前記第１の実物体に対応する第１の仮想オブジェクトを表示させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の実物体の位置に応じた前記実空間における第２の位置に、前記第２の実物体に対応する第２の仮想オブジェクトを表示させるように表示を制御する機能を実現させるための、プログラム。
　１　情報処理装置
　１１　センサ部
　１２　制御部
　１３　表示部
　１４　スピーカー
　１５　通信部
　１６　操作入力部
　１７　記憶部
　１１０　外向きカメラ
　１１１　内向きカメラ
　１１２　マイク
　１１３　ジャイロセンサ
　１１４　加速度センサ
　１１５　方位センサ
　１１６　位置測位部
　１１７　生体センサ
　１２１　音声認識部
　１２２　実物体認識部
　１２３　手検出部
　１２４　判定部
　１２５　表示制御部
　１２６　操作入力受付部
　１２７　機器制御部

Claims (18)

  1. 　実空間に存在し、操作対象物体の候補として認識された第１の実物体と第２の実物体のうち、ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の実物体の位置に応じた前記実空間における第１の位置に、前記第１の実物体に対応する第１の仮想オブジェクトを表示させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の実物体の位置に応じた前記実空間における第２の位置に、前記第２の実物体に対応する第２の仮想オブジェクトを表示させるように表示を制御する、表示制御部を備える情報処理装置。
  2. 　前記表示制御部は、前記第１の実物体と前記第２の実物体とが前記操作対象物体の候補として認識されたことに基づいて、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとを表示させる、請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、前記ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の仮想オブジェクトの視認性を低下させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の仮想オブジェクトの視認性を低下させる、請求項２に記載の情報処理装置。
  4. 　前記表示制御部は、前記ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の仮想オブジェクトが表示されないように表示を制御し、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の仮想オブジェクトが表示されないように表示を制御する、請求項２に記載の情報処理装置。
  5. 　表示制御部は、前記ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の仮想オブジェクトの視認性を向上させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の仮想オブジェクトの視認性を向上させる、請求項２に記載の情報処理装置。
  6. 　前記表示制御部は、前記第１の実物体の形状、大きさ、模様、または種別のうち少なくともいずれかに基づいて前記第１の仮想オブジェクトを表示させ、前記第２の実物体の形状、大きさ、または種別のうち少なくともいずれかに基づいて前記第２の仮想オブジェクトを表示させる、請求項１に記載の情報処理装置。
  7. 　前記ユーザにより前記操作対象物体として選択された実物体を用いた操作入力を受け付ける操作入力受付部をさらに備える、請求項１に記載の情報処理装置。
  8. 　前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力に関する情報を示す、請求項７に記載の情報処理装置。
  9. 　前記表示制御部が表示させる前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力を前記操作入力受付部が受け付け可能であることを示す仮想オブジェクトを含む、請求項８に記載の情報処理装置。
  10. 　前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力において、前記操作入力受付部が受け付け可能な操作方向を示す仮想オブジェクトを含む、請求項８に記載の情報処理装置。
  11. 　前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力において、前記操作入力受付部が受け付け可能な操作範囲を示す仮想オブジェクトを含む、請求項８に記載の情報処理装置。
  12. 　前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力における尺度を示す仮想オブジェクトを含む、請求項８に記載の情報処理装置。
  13. 　前記表示制御部が表示させる前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力において、前記操作入力受付部が受け付け可能な操作種別を示す仮想オブジェクトを含む、請求項８に記載の情報処理装置。
  14. 　前記表示制御部が表示させる前記第１の仮想オブジェクト、及び前記第２の仮想オブジェクトは、それぞれ前記第１の実物体、及び前記第２の実物体を用いた前記操作入力に対応する機能を示す仮想オブジェクトを含む請求項８に記載の情報処理装置。
  15. 　前記ユーザによる前記操作対象物体の選択に係る判定を行う判定部をさらに備え、
    　前記判定部は、前記ユーザが前記第１の実物体に触れた場合に、前記第１の実物体が前記操作対象物体として選択されたと判定し、前記ユーザが前記第２の実物体に触れた場合に、前記第２の実物体が前記操作対象物体として選択されたと判定する、請求項１に記載の情報処理装置。
  16. 　前記表示制御部は、透過型の表示部による表示を制御する、請求項１に記載の情報処理装置。
  17. 　操作対象物体の候補として認識された実空間に存在する第１の実物体と第２の実物体のうち、ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の実物体の位置に応じた前記実空間における第１の位置に、前記第１の実物体に対応する第１の仮想オブジェクトを表示させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の実物体の位置に応じた前記実空間における第２の位置に、前記第２の実物体に対応する第２の仮想オブジェクトを表示させるように、プロセッサが表示を制御すること、を含む情報処理方法。
  18. 　コンピュータに、
    　操作対象物体の候補として認識された実空間に存在する第１の実物体と第２の実物体のうち、ユーザにより前記第１の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第１の実物体の位置に応じた前記実空間における第１の位置に、前記第１の実物体に対応する第１の仮想オブジェクトを表示させ、前記ユーザにより前記第２の実物体が前記操作対象物体として選択された場合には、前記ユーザの選択に基づき、前記第２の実物体の位置に応じた前記実空間における第２の位置に、前記第２の実物体に対応する第２の仮想オブジェクトを表示させるように表示を制御する機能を実現させるための、プログラム。
PCT/JP2018/017505 2017-07-26 2018-05-02 情報処理装置、情報処理方法、及びプログラム WO2019021566A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/631,884 US20200143774A1 (en) 2017-07-26 2018-05-02 Information processing device, information processing method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-144310 2017-07-26
JP2017144310 2017-07-26

Publications (1)

Publication Number Publication Date
WO2019021566A1 true WO2019021566A1 (ja) 2019-01-31

Family

ID=65040473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017505 WO2019021566A1 (ja) 2017-07-26 2018-05-02 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US20200143774A1 (ja)
WO (1) WO2019021566A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831103A (zh) * 2019-04-23 2020-10-27 未来市股份有限公司 头戴式显示系统、相关方法以及相关计算机可读取存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11285368B2 (en) * 2018-03-13 2022-03-29 Vc Inc. Address direction guiding apparatus and method
US11069368B2 (en) * 2018-12-18 2021-07-20 Colquitt Partners, Ltd. Glasses with closed captioning, voice recognition, volume of speech detection, and translation capabilities
US20240303942A1 (en) * 2023-03-06 2024-09-12 Niantic, Inc. Asynchronous Shared Virtual Experiences

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014045683A1 (ja) * 2012-09-21 2014-03-27 ソニー株式会社 制御装置および記憶媒体
JP2016148968A (ja) * 2015-02-12 2016-08-18 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014045683A1 (ja) * 2012-09-21 2014-03-27 ソニー株式会社 制御装置および記憶媒体
JP2016148968A (ja) * 2015-02-12 2016-08-18 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831103A (zh) * 2019-04-23 2020-10-27 未来市股份有限公司 头戴式显示系统、相关方法以及相关计算机可读取存储介质
JP2020181545A (ja) * 2019-04-23 2020-11-05 未來市股▲ふん▼有限公司 現実環境における実在のオブジェクトに従って作られた仮想環境における仮想オブジェクトへ少なくとも１つの所定の対話特性を割り当てることが可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体
US11107293B2 (en) 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium

Also Published As

Publication number Publication date
US20200143774A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
US10635182B2 (en) Head mounted display device and control method for head mounted display device
CN108700982B (zh) 信息处理设备、信息处理方法以及程序
US20200202161A1 (en) Information processing apparatus, information processing method, and program
WO2019021566A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20150045257A (ko) 웨어러블 디바이스 및 그 제어 방법
CN112835445B (zh) 虚拟现实场景中的交互方法、装置及系统
WO2015073880A1 (en) Head-tracking based selection technique for head mounted displays (hmd)
KR20160056133A (ko) 이미지 표시 제어 방법 및 이를 지원하는 장치
CN111723602A (zh) 驾驶员的行为识别方法、装置、设备及存储介质
US11327317B2 (en) Information processing apparatus and information processing method
WO2019102680A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111415421B (zh) 虚拟物体控制方法、装置、存储介质及增强现实设备
US20200348749A1 (en) Information processing apparatus, information processing method, and program
WO2016088410A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019021573A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11908055B2 (en) Information processing device, information processing method, and recording medium
CN112882094B (zh) 初至波的获取方法、装置、计算机设备及存储介质
US11240482B2 (en) Information processing device, information processing method, and computer program
US20210232219A1 (en) Information processing apparatus, information processing method, and program
US20230196765A1 (en) Software-based user interface element analogues for physical device elements
JP2019053714A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18839162

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18839162

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP