WO2019031015A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019031015A1
WO2019031015A1 PCT/JP2018/018785 JP2018018785W WO2019031015A1 WO 2019031015 A1 WO2019031015 A1 WO 2019031015A1 JP 2018018785 W JP2018018785 W JP 2018018785W WO 2019031015 A1 WO2019031015 A1 WO 2019031015A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
information
display
boundary
shielding
Prior art date
Application number
PCT/JP2018/018785
Other languages
English (en)
French (fr)
Inventor
遼 深澤
浩丈 市川
広幸 安賀
敦 石原
真一 竹村
美和 市川
俊逸 小原
諒介 村田
賢次 杉原
真里 斎藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18844770.0A priority Critical patent/EP3667625A4/en
Priority to CN201880050503.6A priority patent/CN110998674B/zh
Priority to US16/635,585 priority patent/US11288869B2/en
Priority to JP2019535607A priority patent/JP7222351B2/ja
Publication of WO2019031015A1 publication Critical patent/WO2019031015A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • HMD head mounted display
  • the HMD has a display located in front of the user's eye when worn on the user's head, and displays, for example, a virtual object in front of the user.
  • the display may be transmissive or non-transmissive.
  • the transmissive HMD of the display the virtual object is superimposed and displayed on a real space that can be viewed through the display.
  • the user wearing the HMD causes the camera having the HMD to capture (sense) various gestures using a real object (for example, the user's own hand etc.), and the HMD is recognized by gesture recognition.
  • a real object for example, the user's own hand etc.
  • the virtual object when the virtual object is displayed superimposed on the real space, the virtual object is displayed by displaying the virtual object so that the boundary between the real object existing in the real space and the virtual object is appropriately represented. It is possible to make the user feel as if it exists in real space. However, for example, depending on the recognition result based on sensing of a real object, the boundary between the real object and the virtual object may not be appropriately represented, and the user may feel discomfort in displaying the virtual object.
  • an information processing device an information processing method, and a program that can reduce a sense of discomfort given to a user are proposed.
  • a shielding display indicating shielding of the virtual object by the real object is determined by the virtual object and the real object. Control to indicate a first boundary expression at a boundary between or near the boundary, and when the recognition information includes second recognition information different from the first recognition information, There is provided an information processing apparatus including a display control unit that performs control to show a second boundary representation different from the first boundary representation at the boundary or at a position near the boundary.
  • recognition information related to recognition based on sensing of a real object includes first recognition information
  • a shielding display indicating shielding of the virtual object by the real object, the virtual object and the real object Control to indicate a first boundary representation at or near the boundary between the two
  • the shielding display is displayed when the recognition information includes second recognition information different from the first recognition information
  • An information processing method including: controlling at a boundary position of the boundary or the boundary to indicate a second boundary expression different from the first boundary expression.
  • a shielding display indicating shielding of the virtual object by the real object is the virtual object Control is performed to indicate a first boundary representation at a boundary with the real object or in a position near the boundary, and the recognition information includes second recognition information different from the first recognition information.
  • a program is provided for realizing a function of controlling the shielding display at a position near the boundary or the boundary so as to indicate a second boundary expression different from the first boundary expression.
  • FIG. 1 is a diagram for describing an overview of an information processing apparatus 1 according to a first embodiment of the present disclosure. It is an explanatory view for explaining occlusion of a virtual object. It is an explanatory view for explaining an example of a display when accuracy concerning recognition is low. It is an explanatory view for explaining an example of a display in case movement speed of a real object is large. It is explanatory drawing for demonstrating the unnaturalness of the boundary between a virtual object and a real object. It is a block diagram showing an example of composition of information processor 1 concerning the embodiment. It is an explanatory view for explaining shielding of a virtual object using a shielding model by a display control part 127 concerning the embodiment.
  • FIG. 17 is a flowchart showing an operation example of the information processing apparatus 1-2 according to the embodiment. It is a timing chart figure concerning the embodiment. It is an explanatory view for explaining a modification concerning the embodiment. It is an explanatory view for explaining a modification concerning the embodiment. It is an explanatory view for explaining a flow from sensing to drawing when judgment of a precedence is performed. It is an explanatory view for explaining a flow from sensing to drawing when judgment of a precedence is omitted. It is explanatory drawing which shows the example of the interaction in which appropriate display is possible, even when determination of context is abbreviate
  • a plurality of components having substantially the same functional configuration may be distinguished by attaching different alphabets to the same reference numerals.
  • the same reference numerals when it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numerals will be given.
  • FIG. 1 is a diagram for explaining an outline of an information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 according to the present embodiment is realized by, for example, a glasses-type head mounted display (HMD) mounted on the head of the user U.
  • the display unit 13 corresponding to the spectacle lens portion positioned in front of the user U at the time of wearing may be transmissive or non-transmissive.
  • the transmissive display unit 13 described here is defined as a display unit having optical transparency.
  • the information processing apparatus 1 can present a virtual object within the field of view of the user U by displaying the virtual object on the display unit 13.
  • HMD which is an example of the information processing apparatus 1 is not limited to what presents an image to both eyes, and may present an image only to one eye.
  • the HMD may be of one eye type provided with a display unit 13 for presenting an image to one eye.
  • the information processing apparatus 1 is provided with an outward camera 110 that captures the direction of the line of sight of the user U, that is, the field of view of the user at the time of wearing. Furthermore, although not illustrated in FIG. 1, even if the information processing apparatus 1 is provided with various sensors such as an inward camera and a microphone (hereinafter, referred to as a “microphone”) that captures an eye of the user U when worn. Good.
  • a plurality of outward cameras 110 and a plurality of inward cameras may be provided.
  • the shape of the information processing apparatus 1 is not limited to the example shown in FIG.
  • the information processing apparatus 1 is a headband type (a type mounted with a band that goes around the entire circumference of the head. There may be a band that passes not only the side but also the top of the head). It may be an HMD (the visor portion of the helmet corresponds to the display).
  • the virtual object displayed on the display unit 13 is viewed by the user overlapping the real space.
  • the arrangement, the shape, the color, etc. of the virtual object may be controlled based on the information of the real space obtained by photographing with the outward camera 110 It is possible.
  • the display unit 13 for displaying the virtual object is located in front of the user's eyes, so the virtual object is displayed in real space as if the real object exists between the virtual object and the user's eyes. It is desirable to appropriately shield a part of the virtual object displayed on the display unit 13 when arranging in
  • FIG. 2 is an explanatory diagram for describing shielding of a virtual object. It is assumed that the display unit 13 displays a virtual object V101 as shown in FIG. When the virtual object V101 is displayed on the display unit 13 as it is, since the display unit 13 is positioned in front of the user's eyes as described above, the user's hand as a real object existing between the virtual object V101 and the user's eyes The virtual object V101 may be viewed by the user so as to cover the H101. In such a case, the user does not know whether the virtual object V101 exists on the near side (the eye side of the user) of the hand H101 or on the far side, and gives the user a sense of discomfort.
  • the near side the eye side of the user
  • an area overlapping with the hand H101 and viewed by the user is shielded.
  • recognition of a hand area existing on the near side (user's eye side) of the virtual object V101 is performed.
  • a recognition result R101 is obtained.
  • the hand region recognition result R101 shown in FIG. 2 indicates a region recognized as a real object in which the white hand region HR101 is present in front of the virtual object V101.
  • drawing is performed so as to shield the virtual object V101 using the hand area recognition result R101, a drawing result D101 is obtained.
  • the white area indicates an area not to be drawn
  • the portion of the shielding area CR101 corresponding to the hand area HR101 is shielded to draw the virtual object area VR101, and the shielding area CR101.
  • the virtual object is not drawn on.
  • the field of view of the user through the display unit 13 becomes like the field of view F101 shown in FIG.
  • the positional relationship between the virtual object V101 and the hand H101 can be appropriately understood by the user.
  • the user's own hand used for the operation has been described as an example of a real object, but the same process can be performed on real objects other than hands and real objects other than real objects used for the operation. It is possible to appropriately present the positional relationship between the real object and the virtual object to the user.
  • the boundary between the real object and the virtual object may not be appropriately represented, and the user may feel uncomfortable with the display of the virtual object.
  • the boundary between the virtual object and the virtual object may not be appropriately expressed, and the user may feel discomfort in displaying the virtual object.
  • FIG. 3 is an explanatory diagram for explaining a display example in the case where the accuracy of recognition is low.
  • the accuracy of the hand region recognition result R102 obtained as a result of recognition based on the sensing of the hand H102 is lower than the accuracy of the hand region recognition result R101 shown in FIG.
  • Noise is included.
  • the accuracy of recognition decreases depending on, for example, the brightness of the surrounding environment or the distance between the real object and the outward camera 110, and for example, the boundary is jagged or uneven. And noise may occur.
  • the boundary between the real object and the virtual object is not appropriately represented, and the user may feel discomfort in displaying the virtual object.
  • the boundary between the real object and the virtual object may not be properly represented.
  • FIG. 4 is an explanatory diagram for explaining a display example when the moving speed of the real object is large.
  • a drawing result D103 including the virtual object region VR103 shielded by the shielding region CR103 is obtained.
  • the position of the hand H103 may move largely while the process relating to the above recognition and drawing is performed.
  • the hand H103 has moved significantly from the position at the sensing time, and the boundary between the virtual object V103 and the user's hand H102 in the field of view F103 of the user. Has become unnatural.
  • the user may feel discomfort at the boundary between the virtual object V103 and the user's hand H103 which is a real object.
  • the visual field F102 of the user affected by the noise accompanying the decrease in recognition accuracy as shown in FIG. 3 and the visual field F103 of the user affected by the movement of the hand H103 as shown in FIG.
  • the first point is that a virtual object can be seen in an area where the user's hand (real object) should be seen.
  • the second point is that nothing is displayed in the area where the virtual object should be seen originally, and the real space of the background can be seen.
  • the discomfort of the two points will be specifically described with reference to FIG. 5 by taking the case of the field of view F103 of the user shown in FIG. 4 as an example.
  • FIG. 5 is an explanatory diagram for explaining the unnaturalness of the boundary between the virtual object V103 and the user's hand H103 in the field of view F103 of the user shown in FIG.
  • FIG. 5 shows an image diagram IF103 obtained by dividing the region for explanation into the field of view F103 of the user shown in FIG.
  • the area HV103 and the area VH103 are shown by different hatching expressions.
  • a region HV103 indicates a region in which the virtual object V103 has been viewed despite the fact that the user's hand H103 should have been viewed.
  • a region VH103 indicates a region in which the real space of the background is visible although the virtual object V103 should normally be seen.
  • FIG. 5 shows the region HV103 and the region VH103 by taking the field of view F103 of the user shown in FIG. 4 as an example, in the field of view F102 of the user shown in FIG.
  • the information processing apparatus 1 controls the display so that the boundary expression between the virtual object and the real object is different according to the recognition information related to the recognition based on the sensing of the real object. , Reduce the discomfort given to the user.
  • the information processing apparatus 1 according to the present embodiment having such an effect will be described in more detail.
  • FIG. 6 is a block diagram showing a configuration example of the information processing device 1 according to the present embodiment.
  • the information processing apparatus 1 includes a sensor unit 11, a control unit 12, a display unit 13, a speaker 14, a communication unit 15, an operation input unit 16, and a storage unit 17.
  • the sensor unit 11 has a function of acquiring (sensing) various information related to the user or the surrounding environment.
  • the sensor unit 11 includes an outward camera 110, an inward camera 111, a microphone 112, a gyro sensor 113, an acceleration sensor 114, an azimuth sensor 115, a position measurement unit 116, and a living body sensor 117.
  • the specific example of the sensor part 11 mentioned here is an example, and this embodiment is not limited to this.
  • each sensor may be plural.
  • the outward camera 110 and the inward camera 111 are obtained by a lens system including an imaging lens, an aperture, a zoom lens, a focus lens, etc., a drive system for performing a focus operation and a zoom operation on the lens system, and a lens system.
  • the imaging light is photoelectrically converted to generate an imaging signal.
  • the solid-state imaging device array may be realized by, for example, a charge coupled device (CCD) sensor array or a complementary metal oxide semiconductor (CMOS) sensor array.
  • the angle of view and the direction of the outward camera 110 be set so as to capture an area corresponding to the field of view of the user in the real space.
  • a plurality of outward cameras 110 may be provided.
  • the outward camera 110 may include a depth camera capable of acquiring a depth map by sensing.
  • the microphone 112 picks up the user's voice and the surrounding environmental sound, and outputs it to the control unit 12 as voice data.
  • the gyro sensor 113 is realized by, for example, a three-axis gyro sensor, and detects an angular velocity (rotational speed).
  • the acceleration sensor 114 is realized by, for example, a 3-axis acceleration sensor (also referred to as a G sensor), and detects an acceleration at the time of movement.
  • a 3-axis acceleration sensor also referred to as a G sensor
  • the azimuth sensor 115 is realized by, for example, a three-axis geomagnetic sensor (compass), and detects an absolute direction (azimuth).
  • the position measurement unit 116 has a function of detecting the current position of the information processing device 1 based on an externally obtained signal.
  • the position positioning unit 116 is realized by a GPS (Global Positioning System) positioning unit, receives radio waves from GPS satellites, and detects and detects the position where the information processing apparatus 1 is present. The position information is output to the control unit 12. Further, the position measurement unit 116 detects the position by transmission / reception with, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), mobile phone, PHS, smart phone, etc. in addition to GPS, or by short distance communication, etc. It may be.
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • mobile phone PHS
  • smart phone smart phone
  • the biometric sensor 117 detects biometric information of the user. Specifically, for example, heart rate, body temperature, sweating, blood pressure, pulse, breathing, blink, eye movement, fixation time, size of pupil diameter, blood pressure, brain wave, body movement, body position, skin temperature, skin electrical resistance, MV (Micro vibration), myoelectric potential, or SPO2 (blood oxygen saturation) etc. can be detected.
  • biometric information of the user Specifically, for example, heart rate, body temperature, sweating, blood pressure, pulse, breathing, blink, eye movement, fixation time, size of pupil diameter, blood pressure, brain wave, body movement, body position, skin temperature, skin electrical resistance, MV (Micro vibration), myoelectric potential, or SPO2 (blood oxygen saturation) etc.
  • Control unit 12 The control unit 12 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 1 according to various programs. Further, as shown in FIG. 6, the control unit 12 according to the present embodiment functions as a recognition unit 120 and a display control unit 127.
  • the recognition unit 120 has a function of performing recognition (including detection) of information on the user or information on the surrounding situation based on various types of sensor information sensed by the sensor unit 11.
  • the recognition unit 120 can recognize various information.
  • the recognition unit 120 three-dimensionally displays the real space around the user based on a captured image obtained by imaging (an example of sensing) of the outward camera 110. It may be recognized and further recognition may be performed on a real object existing in real space.
  • the outward facing camera 110 includes a plurality of cameras
  • three-dimensional recognition in real space uses a depth map obtained by performing stereo matching on a plurality of captured images obtained by the plurality of cameras. May be performed.
  • three-dimensional recognition of the real space may be performed by associating feature points detected from a captured image between frames based on a time-series captured image.
  • the outward camera 110 includes a depth camera
  • three-dimensional recognition of the real space may be performed based on a distance image obtained by sensing by the depth camera.
  • the recognition unit 120 can recognize various information, but in particular, the recognition unit 120 according to the present embodiment has functions as the movement recognition unit 121, the shape recognition unit 123, and the accuracy information acquisition unit 125.
  • the movement recognition unit 121 performs movement recognition on the movement of the real object based on sensing of the real object. For example, the movement recognition unit 121 may recognize the movement of the center of gravity of the real object and the posture based on the captured image obtained by sensing the real object.
  • the movement recognition unit 121 recognizes movement of the recognized center-of-gravity position and posture between frames, and displays information on the movement speed of a real object specified by movement recognition as recognition information related to movement recognition. It is provided to the control unit 127.
  • the shape recognition unit 123 performs shape recognition that recognizes a three-dimensional shape of a real object based on sensing of the real object. Further, the shape recognition unit 123 may recognize the position and the posture of the real object simultaneously with the shape recognition. The movement recognition unit 121 and the shape recognition unit 123 according to the present embodiment may share information regarding the recognition of the position and the posture, and the result recognized by either one may be provided to the other. For example, the movement recognition unit 121 may recognize movement of the real object based on the position and attitude of the real object recognized by the shape recognition unit 123.
  • the shape recognition unit 123 generates a three-dimensional model represented by a series of three-dimensional vertices and sides based on the recognized three-dimensional shape of the real object, and provides the display control unit 127 as shape information. As described later, the three-dimensional model of the real object generated by the shape recognition unit 123 is used by the display control unit 127 for drawing so as to shield the virtual object. Therefore, in the following, such a three-dimensional model may be referred to as a shielding model.
  • the shape recognition unit 123 predicts the change (movement) of the three-dimensional shape of the real object based on the time-series change of the sensing data (for example, the captured image and the distance image) acquired by the outward camera 110. May be Then, the shape recognition unit 123 may correct the three-dimensional shape of the real object based on the prediction, and generate a corrected three-dimensional model. For example, the shape recognition unit 123 performs the correction in consideration of the processing time required for the recognition of the recognition unit 120, the drawing of the display control unit 127, etc. Can generate a three-dimensional model. According to such a configuration, by performing display based on the corrected three-dimensional model, it is possible to reduce the discomfort caused by the movement of the real object as described with reference to FIGS. 4 and 5.
  • the movement of the finger is not quicker than the movement of the entire hand, so such a prediction is likely to occur when only the finger is moving, and the sense of discomfort associated with the movement of the finger It is possible to reduce.
  • the entire hand is moving at a high speed, the following processing based on the movement information acquired by the movement recognition unit 121 can reduce discomfort caused by the movement of the entire hand. In addition, it is rare to move both hands and fingers simultaneously at high speed.
  • the accuracy information acquisition unit 125 acquires information of recognition accuracy related to shape recognition by the shape recognition unit 123.
  • the accuracy information acquisition unit 125 may be a reliability in recognition performed by the shape recognition unit 123, a reliability, an error, or a reliability related to sensing data estimated from sensing data acquired by the sensor unit 11 including the outward camera 110.
  • the recognition accuracy may be acquired by specifying the recognition accuracy based on the accuracy.
  • the shape recognition unit 123 when the shape recognition unit 123 performs shape recognition based on a depth map obtained by stereo matching, information on the matching accuracy in stereo matching may be used as the reliability to specify information on the recognition accuracy.
  • the outward camera 110 includes a depth camera
  • information of recognition accuracy may be acquired based on the reliability of sensing data output from the depth camera.
  • the error and accuracy of sensing data can be estimated in various ways.
  • the accuracy information acquisition unit 125 calculates the variance of sensing data for a predetermined period of time in the past, and estimates that the error is large (the accuracy is low) when the variance is large or when the variance changes significantly. You may By acquiring information of recognition accuracy based on an error or accuracy of sensing data, the recognition accuracy will reflect the accuracy of recognition as a result.
  • the reliability, the error or the accuracy described above may be used alone or in combination to specify the recognition accuracy.
  • the method of specifying the recognition accuracy by the accuracy information acquisition unit 125 is not limited to the above, and may be specified by various methods according to the obtained sensing data or the recognition method performed by the recognition unit 120.
  • the accuracy information acquisition unit 125 provides the acquired information on the recognition accuracy to the display control unit 127 as recognition information related to shape recognition.
  • the display control unit 127 controls the display of the display unit 13. For example, the display control unit 127 causes the display unit 13 to display a virtual object so that the virtual object can be viewed simultaneously with the real space.
  • the display control unit 127 may acquire information related to a virtual object from, for example, the storage unit 17 or may acquire it from another device via the communication unit 15.
  • the display control unit 127 uses the shielding model, which is an example of the shape information obtained by the shape recognition of the shape recognition unit 123, Control the display so that shielding takes place.
  • FIG. 7 is an explanatory diagram for describing shielding of a virtual object using the shielding model by the display control unit 127.
  • the display control unit 127 arranges the virtual object V104 and the shielding model CM104 in a three-dimensional virtual space VS104 as shown in FIG. Further, the display control unit 127 obtains a two-dimensional drawing result D104 by performing drawing with the virtual viewpoint VC which is a virtual camera in the virtual space VS104.
  • the drawing result D104 includes a virtual object area VR104 and an occlusion model area CMR104.
  • the display control unit 127 controls the display of the display unit 13 so that nothing is displayed in the shielding model region CMR 104, for example, by setting the shielding model region CMR 104 as the shielding region described with reference to FIG. Shield With such a configuration, it is possible to realize a display in which the positional relationship between the virtual object and the real object as described with reference to FIG.
  • the display control unit 127 controls the display of the display unit 13 so that the boundary expression between the virtual object and the real object is different according to recognition information related to recognition based on sensing of the real object.
  • the recognition information used by the display control unit 127 is, as described above, the information on the moving speed of the real object provided from the movement recognition unit 121, and the recognition accuracy for shape recognition provided from the accuracy information acquisition unit 125. It may contain information. Further, the recognition information may be regarded as including the first recognition information or second recognition information different from the first recognition information according to the recognition based on the sensing of the real object.
  • the boundary representation means a representation on the boundary between a real object and a virtual object in the field of view of the user, or a representation on the position near the boundary (boundary region) of the boundary.
  • changing the boundary expression or changing the boundary expression includes not displaying in addition to changing the display format and the like.
  • “differentiating boundary representation” is considered as one of the first boundary representation and the second boundary representation different from the first boundary representation. It is also good.
  • changing the boundary expression may be regarded as changing the boundary expression between the first boundary expression and the second boundary expression.
  • the boundary representation may be viewed as a representation for an occlusion indication that indicates occlusion of a virtual object by a real object.
  • FIG. 8 is an explanatory diagram for describing an example of processing that may be performed in a three-dimensional virtual space in order to make boundary representation different.
  • FIG. 9 is an explanatory diagram for describing an example of processing that may be performed on a two-dimensional drawing result in order to make boundary representation different.
  • FIG. 10 is a table summarizing processing that may be performed to differentiate the boundary representation.
  • the display control unit 127 may perform the process on the entire shielding model CM 105 on the shielding side in the three-dimensional virtual space VS 105 illustrated in FIG.
  • the display control unit 127 may make the boundary representation different by changing the color of the entire shielding model CM 105 from the color for shielding to a color closer to a real object (for example, a hand).
  • processing on the entire shielding model in such a three-dimensional virtual space may be called processing 3D-CA as shown in FIG.
  • the display control unit 127 may perform processing on a part of the shielding model CM 105 in the three-dimensional virtual space VS 105 illustrated in FIG. 8 in order to make the boundary representation different.
  • the display control unit 127 may make the boundary representation different by increasing the transparency of the contour portion CMP 105 of the shielding model CM 105.
  • the display control unit 127 may make the boundary representation different by expanding the outline portion CMP 105 of the shielding model CM 105.
  • the display control unit 127 may make the boundary expression different by adding an effect display (hereinafter, may be simply referred to as an effect) to the contour portion CMP 105 of the shielding model CM 105.
  • processing on a part of the shielding model in such a three-dimensional virtual space may be called processing 3D-C-P, as shown in FIG.
  • the display control unit 127 may perform processing on the entire virtual object V105 on the side to be shielded in the three-dimensional virtual space VS105 illustrated in FIG. 8 in order to make the boundary representation different.
  • the display control unit 127 may make the boundary representation different by reducing the luminance of the entire virtual object V105.
  • processing 3D-VA the processing for the entire virtual object in such a three-dimensional virtual space may be referred to as processing 3D-VA as shown in FIG.
  • the display control unit 127 may perform processing on part of the virtual object V105 in the three-dimensional virtual space VS105 illustrated in FIG. 8 in order to make the boundary representation different.
  • the display control unit 127 may make the boundary representation different by setting a shadow VP 105 close to the color of a real object (for example, a hand) to a part of the virtual object V 105.
  • processing on a part of a virtual object in such a three-dimensional virtual space may be called processing 3D-V-P as shown in FIG.
  • the display control unit 127 may perform processing on the entire shielding model area CMR 105 on the shielding side in the two-dimensional drawing result D105 shown in FIG. 9 in order to make the boundary expression different.
  • the display control unit 127 may make the boundary representation different by changing the color of the entire shielding model area CMR 105 from the color for shielding to a color closer to a real object (for example, a hand).
  • processing on the entire shielding model area in such a two-dimensional drawing result may be called processing 2D-C-A as shown in FIG.
  • the display control unit 127 may perform processing on a part of the shielding model area CMR 105 in the two-dimensional drawing result D105 shown in FIG. 9 in order to make the boundary expression different.
  • the display control unit 127 may make the boundary representation different by increasing or blurring the transparency of the outline portion CMP 105 of the shielding model area CMR 105 or by blending.
  • processing on a part of the shielding model area in such a two-dimensional drawing result may be called processing 2D-C-P as shown in FIG.
  • the display control unit 127 may perform the process on the entire virtual object region VR105 on the side to be shielded in the two-dimensional drawing result D105 shown in FIG. 9 in order to make the boundary expression different.
  • the display control unit 127 may make the boundary representation different by reducing the luminance of the entire virtual object region VR105.
  • processing on the entire virtual object area in such a two-dimensional drawing result may be called processing 2D-V-A as shown in FIG.
  • the display control unit 127 may perform processing on a part of the virtual object region VR105 in the two-dimensional drawing result D105 shown in FIG. 9 in order to make the boundary representation different.
  • the display control unit 127 may make the boundary representation different by bringing only the near region VRP 105 of the boundary with the shielding model region CMR 105 in the virtual object region VR 105 closer to the color of the real object (for example, a hand).
  • processing on a part of a virtual object area in such a two-dimensional drawing result may be called processing 2D-V-P as shown in FIG.
  • the above-described eight processes 3D-C-A, 3D-C-P, 3D-V-A, 3D-V-P, 2D-C-A, and 2D-C performed by the display control unit 127 described above are performed.
  • the CP, the process 2D-V-A, and the process 2D-V-P may be performed alone or in combination.
  • the display control unit 127 can make the boundary representation different in various ways by performing the above-described processing alone or in combination.
  • the display control unit 127 draws the image to be displayed on the display unit 13 by performing the above-described process alone or in combination, and causes the display unit 13 to display the drawn image.
  • the display unit 13 is realized by, for example, a lens unit (an example of a transmissive display unit) that performs display using a hologram optical technology, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or the like.
  • the display unit 13 may be transmissive, semi-transmissive or non-transmissive.
  • the speaker 14 reproduces an audio signal according to the control of the control unit 12.
  • the communication unit 15 is a communication module for transmitting and receiving data to and from another device by wired or wireless communication.
  • the communication unit 15 is, for example, a wired LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity (registered trademark), infrared communication, Bluetooth (registered trademark), short distance / non-contact communication, etc. Communicate directly with or wirelessly through a network access point.
  • the operation input unit 16 is realized by an operation member having a physical structure such as a switch, a button, or a lever.
  • the storage unit 17 stores programs and parameters for the control unit 12 to execute each function.
  • the storage unit 17 may store information on a virtual object to be displayed by the display control unit 127.
  • the configuration of the information processing apparatus 1 according to the present embodiment has been specifically described above, but the configuration of the information processing apparatus 1 according to the present embodiment is not limited to the example illustrated in FIG.
  • the configuration of the information processing apparatus 1 according to the present embodiment is not limited to the example illustrated in FIG.
  • at least a part of the functions of the control unit 12 of the information processing device 1 may exist in another device connected via the communication unit 15.
  • FIG. 11 is a flowchart showing an operation example of the information processing apparatus 1 according to the present embodiment.
  • the outward camera 110 of the sensor unit 11 performs sensing (for example, imaging) of a real object (S100).
  • the movement recognition unit 121 of the recognition unit 120 of the control unit 12 performs movement recognition related to the movement of the real object based on the result of sensing performed in step S100, and specifies, for example, information on movement speed (S110) ).
  • the shape recognition unit 123 of the recognition unit 120 recognizes the shape of the real object based on the sensing result performed in step S100, and generates a shielding model (S120). Subsequently, the accuracy information acquisition unit 125 of the recognition unit 120 acquires information of recognition accuracy related to shape recognition of the shape recognition unit 123 (S130).
  • the display control unit 127 acquires information on a virtual object to be displayed (S140).
  • the display control unit 127 specifies the virtual object to be displayed based on the recognition result of the recognition unit 120
  • the display control unit 127 may acquire information of the specified virtual object.
  • the display control unit 127 performs the boundary representation based on the information on the moving speed identified in step S110 (an example of recognition information) and the information on the recognition accuracy identified in step S130 (an example of recognition information). It determines (S150). Note that specific examples of the boundary expression determined here will be described later with reference to FIGS. 12 to 23.
  • the display control unit 127 draws an image to be displayed on the display unit 13 according to the display control method according to the boundary expression determined in step S150 (S160). Further, under the control of the display control unit 127, the display unit 13 displays the image (S170).
  • step S110 and step S120 to S130 may be reversed, and the process of step S110 and step S120 to S130 may be performed in parallel.
  • the display control unit 127 performs boundary representation by expanding (expanding or reducing) the occluded region according to the recognition information (information of recognition accuracy or information of moving speed).
  • the recognition information information of recognition accuracy or information of moving speed.
  • the display control unit 127 may control the display so that the shielding area related to the shielding is expanded, for example, when the recognition accuracy is low, according to the information of the recognition accuracy (an example of the recognition information). That is, when the recognition information is different, the display control unit 127 may be considered to control display such that the shielding area has a different size.
  • drawing is performed so as to shield the virtual object V111 using the expanded hand area recognition result DR111 including the expanded hand area DHR111 obtained by expanding the hand area HR111
  • drawing is performed.
  • the result D111 is obtained.
  • the shielding area CR111 in the drawing result D111 is expanded as compared with the shielding area CR102 shown in FIG.
  • the field of view of the user becomes like a field of view F111.
  • the influence of noise is suppressed as compared with the field of view F103 shown in FIG. 3, and as a result, the sense of incongruity given to the user regarding the boundary between the virtual object V111 and the user's hand H111 as a real object. Is reduced.
  • the display control unit 127 may control display according to information (an example of recognition information) of the moving speed of the real object, for example, when the moving speed is high, so as to expand the shielding area related to the shielding. Since the flow of processing in this case is the same as the example described with reference to FIG. 12, the detailed flow of processing will not be described, and effects obtained as a result will be described with reference to FIG. .
  • FIG. 13 shows an image diagram IF112 in which the area division for explanation is performed on the field of view F112.
  • the image view IF112 in the field of view F112, there is a region VH112 in which the real space of the background is visible although the virtual object V112 should normally be seen.
  • the field of view F112 there is no area where the virtual object V112 can be seen although the user's hand H112 should normally be seen, such as the HV 103 shown in FIG.
  • the sense of discomfort given to the user is reduced.
  • the display control unit 127 may make the degree of expansion of the shielding area (an example of the strength related to the expression change) different according to the recognition information (for example, the information of the recognition accuracy or the information of the moving speed). For example, the display control unit 127 may control the display such that the shielded area is more expanded as the recognition accuracy is lower. In addition, the display control unit 127 may control the display such that the shielding area is expanded more as the moving speed is higher.
  • the display control unit 127 may control display so as to approximate the shielding area in a predetermined shape such as a rectangle or an ellipse instead of expanding the shielding area. For example, by making the approximate shape larger than the shielding area, it is possible to obtain the same effect as described above.
  • the display control unit 127 may fade the part related to the expansion of the expanded shielding area. An example related to this will be described with reference to FIG. Also in the example shown in FIG. 14, the accuracy of the hand region recognition result R113 is low, and noise is included in the boundary of the hand region HR113.
  • drawing is performed so as to shield the virtual object V113 using the extended hand area recognition result DR113 including the extended hand area DHR113 obtained by expanding the hand area HR113, and the drawing result D113 is can get.
  • the extended hand area DHR 113 is expanded so as to fade the part related to the expansion.
  • the shielding region CR113 in the drawing result D113 the part related to the expansion is faded.
  • the field of view of the user becomes like a field of view F113.
  • the field of view F113 the area near the boundary between the virtual object V113 and the user's hand H113 which is a real object is faded, and the sense of discomfort given to the user is further reduced.
  • the display control unit 127 may control the display so that the area corresponding to the recognition information in the shielded area is expanded or reduced.
  • the display control unit 127 recognizes the shielding area.
  • the display may be controlled so that the area corresponding to the low precision portion is expanded. An example related to this will be specifically described with reference to FIG.
  • the display control unit 127 controls the display so that the area corresponding to the portion with low recognition accuracy in the shielded area is expanded,
  • the field of view of the user is like field of view F114.
  • the virtual object V114 should normally be seen, the area where the real space of the background is visible is only the extended partial area FR114 according to the part with low recognition accuracy.
  • the boundary between the virtual object V114 and the hand H115 other than the extended partial region FR114 is represented with high accuracy. Therefore, with such a configuration, the discomfort given to the user is further reduced.
  • the display control unit 127 fades the portion related to the expansion as in the example described with reference to FIG. 14. Good.
  • the display control unit 127 expands the area corresponding to the portion with low recognition accuracy in the shielding area, and the portion related to the expansion is
  • the display is controlled to be faded, the field of view of the user becomes like a field of view F115.
  • the field of view F115 since the extended partial area FR115 is faded in accordance with the portion with low recognition accuracy, the sense of discomfort given to the user is further reduced compared to the example of the field of view F114.
  • the display control unit 127 The display may be controlled such that the area corresponding to the large part is expanded.
  • the above-mentioned expansion and contraction of the shielding area can be realized by the processing described with reference to FIGS. 8 to 10, for example.
  • the above-mentioned expansion and contraction of the shielding area can be realized by appropriately combining the processing 3D-C-P, the processing 2D-C-P, and the processing 2D-V-P in FIG.
  • the display control unit 127 adds (superimposes) an effect in the vicinity of the boundary related to shielding in accordance with the recognition information (information of recognition accuracy or information of moving speed).
  • the boundary representation is made different by controlling the display as described above.
  • the vicinity of the boundary related to shielding may be, for example, the vicinity of the boundary between the shielding region and the virtual object region described with reference to FIG.
  • the vicinity of the boundary related to the shielding may be the contour portion of the shielding model described with reference to FIGS. 8 and 9 or the vicinity of the boundary between the shielding model region and the virtual object region.
  • FIGS. 16 to 22 are explanatory diagrams for describing a second specific example of boundary representation.
  • the accuracy of the hand area recognition result R121 is low and noise is included in the boundary of the hand area HR121, as in the example described with reference to FIG. Therefore, the display control unit 127 controls the display so that the effect E121 is added in the vicinity of the boundary related to the shielding, for example, when the recognition accuracy is low, according to the information of the recognition accuracy (an example of the recognition information).
  • the effect E121 may be a glowing effect such as glow.
  • the display control unit 127 performs drawing so that the virtual object V121 is shielded using the hand area recognition result R121, and the effect E121 is added near the boundary related to the shielding.
  • a drawing result D121 is obtained.
  • an effect area ER121 exists between the shielding area CR121 and the virtual object area VR121.
  • the field of view of the user becomes like a field of view F121.
  • the addition of the effect E121 suppresses the influence of noise as compared with the field of view F103 shown in FIG. As a result, the uncomfortable feeling given to the user regarding the boundary between the virtual object V121 and the user's hand H121 which is a real object is reduced.
  • the display control unit 127 performs the display control according to the information of the recognition accuracy.
  • the display control unit 127 controls the display so that an effect is added in the vicinity of the border related to the shielding, for example, when the moving speed is high according to the information (an example of recognition information) of the moving speed of the real object.
  • FIG. 17 shows an image diagram IF 122 in which a thin line and a broken line for explanation are added to the field of view F 127.
  • Thin lines shown in the image view IF 122 indicate boundaries of the virtual object V 122 when no effect is applied.
  • the broken line shown in the image diagram IF122 indicates the boundary of the hand H122 which is a real object hidden by the effect E122.
  • the image view IF122 in the field of view F122, there is no region where the real space of the background can be seen, although the virtual object V122 should normally be seen, such as the VH 103 shown in FIG. Further, according to the image diagram IF 122, there is no region where the virtual object V112 has been seen although the user's hand H112 should have been seen originally, such as the HV 103 shown in FIG. Compared to the example described with reference to FIGS. 4 and 5, the effect E122 is added and displayed on both the outside and the inside of the shielding boundary so as to cover both of these areas. The discomfort is reduced.
  • the display control unit 127 may make the intensity of the effect (an example of the intensity relating to the expression change) different according to the recognition information (for example, the information of the recognition accuracy or the information of the moving speed).
  • the intensity of the effect may include the width of the range of the effect, or the size of the brightness (or lightness) of the effect.
  • An example of the strength of the effect will be described with reference to FIG.
  • no effect is added near the boundary between the hand H123 and the virtual object V123.
  • the example of the field of view F124 shown in FIG. 18 is an example where the intensity of the effect is made larger than the example of the field of view F123.
  • the effect E124 is added in the vicinity of the boundary between the hand H124 and the virtual object V124.
  • the example of the field of view F125 shown in FIG. 18 is an example where the intensity of the effect is made larger than the example of the field of view F124.
  • the effect E125 is added in a wider range than the effect E124.
  • the effect E125 is not only expanded outward, but in addition to the vicinity of the boundary between the hand H125 and the virtual object V125, the effect E125 is added to the entire hand H125. This is because if the effect to the inside is expanded, the hand H125 may be difficult to see, so adding it to the entire hand H125 looks like a user interface (UI) for operation and is easy to see, for example. .
  • UI user interface
  • the transition of the intensity of the effect as shown in FIG. 18 may be performed according to, for example, the level of recognition accuracy or the size of the moving speed.
  • the display control unit 127 may control the effect display such that the lower the recognition accuracy, the stronger the intensity.
  • the display control unit 127 may control the effect display so that the stronger the moving speed, the stronger the display.
  • the display control unit 127 may control display so that an effect is added at a position according to the recognition information. For example, when the information on the recognition accuracy provided by the accuracy information acquisition unit 125 includes information on a portion with low recognition accuracy, the display control unit 127 adds an effect near the boundary of the portion with low recognition accuracy. The display may be controlled as it is. In addition, when the information on the moving speed provided by the movement recognition unit 121 includes information on a portion with a high moving speed, the display control unit 127 adds an effect in the vicinity of the boundary of the portion with low recognition accuracy. You may control the display to
  • the addition of the effects described with reference to FIGS. 15 to 18 can be realized by the processing described with reference to FIGS. 8 to 10, for example.
  • the addition of the effect to the vicinity of the boundary related to the shielding can be realized by appropriately combining the processes 3D-C-P, 2D-C-P, and 2D-V-P in FIG.
  • the addition of the effect to the entire real object described with reference to FIG. 18 can be performed by processes 3D-C-A, 3D-C-P, 2D-C-A, and 2D-C-P in FIG.
  • processing 2D-V-P can be realized by combining them as appropriate.
  • the effects added by the display control unit 127 may be various. Some examples of effects are described below.
  • the boundary between the user's hand H131 and the virtual object V131 is not appropriately represented.
  • a glowing effect E132 such as glow is added near the boundary relating to the shielding.
  • the effect E132 is added so that the entire outline of the hand H132 is covered, but this can be realized, for example, by the process 3D-C-P in FIG.
  • the effect E 132 may have a strength change such as a motion blur, based on, for example, the result of the change (movement) of the three-dimensional shape predicted by the shape recognition unit 123.
  • the strength of the effect E 132 may change between the start position of the predicted change and the end position of the predicted change.
  • the addition of the effect E 132 having a strength change like a motion blur alleviates the sense of discomfort to the user regarding the boundary between the user's hand H 132 and the virtual object V 132.
  • a glowing effect E133 such as glow is added in the vicinity of the boundary relating to the shielding.
  • the effect E132 is added to the vicinity of the boundary between the hand H133 and the virtual object V133.
  • Such display control can be realized, for example, by appropriately combining the processing 3D-C-P, the processing 2D-C-P, and the processing 2D-V-P in FIG.
  • the effect E133 has a strength change like a motion blur based on the result of the change (movement) of the three-dimensional shape predicted by the shape recognition unit 123. It is also good. Also when such an effect E133 is added, the sense of incongruity given to the user is reduced with respect to the boundary between the user's hand H133 and the virtual object V133.
  • the color of the effect E 132 or the effect E 133 it is possible to set the color of the effect E 132 or the effect E 133 to a color close to the color of a real object (for example, a hand) or a color close to the color of a virtual object .
  • the effect may or may not have an intensity change like a motion blur. According to such a configuration, the sense of incongruity given to the user is further reduced with respect to the boundary between the real object and the virtual object.
  • the display control unit 127 may control the display such that an effect that blurs the vicinity of the border related to the shielding is added.
  • Such display control can be realized, for example, by appropriately combining the processing 3D-C-P, the processing 2D-C-P, and the processing 2D-V-P in FIG.
  • the display control may be performed even if part of the real object is behind the virtual object.
  • the unit 127 can add an effect. Such a case will be described with reference to FIGS. 21 and 22.
  • the entire finger H141 that is a real object is present in front of the virtual object V141.
  • the field of view of the user is as shown by the field of view F142 shown in FIG. Is desirable.
  • the display control unit 127 performs display control such that the real object collides with the virtual object, and that the finger H142 collides with the virtual object V142 partially blocks the finger H142. It is expressed by
  • the entire finger H143 of a real object is present in front of the virtual object V143.
  • the boundary between and the virtual object V 143 is not properly represented.
  • the display control unit 127 performs display control such that the real object collides with the virtual object, the field of view of the user is It looks like F144.
  • the virtual object V144 although the virtual object V144 should be seen originally, the virtual object V144 can be seen in the region where the real space of the background has been seen, although the finger H144 should have been seen originally.
  • the display control unit 127 controls the display such that the effect E 145 is also added near the boundary related to the collision of the finger H 145 (an example of a real object) and the virtual object V 145 as in the field of view F 146 shown in FIG. It is desirable to do.
  • display control is realized by the process 3D-C-P in FIG. 10, for example, an effect is added not only in the vicinity of the outline part of the shielding model but also in the vicinity of the boundary related to the collision of the shielding model and the virtual object. do it. Further, such display control can also be realized by the processing 2D-C-P of FIG.
  • FIG. 23 is an explanatory diagram for describing a third specific example of boundary representation.
  • the boundary between the user's hand H151, which is a real object, and the virtual object V151 is not appropriately expressed because the recognition accuracy is low. There is a risk of giving.
  • the display control unit 127 may control the display so as to reduce the visibility of the virtual object. With such a configuration, the sense of discomfort associated with the boundary between the real object and the virtual object is reduced.
  • the virtual object V152 is displayed by wire frame rendering, so that the sense of discomfort associated with the boundary between the hand H152 and the virtual object V152 is reduced.
  • the luminance of the virtual object V153 is lowered and it looks translucent, so that the sense of discomfort associated with the boundary between the hand H153 and the virtual object V153 is reduced.
  • display control to make the visibility different by the display control unit 127 is not limited to the example shown in FIG.
  • the display control unit 127 may make the visibility different depending on the saturation change of the color of the virtual object, the presence or absence of the texture or the pattern, or the like.
  • the display control unit 127 may reduce the visibility by reducing the display resolution of the virtual object.
  • FIG. 23 illustrates an example in which the display control unit 127 reduces the overall visibility of the virtual object, but the display control unit 127 is configured to recognize the visibility of a partial region of the virtual object (for example, a region of a predetermined shape).
  • the display may be controlled to lower the Such display control can be realized, for example, by appropriately combining the processing 3D-V-P and the processing 2D-V-P shown in FIG.
  • the third specific example of the boundary representation described above can be particularly effective when the user performs an operation on a virtual object using a real object. For example, since an operation of pressing a button (virtual object) using a real object such as a hand or a finger, an operation of selecting a character string (virtual object), etc. can be fine operations, the shielded area is expanded, effects As a result, if a part of the virtual object that should be visible can not be seen, the operation may be interrupted. On the other hand, when the display control to reduce the visibility as described above is performed, although the visibility decreases, it is possible to see the virtual object that should be seen originally, so the influence on the operation is small.
  • the display control unit 127 may control the display so that the boundary expression differs according to the operation information related to the operation. That is, when the virtual object is a virtual object that can be manipulated by the real object, the display control unit 127 controls the shielding display so that the display area of the virtual object shows a larger boundary expression among the plurality of boundary expressions. It may be regarded as For example, the operation information may be recognized by the recognition unit 120 and provided to the display control unit 127. Then, in accordance with the operation information recognized by the recognition unit 120, the display control unit 127 may select a more appropriate one of the specific examples of the boundary expression described above to perform display control.
  • the display control unit 127 may make the visibility of the virtual object different according to the recognition information.
  • the operation information is not limited to the example provided from the recognition unit 120, and may be specified from, for example, the shape of a virtual object.
  • the display control unit 127 may control the display so that the boundary expression differs according to the content information related to the virtual object.
  • the display control unit 127 may reduce the visibility by performing wire frame rendering.
  • the display control unit 127 may be considered to control the shielding display depending on whether the virtual object has a three-dimensional shape.
  • display control can be performed according to the content, so that the sense of discomfort given to the user is further reduced.
  • the display control unit 127 may control the arrangement (position, posture, size, etc.) of the virtual object based on the information of the recognition accuracy.
  • FIG. 24 is an explanatory diagram for explaining a modification in which the display control unit 127 controls the arrangement of virtual objects based on the information of recognition accuracy.
  • the recognition result R161 shown in FIG. 24 is the result of recognition based on the sensing of the user's hand H161 that is a real object.
  • the recognition result R161 also shows information on the recognition accuracy.
  • a white region is a region with low recognition accuracy. Therefore, for example, when a virtual object is placed at a position corresponding to the low recognition accuracy region LR161 in the recognition result R161, there is a possibility that the boundary between the virtual object and the real object may not be appropriately expressed. Therefore, the display control unit 127 may arrange the virtual object at a location corresponding to the region HR161 having high recognition accuracy in the recognition result R161, and the field of view of the user in such a case becomes like a field of view F161. In the example of the field of view F161, the boundary between the hand H161 and the virtual object V161 is appropriately represented, and the user's discomfort is further alleviated.
  • the arrangement of the virtual object may not be different, so the control of the arrangement of the virtual object described above may be performed based on the content information.
  • the display control part 127 demonstrated the example which adds an effect to the vicinity of the boundary which concerns on shielding in the 2nd specific example of the boundary expression mentioned above, this embodiment is not limited to the example which concerns.
  • the display control unit 127 may control the display so that an effect is added to the inside of the shielding area related to the shielding according to the recognition information.
  • FIG. 25 and FIG. 26 are explanatory diagrams for explaining a modification in which the display control unit 127 controls display so that an effect is added to the inside of the shielded area related to shielding in accordance with the recognition information.
  • the accuracy of the hand area recognition result R171 obtained as a result of recognition based on the sensing of the hand H171 is low, and noise is included in the hand area HR171.
  • noise is included in the shielding area CR171 also in the obtained drawing result D171.
  • the influence of noise can be seen also in the field of view F171 of the user.
  • the virtual object V171 has been seen in the area where the user's hand H171 should have been seen from the beginning, which may give the user a sense of discomfort.
  • the display control unit 127 controls the display according to the information of the recognition accuracy (an example of the recognition information), for example, when the recognition accuracy is low, the effect is added to the inside of the shielded area CR 171. Good.
  • the display control unit 127 may control the display such that the effect E172 is added to the inside of the shielded area.
  • the area where the virtual object V171 has been seen in the area where the user's hand H171 should have been seen is less likely to be viewed by the effect E171, and the discomfort given to the user is reduced.
  • the effect E 172 may be an effect with motion, for example, an effect such as video noise. Since the effect E171 is an effect such as video noise, the user can grasp that the recognition accuracy of the hand H172 is lowered.
  • the display control unit 127 may control the display such that an effect E173 including particles with a plurality of motions is added inside the shielded area.
  • an effect E173 including particles with a plurality of motions is added inside the shielded area.
  • the display control unit 127 causes the effect E173 to be displayed. Display control may be performed so that the included particles fly with the user's face. According to the configuration, it is possible to guide the user to move the hand H173 away from the outward camera 110.
  • the display control unit 127 appropriately recognizes particles in the effect E173 in the hand H173.
  • the display may be controlled to guide the user to the According to such a configuration, it is possible to guide the user to move the hand H173 to a position that is recognized with higher accuracy.
  • the sense of incongruity given to the user is controlled by controlling the display so that the boundary representation between the virtual object and the real object is different according to the recognition information related to the recognition based on the sensing of the real object. It is possible to reduce.
  • Second embodiment >> ⁇ 2-1. Overview> Subsequently, a second embodiment of the present disclosure will be described. Note that the second embodiment is partially the same as the first embodiment, and thus will be described while being omitted as appropriate. Hereinafter, about the same composition as composition explained by a 1st embodiment, explanation is omitted by attaching the same numerals.
  • FIG. 27 and FIG. 28 are explanatory diagrams for describing an outline of the second embodiment of the present disclosure.
  • a shape recognition result R201 is obtained.
  • drawing is performed based on the shape recognition result R201 so as to shield the virtual object.
  • the field of view of the user becomes like a field of view F201.
  • the boundary between the virtual object V201 and the hand H201 of the user is unnatural due to the movement of the hand H201.
  • the processing load for shape recognition and the processing load for drawing are reduced, and the time from sensing to display of a real object is shortened.
  • the boundary between the virtual object V202 and the hand H202 of the user is likely to be appropriately represented as shown by a field of view F202 in FIG. As a result, the discomfort given to the user is reduced.
  • the processing load for shape recognition and the processing load for drawing may be changed according to the moving speed of the real object. More specifically, when movement information is obtained that the movement speed of the real object is the first movement speed, the movement speed of the real object is the second movement speed smaller than the first movement speed. At least one of the processing load related to shape recognition and the processing load related to drawing performed by the display control unit may be reduced compared to when movement information is obtained. For example, when the movement speed of the real object is high (the movement speed of the real object is the first movement speed), it is desirable that the processing load for shape recognition and the processing load for drawing be reduced. An example in which the processing load is reduced according to the moving speed of the real object will be described with reference to FIG.
  • the user's hand H203 which is a real object shown in FIG. 28 is moving at a low speed.
  • the arrow on the hand H203 indicates the movement of the hand H203.
  • movement recognition is performed based on the sensing of the hand H203.
  • shape recognition is performed and a recognition result R203 is obtained.
  • the arrow on the recognition result R203 indicates the movement of the hand H203 recognized by the movement recognition.
  • the drawing result D203 is obtained, and when display is performed based on the drawing result D203, the field of view of the user is as shown by the field of view F203.
  • the field of view F203 Become.
  • the movement of the hand H203 is slow, the influence of the movement of the hand H203 is small, and in the example of the field of view F203, the boundary between the virtual object V203 and the hand H203 of the user can be appropriately expressed.
  • the hand H204 shown in FIG. 28 is moving at high speed.
  • the stored shape recognition result MR204 which is the result of the shape recognition performed previously is It is reused. In such a case, shape recognition may not be performed. Therefore, the processing load associated with shape recognition can be greatly reduced.
  • the stored shape recognition result MR204 is the shape recognition result included in the recognition result R203, but the present embodiment is not limited to the example, and the stored shape recognition result MR204 is For example, it may be the result of shape recognition performed in the immediately preceding frame.
  • the stored shape recognition result MR 204 is moved and deformed to obtain a recognition result R204. Then, if it is further determined that the movement of the hand H 204 is fast, the number of polygons may be reduced before drawing is performed. The reduction in the number of polygons reduces the processing load for drawing.
  • drawing is performed so as to shield the virtual object based on the recognition result in which the number of polygons is reduced, the drawing result D204 is obtained, and when the display is performed based on the drawing result D204, the field of view of the user is the field of view F204. become that way.
  • the virtual object V 204 and the user's hand H 204 in the example of the field of view F 204 move even if the movement of the hand H 204 is fast because the processing load for shape recognition and the processing load for drawing are reduced.
  • the boundaries between can be properly expressed.
  • FIG. 29 is a block diagram showing a configuration example of an information processing device 1-2 according to the second embodiment of the present disclosure.
  • the components given the same reference numerals as the components shown in FIG. 6 are the same as the components shown in FIG.
  • the information processing apparatus 1-2 according to the present embodiment relates to the first embodiment in that the function of the control unit 12-2 is partially different from that of the control unit 12 shown in FIG. It differs from the information processing apparatus 1.
  • control unit 12-2 functions as an arithmetic processing unit and a control unit, and controls overall operations in the information processing apparatus 1-2 according to various programs. Further, as shown in FIG. 8, the control unit 12-2 according to the present embodiment functions as a recognition unit 120-2 and a display control unit 128.
  • the recognition unit 120-2 recognizes (including detects) information on the user or information on the surrounding situation based on the various sensor information sensed by the sensor unit 11.
  • the recognition unit 120-2 includes the movement recognition unit 122, the shape recognition unit 124, and the recognition unit 120 shown in FIG. It is different. ⁇
  • the movement recognition unit 122 performs movement recognition on movement of the real object based on sensing of the real object. For example, the movement recognition unit 122 may recognize the movement of the center of gravity of the real object and the posture based on the captured image obtained by sensing the real object.
  • the barycentric position of the real object may be obtained, for example, by calculating the barycenter of a three-dimensional point group obtained by three-dimensional recognition, or as the two-dimensional barycentric position of the real object detected from the captured image. It may be obtained. Further, principal component analysis or the like around the center of gravity may be used to detect the posture.
  • the movement recognition unit 122 recognizes movement of the recognized center-of-gravity position and posture between frames, and acquires information on the movement speed of the real object specified by the movement recognition as recognition information related to movement recognition.
  • the shape recognition unit 124 the movement deformation unit 126, and the display control unit 128.
  • the movement recognition unit 122 perform recognition related to movement at a higher speed than the recognition performed by the shape recognition unit 124. Then, as described with reference to FIG. 28, according to the movement information obtained by the movement recognition performed by the movement recognition unit 122, the processing load related to the shape recognition performed by the shape recognition unit 124 and the display control unit 128 Control is performed such that at least one of processing loads related to drawing changes.
  • the control may be performed by the shape recognition unit 124 or the display control unit 128 performing determination based on the moving speed, or by the control unit 12-2 determining the processing mode. Good.
  • control unit 12-2 determines the processing mode to be the high speed mode when the moving speed is larger than a predetermined threshold, and determines the processing mode to be the low speed mode when the moving speed is equal to or lower than the predetermined threshold. It is also good. Then, the shape recognition unit 124 and the display control unit 128 may perform shape recognition and drawing in accordance with the processing mode determined by the control unit 12-2.
  • the shape recognition unit 124 performs shape recognition that recognizes a three-dimensional shape of a real object based on sensing of the real object. Further, the shape recognition unit 124 may recognize the position and posture of the real object simultaneously with the shape recognition. In addition, the shape recognition unit 124 generates a three-dimensional model represented by a series of three-dimensional vertices and sides based on the recognized three-dimensional shape of the real object, and provides the display control unit 127 as shape information. As described with reference to FIG. 7 in the first embodiment, the three-dimensional model of the real object generated by the shape recognition unit 124 is drawn for the display control unit 128 to shield the virtual object. It is used as a shielding model. The three-dimensional model of the real object generated by the shape recognition unit 124 according to the present embodiment is stored in the storage unit 17 as a shape recognition result.
  • the shape recognition unit 124 predicts the change (movement) of the three-dimensional shape of the real object in the same manner as the shape recognition unit 123 according to the first embodiment, and determines the three-dimensional shape of the real object based on the prediction.
  • the correction may be performed to generate a corrected three-dimensional model.
  • the shape recognition unit 124 determines that the movement speed of the real object included in the movement information provided from the movement recognition unit 122 is high (high speed mode) In this case, shape recognition may be omitted (omitted). According to this configuration, when the moving speed is high, the processing load for shape recognition is greatly reduced, which leads to shortening of the processing time.
  • the movement deformation unit 126 when the moving speed of the real object included in the movement information provided from the movement recognition unit 122 is high (in the case of the high speed mode), the movement deformation unit 126 is the movement information , The shape recognition result stored in the storage unit 17 is moved and deformed. Note that the deformation of the shape recognition result performed by the moving deformation unit 126 may include, for example, enlargement or reduction of the shape recognition result.
  • the shape recognition result obtained by the movement and deformation by the movement deformation unit 126 is provided to the display control unit 128 and used as a shielding model for drawing so as to shield the virtual object.
  • the display control unit 128 controls the display of the display unit 13 in the same manner as the display control unit 127 according to the first embodiment. For example, the display control unit 128 causes the display unit 13 to display a virtual object so that the virtual object can be viewed simultaneously with the real space. Further, the display control unit 128 controls the display such that shielding of the virtual object is performed using the shielding model as in the display control unit 127 according to the first embodiment.
  • the display control unit 128 reduces the number of polygons in the shielding model according to the movement information obtained by the movement recognition performed by the movement recognition unit 122. It is also good. For example, when the movement speed included in the movement information is high (in the high speed mode), the display control unit 128 may perform drawing after reducing the number of polygons in the shielding model. With such a configuration, the processing load related to drawing is reduced, which leads to shortening of the processing time.
  • FIG. 30 is an explanatory diagram of an example of reduction of the number of polygons in the shielding model by the display control unit 128.
  • the display control unit 128 may generate the shielding model CM 206 by reducing the number of polygons in the shielding model CM 205.
  • the reduction of the number of polygons for generating the shielding model CM 206 may be performed by connecting the polygons while scanning in the horizontal direction in the shielding model CM 205.
  • the display control unit 128 performs the drawing based on the shielding model CM 206 as described above, whereby the drawing result D206 of the shielding model is obtained.
  • the reduction of the number of polygons in the shielding model is not limited to the example shown in FIG. 30, but may be performed by various methods.
  • FIG. 31 is a flowchart showing the operation of this comparative example.
  • sensing of a real object is performed (S900), and information on a virtual object to be displayed is acquired (S910).
  • shape recognition of the real object is performed (S960).
  • drawing is performed such that the virtual object is shielded (S970).
  • display is performed based on the drawing result of step S 970 (S 980).
  • FIG. 32 is a timing chart according to the present comparative example.
  • a period T1 is required from the start of sensing to the start of display regardless of the moving speed of the real object.
  • the period T1 is three times the sensing interval t as shown in FIG. For example, when the sensing interval t is 1/60 second, it takes 1/20 second from the start of sensing to the start of display, and the user feels a sense of discomfort depending on the moving speed of the real object.
  • FIG. 33 is a flowchart showing an operation example of the information processing apparatus 1-2 according to the present embodiment.
  • the outward camera 110 of the sensor unit 11 performs sensing (for example, imaging) of a real object (S200).
  • the display control unit 128 acquires information on a virtual object to be displayed (S210).
  • the movement recognition unit 122 of the recognition unit 120-2 of the control unit 12-2 performs movement recognition related to the movement of the real object based on the result of the sensing performed in step S200, for example, information of movement speed It specifies (S220). Subsequently, the control unit 12-2 determines whether the mode is the low speed mode or the high speed mode based on the information on the moving speed identified in step S220 (S230).
  • the shape recognition result is reused (YES in S240), and the movement deformation unit 126 of the recognition unit 120-2 moves and deforms the stored shape recognition result to shield it.
  • a model is acquired (S250).
  • the shape recognition result is not reused (NO in S240), and the shape recognition unit 124 of the recognition unit 120-2 performs shape recognition to generate a shielding model (S260).
  • the display control unit 128 of the control unit 12-2 performs drawing so as to shield the virtual object based on the shielding model obtained in step S250 or step S260 (S270). Furthermore, in accordance with the control of the display control unit 128, the display unit 13 displays the image (S280). Finally, the latest shape recognition result is stored (S290).
  • FIG. 34 is a timing chart according to the present embodiment.
  • a period T2 is required from the start of sensing to the start of display.
  • the period T2 is a period twice as long as the sensing interval t as shown in FIG. 34, and is shorter than the period T1 shown in FIG. Therefore, the influence of the movement of the real object is suppressed, and the discomfort given to the user is reduced.
  • the shape recognition unit 124 may recognize an approximate model that has a predetermined shape and is an approximation of the shape of a real object as a shape recognition result.
  • the predetermined shape may be a rectangular parallelepiped, an ellipsoid, a cylinder, or the like.
  • a three-dimensional model that covers the shape of a real object may be recognized as an approximate model.
  • the movement deformation unit 126 may obtain the shielding model, which is the shape recognition result, by the movement and deformation of the approximate model, using the stored approximate model as the stored shape recognition result.
  • FIG. 35 is an explanatory diagram for describing the present modification.
  • the user's hand H211 which is a real object shown in FIG. 35, is moving at a low speed.
  • the arrow on the hand H211 indicates the movement of the hand H211.
  • movement recognition by the movement recognition unit 122 is performed based on the sensing of the hand H211.
  • the shape recognition unit 124 performs shape recognition (recognition of an approximate model) to obtain a recognition result R211.
  • the arrow on the recognition result R211 indicates the movement of the hand H211 recognized by the movement recognition unit 122.
  • the hand H212 shown in FIG. 35 is moving at high speed. Movement recognition is performed by the movement recognition unit 122 based on the sensing of the hand H212, and when it is determined that the movement of the hand H212 is fast, the result of shape recognition (recognition of an approximate model) performed previously is given.
  • the stored shape recognition result MR 212 is reused. In such a case, shape recognition may not be performed. Therefore, the processing load associated with shape recognition can be greatly reduced.
  • the stored shape recognition result MR212 is the shape recognition result included in the recognition result R211, but the present embodiment is not limited to the example, and the stored shape recognition result MR212 is For example, it may be the result of shape recognition performed in the immediately preceding frame.
  • the movement deforming unit 126 moves and deforms the stored shape recognition result MR 212 based on the movement information, whereby a recognition result R 212 is obtained. Furthermore, when it is determined that the movement of the hand H212 is fast, the number of polygons may be reduced before drawing is performed. The reduction in the number of polygons reduces the processing load for drawing. When drawing is performed so as to shield the virtual object based on the recognition result in which the number of polygons is reduced, the drawing result D212 is obtained, and when the display is performed based on the drawing result D212, the field of view of the user is the field of view F212 become that way.
  • the shape recognition unit 124 recognizes an approximate model as a result of shape recognition when the moving speed is low (the movement is slow). It is not limited.
  • the shape recognition unit 124 may switch whether to recognize the three-dimensional shape of the real object or to recognize an approximate model of the real object according to the moving speed of the real object.
  • the shape recognition unit 124 may recognize a three-dimensional shape of a real object when the moving speed is low, and may recognize an approximate model of the real object when the moving speed is high.
  • the processing load for recognizing the approximate model of the real object is smaller than the processing load for recognizing the three-dimensional shape of the real object, according to the configuration, the processing load for shape recognition is large when the moving speed is large. It is reduced and leads to shortening of processing time.
  • the display control unit 128 according to the present modification may store, in the storage unit 17, data obtained by rendering the shielding model area into a two-dimensional sprite as a drawing result of the shielding model. Then, the display control unit 128 according to the present modification performs display control when the moving speed included in the movement information is high (in the high speed mode, that is, when the moving speed of the real object is the first moving speed). Drawing may be performed using the drawing result of the stored shielding model, which is the result of drawing performed by the unit 128 previously. Such a configuration further reduces the processing load associated with drawing.
  • FIG. 36 is an explanatory diagram for describing the present modification. Note that the hand H221, the recognition result R221, the drawing result D221, and the field of view F221 of the user shown in FIG. 36 are the same as the hand H203, the recognition result R203, the drawing result D203, and the field of view F203 of the user shown in FIG. , I omit the explanation.
  • the hand H222 shown in FIG. 36 is moving at high speed. Movement recognition is performed by the movement recognition unit 122 based on the sensing of the hand H222. If it is determined that the movement of the hand H222 is fast, the shape recognition unit 124 does not perform shape recognition. Further, in the present modification, the movement and the deformation of the shape recognition result by the movement and deformation unit 126 may not be performed. Therefore, the recognition result R222 by the recognition unit 120-2 includes only the movement information obtained by the movement recognition performed by the movement recognition unit 122.
  • the display control unit 128 moves and deforms the drawing result MD222 of the stored shielding model based on the movement information, thereby simplifying the process related to drawing and drawing result D222 in which the virtual object is shielded.
  • Get The arrow on the drawing result D222 indicates the movement of the drawing result MD222 of the stored shielding model, which the display control unit 128 performs during drawing.
  • the stored drawing result MD222 of the shielding model is the drawing result of the shielding model included in the drawing result D221, but the present embodiment is not limited to such an example, and the stored shielding
  • the drawing result MD222 of the model may be, for example, the result of drawing the occlusion model performed in the immediately preceding frame.
  • the processing relating to the drawing of the shielding model is simplified and the processing time is shortened, so that it is possible to further reduce the discomfort given to the user. .
  • FIG. 37 is an explanatory diagram for describing the flow from sensing to drawing when the determination of the anteroposterior relationship is performed.
  • shape recognition is performed based on the sensing of the user's hand H223 which is a real object, and a shape recognition result R223 (shield model) is obtained.
  • a shape recognition result R223 shield model
  • drawing is performed so as to shield the virtual object V223 based on the shape recognition result R223
  • the determination of the anteroposterior relationship between the virtual object V223 and the shape recognition result R223 is performed, and the drawing result is determined based on the anteroposterior relation determination result J223.
  • D223 is obtained.
  • FIG. 38 is an explanatory diagram for describing the flow from sensing to drawing when the determination of the anteroposterior relationship is omitted.
  • shape recognition is performed based on sensing of the user's hand H224 which is a real object, and a shape recognition result R224 (shield model) is obtained.
  • the virtual object V224 and the shape recognition result R224 are drawn separately, and a virtual object region VR224 and a shielding model region CMR224 are obtained.
  • a rendering result D224 is obtained by combining the virtual object region VR224 and the shielding model region CMR224.
  • the drawing is performed assuming that the shielding model is present in front of the virtual object.
  • FIG. 39 is an explanatory view showing an example of an interaction that can be appropriately displayed even when the determination of the context is omitted.
  • FIG. 40 is an explanatory view showing an example of interaction in which the manner of appearance can differ greatly between the case where the determination of the context is performed and the case where it is omitted.
  • the display control unit 128 may determine whether to reuse the drawing result of the shielding model based on the type of virtual object or the type of interaction performed by the user. For example, in the case where the display control unit 128 displays a virtual object that causes an interaction such as grasping or gripping, or when it is known that the interaction is performed according to the recognition result of the recognition unit 120-2, It is not necessary to reuse the drawing result of the model.
  • FIG. 41 is a flowchart showing an operation example of this modification.
  • Steps S300 to S330 shown in FIG. 41 are similar to the processing of steps S200 to S230 described with reference to FIG. 33, and thus the description thereof is omitted here.
  • step S340 it is determined whether the drawing result of the shielding model is to be reused.
  • the determination in step S340 is performed based on the type of virtual object and the type of interaction as described with reference to FIGS. 37 to 40, in addition to information on whether the mode is the high speed mode or the low speed mode. May be
  • the shape recognition unit 124 performs shape recognition to generate a shielding model (S360), and the display control unit 128 uses the shielding model as the shape recognition result. A drawing is performed based on it (S370).
  • the display control unit 128 performs drawing by movement and deformation of the drawing result of the shielding model stored (S375).
  • the display unit 13 displays the image according to the control of the display control unit 128 (S380). Finally, the drawing result of the latest shielding model is stored (S390).
  • FIG. 42 is a timing chart according to the present modification.
  • a period T3 is required from the start of sensing in the high-speed mode to the start of display.
  • the period T3 is the same as the sensing interval t as shown in FIG. 42, and is shorter than the period T1 shown in FIG. 32 or the period T2 shown in FIG. Therefore, the influence of the movement of the real object is further suppressed, and the sense of discomfort given to the user is reduced.
  • FIG. 43 is an explanatory diagram for describing the present modification.
  • the user's hand H231 which is a real object shown in FIG. 43, is moving at a low speed. Therefore, the processing mode is determined to be the low speed mode.
  • the depth map DM231 is acquired. Subsequently, shape recognition is performed by the shape recognition unit 124 based on the depth map, and a shape recognition result R231 is obtained. Note that the plurality of arrows on the shape recognition result R231 indicate the change in shape predicted when the shape recognition unit 124 performs shape recognition.
  • the display control unit 128 performs drawing so as to shield the virtual object based on the shape recognition result R231, the drawing result D231 is obtained, and when the display is performed based on the drawing result D231, the field of view of the user is , View F231 like.
  • the user's hand H232 which is a real object shown in FIG. 43 is moving at high speed. Therefore, although not illustrated in FIG. 43, the processing mode is determined to be the high-speed mode based on the result of the movement recognition by the movement recognition unit 122.
  • the depth map DM232 is acquired.
  • the control unit 12-2 according to the present modification may input to the shape recognition unit 124 after reducing the resolution of the depth map DM 232.
  • the shape recognition result R232 obtained as a result of the shape recognition using the low-resolution depth map DM232 has a smaller number of polygons and less information on the predicted shape change as compared with the shape recognition result R231. That is, when the shape recognition unit 124 performs shape recognition using the low-resolution depth map DM 232, the processing load for shape recognition, including the prediction of shape change, is reduced.
  • the display control unit 128 After the number of polygons is reduced with respect to the shape recognition result R232, the display control unit 128 performs drawing to obtain the drawing result D232.
  • the number of polygons in the shape recognition result R232 is smaller than that in the shape recognition result R231 as the resolution of the depth map DM232 is lowered. Therefore, even if the number of polygons is not reduced, the processing load for drawing based on the shape recognition result R232 is smaller than the processing load for drawing based on the shape recognition result R231. Therefore, when the number of polygons in the shape recognition result R232 is sufficiently small, the number of polygons may not be reduced.
  • the field of view of the user becomes like a field of view F232.
  • the depth map may be obtained in various ways.
  • the depth map may be acquired by stereo matching using a plurality of captured images.
  • the outward camera 110 may be acquired by sensing performed by the depth camera.
  • control unit 12-2 controls the output resolution of the depth camera included in the outward camera 110 according to the determination of the processing mode. May be
  • the resolution of the depth map is lowered, which can further reduce both the processing load for shape recognition and the processing load for drawing.
  • the processing load for shape recognition and the processing load for drawing are changed according to the movement information, thereby suppressing the influence of the movement of the real object and reducing the discomfort given to the user. Is possible.
  • the second embodiment of the present disclosure can be combined with the first embodiment of the present disclosure.
  • processing mode is determined in the two stages of the low speed mode and the high speed mode in the above, the processing mode is determined in more stages, and various processes are performed according to the determined processing mode. It may be
  • FIG. 44 assumes the hand as a real object, and determines the processing mode into six stages of the static mode, the ultra-low speed mode, the low-speed mode, the medium speed mode, the high-speed mode, and the ultra-high speed mode according to the hand speed. It is the table which put together the example of processing of case. As shown in FIG. 44, depending on the processing mode, the above-described resolution reduction of the depth map, omission of shape recognition, omission of back and forth judgment, reuse of drawing results, and boundary representation described in the first embodiment Processing such as change may be appropriately performed.
  • FIG. 45 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • the information processing apparatus 900 shown in FIG. 45 can realize, for example, the information processing apparatus 1 and the information processing apparatus 1-2.
  • Information processing by the information processing apparatus 1 and the information processing apparatus 1-2 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a central processing unit (CPU) 901, a read only memory (ROM) 902, a random access memory (RAM) 903, and a host bus 904a.
  • the information processing apparatus 900 further includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may have a processing circuit such as a DSP or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Also, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution.
  • the CPU 901 can form, for example, the control unit 12 and the control unit 12-2.
  • the CPU 901, the ROM 902, and the RAM 903 are mutually connected by a host bus 904a including a CPU bus and the like.
  • the host bus 904 a is connected to an external bus 904 b such as a peripheral component interconnect / interface (PCI) bus via the bridge 904.
  • PCI peripheral component interconnect / interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily need to be separately configured, and these functions may be implemented on one bus.
  • the input device 906 is realized by, for example, a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever to which information is input by the user. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA corresponding to the operation of the information processing apparatus 900. . Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above input unit, and outputs the generated input signal to the CPU 901. The user of the information processing apparatus 900 can input various data to the information processing apparatus 900 or instruct processing operations by operating the input device 906.
  • the output device 907 is formed of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 907 outputs, for example, results obtained by various processes performed by the information processing apparatus 900.
  • the display device visually displays the results obtained by the various processes performed by the information processing apparatus 900 in various formats such as text, images, tables, graphs, and the like.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and aurally outputs it.
  • the output device 907 may form, for example, the display unit 13 and the speaker 14.
  • the storage device 908 is a device for data storage formed as an example of a storage unit of the information processing device 900.
  • the storage device 908 is realized by, for example, a magnetic storage unit device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the storage unit 17.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads out information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port to an external device capable of data transmission by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless Local Area Network (LAN), Long Term Evolution (LTE), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for asymmetric digital subscriber line (ADSL), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or another communication device.
  • the communication device 913 may form, for example, the communication unit 15.
  • the sensor 915 is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 900, such as the attitude and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900.
  • sensor 915 may include a GPS sensor that receives GPS signals and measures latitude, longitude and altitude of the device.
  • the sensor 915 may form, for example, the sensor unit 11.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include the Internet, a public network such as a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), or the like.
  • the network 920 may include a leased line network such as an Internet Protocol-Virtual Private Network (IP-VPN).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each component described above may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the level of technology to which the embodiment of the present disclosure is implemented.
  • a computer program for realizing each function of the information processing apparatus 900 according to the embodiment of the present disclosure as described above can be created and implemented on a PC or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • the present technology is not limited to the example.
  • the virtual object is superimposed on the image of the real space obtained by shooting with the outward camera 110 to obtain the same effect as the above-described effect. Is possible.
  • the display unit 13 is a projector, it is possible to realize the same effect as the above-described effect by projecting the virtual object in the real space.
  • the present technology is not limited to such an example, and the present technology is applied to various real objects existing in real space. It is possible.
  • steps in the above embodiment do not necessarily have to be processed chronologically in the order described as the flowchart diagram.
  • each step in the process of the above embodiment may be processed in an order different from the order described as the flowchart diagram, or may be processed in parallel.
  • a shielding display indicating shielding of the virtual object by the real object may be a boundary between the virtual object and the real object or the boundary Control to show a first boundary expression at the vicinity position of the boundary, and in the case where the recognition information includes second recognition information different from the first recognition information, the occluding display is determined to be the boundary or the boundary
  • An information processing apparatus comprising: a display control unit configured to perform control to show a second boundary representation different from the first boundary representation at a neighboring position.
  • the information processing apparatus controls the shielding display using shape information obtained by shape recognition based on sensing of the real object.
  • the display control unit controls the shielding display such that the shielding area related to the shielding has a first size according to the first recognition information, and the display control unit controls the shielding display according to the second recognition information.
  • the information processing apparatus wherein the shielding display is controlled such that the shielding area has a second size different from the first size.
  • the display control unit performs the shielding so that an area corresponding to position information included in the recognition information in the shielding area has the first size.
  • the information processing apparatus according to (3).
  • the display control unit according to any one of (1) to (4), which controls the shielding display such that an effect display is added to a position near the boundary according to the recognition information.
  • Information processing equipment Information processing equipment.
  • the display control unit according to any one of (1) to (5), which controls the shielding display such that an effect display is added to the inside of a shielding area related to the shielding according to the recognition information.
  • the display control unit controls display of the virtual object such that the recognition information has visibility different from when the recognition information includes the second recognition information.
  • the information processing apparatus according to any one of (1) to (9).
  • the display control unit in the case where the virtual object is a virtual object operable by the real object, a boundary expression in which the display area of the virtual object is larger among the first boundary expression and the second boundary expression.
  • the information processing apparatus according to any one of (1) to (10), which controls the shielding display so as to indicate.
  • the system further comprises a recognition unit that performs movement recognition of the real object based on sensing of the real object and the shape recognition, When movement information is obtained such that the movement speed of the real object is the first movement speed by the movement recognition, the movement speed of the real object is a second movement speed lower than the first movement speed At least one of processing load related to the shape recognition performed by the recognition unit and processing load related to drawing performed by the display control unit is reduced compared to the case where movement information is obtained.
  • the information processing apparatus according to the above.
  • the display control unit performs the drawing using the result of the drawing previously performed by the display control unit, when the moving speed of the real object is the first moving speed.
  • the recognition information includes information of recognition accuracy related to the recognition.
  • the recognition information includes information on a moving speed of the real object recognized based on sensing of the real object.
  • the display control unit controls display by a display unit having optical transparency.
  • a shielding display indicating shielding of the virtual object by the real object may be a boundary between the virtual object and the real object or the boundary Control to show a first boundary expression at the vicinity position of the boundary, and in the case where the recognition information includes second recognition information different from the first recognition information, the occluding display is determined to be the boundary or the boundary Controlling the processor to indicate a second boundary representation different from the first boundary representation at a neighboring position.
  • a shielding display indicating shielding of the virtual object by the real object may be a boundary between the virtual object and the real object or the boundary Control to show a first boundary expression at the vicinity position of the boundary, and in the case where the recognition information includes second recognition information different from the first recognition information, the occluding display is determined to be the boundary or the boundary
  • a program for realizing a function of controlling to show a second boundary representation different from the first boundary representation at a neighboring position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する表示制御部を備える情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　近年、センサを備えたヘッドマウントディスプレイ（Head　Mounted　Display：以下、「ＨＭＤ」とも称する）が開発されている。ＨＭＤは、ユーザの頭部に装着された際にユーザの眼前に位置するディスプレイを有し、例えばユーザの前方に仮想物体を表示する。このようなＨＭＤには、ディスプレイが透過型のものと非透過型のものがある。ディスプレイが透過型のＨＭＤでは、ディスプレイを介して視認し得る実空間に重なって上記仮想物体が重畳表示される。
　また、下記特許文献１には、ＨＭＤを装着したユーザが、実物体（例えばユーザ自身の手等）を用いて様々なジェスチャをＨＭＤが有するカメラに撮像（センシング）させ、ジェスチャ認識により当該ＨＭＤを操作する技術が開示されている。
特開２０１４－１８６３６１号公報
　上述したように仮想物体を実空間に重畳表示させる場合、実空間に存在する実物体と、仮想物体との間の境界が適切に表現されるように仮想物体を表示することで、仮想物体が実空間に存在しているかのようにユーザに感じさせることが可能となる。しかし、例えば実物体のセンシングに基づく認識結果によっては、実物体と、仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を覚える場合があった。
　そこで、本開示では、ユーザに与える違和感を軽減することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する表示制御部を備える情報処理装置が提供される。
　また、本開示によれば、実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すようにプロセッサが制御すること、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータに、実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する機能を実現させるための、プログラムが提供される。
　以上説明したように本開示によれば、ユーザに与える違和感を軽減することが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態による情報処理装置１の概要を説明する図である。 仮想物体の遮蔽について説明するための説明図である。 認識に係る精度が低い場合の表示例を説明するための説明図である。 実物体の移動速度が大きい場合の表示例を説明するための説明図である。 仮想物体と実物体との間の境界の不自然さについて説明するための説明図である。 同実施形態に係る情報処理装置１の構成例を示すブロック図である。 同実施形態に係る表示制御部１２７による遮蔽モデルを用いた仮想物体の遮蔽を説明するための説明図である。 境界表現を異ならせるために３次元仮想空間において行われ得る処理の例を説明するための説明図である。 境界表現を異ならせるために２次元描画結果において行われ得る処理の例を説明するための説明図である。 境界表現を異ならせるために行われ得る処理について整理した表である。 同実施形態に係る情報処理装置１の動作例を示すフローチャート図である。 同実施形態に係る境界表現の第１の具体例を説明するための説明図である。 同実施形態に係る境界表現の第１の具体例を説明するための説明図である。 同実施形態に係る境界表現の第１の具体例を説明するための説明図である。 同実施形態に係る境界表現の第１の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第３の具体例を説明するための説明図である。 同実施形態に係る変形例を説明するための説明図である。 同実施形態に係る変形例を説明するための説明図である。 同実施形態に係る変形例を説明するための説明図である。 本開示の第２の実施形態の概要を説明するための説明図である。 本開示の第２の実施形態の概要を説明するための説明図である。 同実施形態に係る情報処理装置１－２の構成例を示すブロック図である。 同実施形態に係る表示制御部１２８による遮蔽モデルのポリゴン数削減の一例を示す説明図である。 同実施形態の比較例の動作を示すフローチャートである。 同実施形態の比較例に係るタイミングチャート図である。 同実施形態に係る情報処理装置１－２の動作例を示すフローチャート図である。 同実施形態に係るタイミングチャート図である。 同実施形態に係る変形例について説明するための説明図である。 同実施形態に係る変形例について説明するための説明図である。 前後関係の判定が行われる場合のセンシングから描画までの流れを説明するための説明図である。 前後関係の判定が省略される場合のセンシングから描画までの流れを説明するための説明図である。 前後関係の判定が省略される場合であっても適切な表示が可能なインタラクションの例を示す説明図である。 前後関係の判定が行われる場合と、省略される場合とで見え方が大きく異なり得るインタラクションの例を示す説明図である。 同実施形態に係る変形例の動作例を示すフローチャート図である。 同実施形態に係る変形例に係るタイミングチャート図である。 同実施形態に係る変形例について説明するための説明図である。 処理モードを６段階に分けて決定した場合の動作の例をまとめた表である。 ハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．第１の実施形態＞＞
　　＜１－１．概要＞
　　＜１－２．構成＞
　　＜１－３．動作＞
　　＜１－４．境界表現の具体例＞
　　＜１－５．変形例＞
　　＜１－６．効果＞
　＜＜２．第２の実施形態＞＞
　　＜２－１．概要＞
　　＜２－２．構成＞
　　＜２－３．動作＞
　　＜２－４．変形例＞
　　＜２－５．補足＞
　＜＜３．ハードウェア構成例＞＞
　＜＜４．むすび＞＞
　＜＜１．第１の実施形態＞＞
　　＜１－１．概要＞
　まず、本開示の第１の実施形態による情報処理装置の概要について説明する。図１は、本実施形態による情報処理装置１の概要を説明する図である。図１に示すように、本実施形態による情報処理装置１は、例えばユーザＵの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head　Mounted　Display）により実現される。装着時にユーザＵの眼前に位置するメガネレンズ部分に相当する表示部１３は、透過型または非透過型であってもよい。ここで述べる透過型の表示部１３は、光学的透過性を有する表示部として定義される。情報処理装置１は、表示部１３に仮想物体を表示することで、ユーザＵの視界内に仮想物体を提示することができる。また、情報処理装置１の一例であるＨＭＤは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。例えばＨＭＤは、片方の眼に画像を提示する表示部１３が設けられた片目タイプのものであってもよい。
　また、情報処理装置１には、装着時にユーザＵの視線方向、すなわちユーザの視界を撮像する外向きカメラ１１０が設けられている。さらに、図１に図示しないが、情報処理装置１には、装着時にユーザＵの眼を撮像する内向きカメラやマイクロホン（以下、「マイク」と示す。）等の各種センサが設けられていてもよい。外向きカメラ１１０、および内向きカメラは、それぞれ複数設けられていてもよい。
　なお情報処理装置１の形状は図１に示す例に限定されない。例えば情報処理装置１は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。
　ここで、例えば表示部１３が透過型である場合、表示部１３に表示される仮想物体は、実空間に重なってユーザに視認される。また、仮想物体が実空間に存在するかのようにユーザに感じさせるため、外向きカメラ１１０の撮影により得られる実空間の情報に基づいて仮想物体の配置や形状、色等を制御することも可能である。
　ここで、ユーザが仮想物体に対するインタラクション（操作等）を行うことを考えた場合、例えば手等の実物体を用いて、ユーザが仮想物体とのインタラクションを行うことが考えられる。係る場合、仮想物体と実物体との境界が適切に表現されないと、ユーザに違和感を与える恐れがある。図１に示したように、仮想物体を表示する表示部１３は、ユーザの眼前に位置するため、仮想物体とユーザの眼との間に実物体が存在するかのように仮想物体を実空間に配置する場合、表示部１３に表示される仮想物体の一部を適切に遮蔽することが望ましい。
　図２は、仮想物体の遮蔽について説明するための説明図である。図２に示すような仮想物体Ｖ１０１を表示部１３に表示させることを考える。仮想物体Ｖ１０１を表示部１３にそのまま表示してしまうと、上述のように表示部１３はユーザの眼前に位置するため、仮想物体Ｖ１０１とユーザの眼の間に存在する実物体であるユーザの手Ｈ１０１を覆うように仮想物体Ｖ１０１がユーザに視認される恐れがある。係る場合、ユーザは仮想物体Ｖ１０１が手Ｈ１０１の手前側（ユーザの眼側）に存在するのか奥側に存在するのかわからず、ユーザに違和感を与えてしまう。
　そこで、仮想物体Ｖ１０１のうち、手Ｈ１０１と重なってユーザに視認される領域を遮蔽する。例えば、外向きカメラ１１０による手Ｈ１０１のセンシング（撮像）により得られた撮像画像に基づいて、仮想物体Ｖ１０１よりも手前側（ユーザの眼側）に存在する手領域の認識が行われ、手領域認識結果Ｒ１０１が得られる。なお、図２に示す手領域認識結果Ｒ１０１は、白色の手領域ＨＲ１０１が仮想物体Ｖ１０１よりも手前側に存在する実物体であると認識された領域を示す。そして、手領域認識結果Ｒ１０１を用いて、仮想物体Ｖ１０１を遮蔽するように描画を行うと、描画結果Ｄ１０１が得られる。なお、図２示す描画結果Ｄ１０１において、白色領域は描画されない領域を示し、描画結果Ｄ１０１では、手領域ＨＲ１０１に相当する遮蔽領域ＣＲ１０１の部分が遮蔽されて仮想物体領域ＶＲ１０１が描画され、遮蔽領域ＣＲ１０１には仮想物体が描画されていない。
　描画結果Ｄ１０１に基づいて表示部１３の表示が行われることで、表示部１３を通したユーザの視界は、図２に示す視界Ｆ１０１のようになる。上記のように実物体のセンシングに基づく認識に応じた表示が行われることで、仮想物体Ｖ１０１と手Ｈ１０１の位置関係が適切にユーザに理解されやすくなる。
　なお、上記では、ユーザが操作に用いるユーザ自身の手を実物体の例として説明したが、手以外の実物体や、操作に用いられる実物体以外の実物体に対しても同様の処理が可能であり、実物体と仮想物体の位置関係を適切にユーザに提示することが可能である。
　しかし、実物体のセンシングに基づく認識の結果によっては、実物体と仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を持つ恐れがある。例えば、認識に係る精度が低い場合に、仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を持つ恐れがある。
　図３は、認識に係る精度が低い場合の表示例を説明するための説明図である。図３に示す例では、手Ｈ１０２のセンシングに基づく認識の結果得られた手領域認識結果Ｒ１０２の精度が、図２に示した手領域認識結果Ｒ１０１の精度よりも低く、手領域ＨＲ１０２の境界にノイズが含まれている。精度低下の原因は様々であるが、例えば周辺環境の明るさや、実物体と外向きカメラ１１０との距離によって、認識に係る精度が低下し、例えば境界がギザギザであったり、むらがあったりする、といったノイズが発生する場合がある。
　このような精度の低い手領域認識結果Ｒ１０２を用いて、仮想物体Ｖ１０２を遮蔽するように描画が行われると、得られた描画結果Ｄ１０２においても、仮想物体領域ＶＲ１０２と遮蔽領域ＣＲ１０２との境界にノイズが含まれる。そして、このような描画結果Ｄ１０２に基づいて表示が行われると、ユーザの視界Ｆ１０２においても、ノイズの影響が見られる。その結果、ユーザは仮想物体Ｖ１０２と実物体であるユーザの手Ｈ１０２との間の境界に違和感を覚える恐れがある。
　また、実物体の移動によっても、実物体と仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を持つ恐れがある。例えば、実物体の移動速度が大きい場合に、実物体と仮想物体との間の境界が適切に表現されないことがある。
　図４は、実物体の移動速度が大きい場合の表示例を説明するための説明図である。図４に示す例では、手Ｈ１０３のセンシングに基づく認識の結果得られる手領域認識結果Ｒ１０３の精度には、特に問題がない。そして、手領域認識結果Ｒ１０３を用いて、仮想物体Ｖ１０３を遮蔽するように描画が行われると、遮蔽領域ＣＲ１０３で遮蔽された仮想物体領域ＶＲ１０３を含む描画結果Ｄ１０３が得られる。
　ここで、実物体である手Ｈ１０３の移動速度が大きい場合、上記の認識や描画に係る処理が行われている間に手Ｈ１０３の位置が大きく移動し得る。その結果、描画結果Ｄ１０３に基づいて表示が行われた時点で、手Ｈ１０３がセンシング時点の位置から大きく移動しており、ユーザの視界Ｆ１０３において、仮想物体Ｖ１０３とユーザの手Ｈ１０２との間の境界が不自然になってしまっている。その結果、ユーザは仮想物体Ｖ１０３と実物体であるユーザの手Ｈ１０３との間の境界に違和感を覚える恐れがある。
　図３に示したように認識精度の低下に伴うノイズの影響を受けたユーザの視界Ｆ１０２、及び図４に示したように手Ｈ１０３の移動の影響を受けたユーザの視界Ｆ１０３は、例えば以下の２つの点でユーザに違和感を与える恐れがある。１点目は本来ユーザの手（実物体）が見えているべき領域に仮想物体が見えてしまうことである。２点目は、本来仮想物体が見えているべき領域に何も表示されず、背景の実空間が見えてしまうことである。この２点の違和感について、図４に示したユーザの視界Ｆ１０３の場合を例に、図５を参照して具体的に説明する。
　図５は、図４に示したユーザの視界Ｆ１０３における仮想物体Ｖ１０３とユーザの手Ｈ１０３との間の境界の不自然さについて説明するための説明図である。図５には、説明のための領域分けを図４に示したユーザの視界Ｆ１０３に対して行ったイメージ図ＩＦ１０３が示されている。イメージ図ＩＦ１０３では、領域ＨＶ１０３と領域ＶＨ１０３がそれぞれ異なるハッチング表現により示されている。領域ＨＶ１０３は、本来ユーザの手Ｈ１０３が見えているべきにもかかわらず、仮想物体Ｖ１０３が見えてしまっている領域を示している。一方、領域ＶＨ１０３は、本来仮想物体Ｖ１０３が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域を示している。なお、図５では、図４に示したユーザの視界Ｆ１０３を例に領域ＨＶ１０３と領域ＶＨ１０３とを示したが、図３に示したユーザの視界Ｆ１０２においても、同様に、理想的な視界とは異なってしまう２種類の領域が存在する
　このような理想的な視界とは異なってしまう２種類の領域が存在することにより、ユーザは仮想物体と実物体との間の境界に違和感を覚える恐れがある。そこで、本実施形態に係る情報処理装置１は、実物体のセンシングに基づく認識に係る認識情報に応じて、仮想物体と前記実物体との間の境界表現が異なるように表示を制御することで、ユーザに与える違和感を軽減する。以下、このような効果を有する本実施形態に係る情報処理装置１の構成例について、より詳細に説明を行う。
　　＜１－２．構成＞
　図６は、本実施形態に係る情報処理装置１の構成例を示すブロック図である。図６に示すように、情報処理装置１は、センサ部１１、制御部１２、表示部１３、スピーカー１４、通信部１５、操作入力部１６、および記憶部１７を有する。
　（センサ部１１）
　センサ部１１は、ユーザまたは周辺環境に関する各種情報を取得（センシング）する機能を有する。例えばセンサ部１１は、外向きカメラ１１０、内向きカメラ１１１、マイク１１２、ジャイロセンサ１１３、加速度センサ１１４、方位センサ１１５、位置測位部１１６、および生体センサ１１７を含む。なおここで挙げるセンサ部１１の具体例は一例であって、本実施形態はこれに限定されない。また、各センサはそれぞれ複数であってもよい。
　外向きカメラ１１０および内向きカメラ１１１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
　なお、本実施形態において、外向きカメラ１１０は、実空間におけるユーザの視界に相当する領域を撮像するように、画角、及び向きが設定されることが望ましい。また、外向きカメラ１１０は、複数設けられていてもよい。さらに、外向きカメラ１１０は、センシングによりデプスマップを取得可能なデプスカメラを含んでもよい。
　マイク１１２は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１２に出力する。
　ジャイロセンサ１１３は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
　加速度センサ１１４は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。
　方位センサ１１５は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
　位置測位部１１６は、外部からの取得信号に基づいて情報処理装置１の現在位置を検知する機能を有する。具体的には、例えば位置測位部１１６は、ＧＰＳ（Global　Positioning　System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１が存在している位置を検知し、検知した位置情報を制御部１２に出力する。また、位置測位部１１６は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
　生体センサ１１７は、ユーザの生体情報を検知する。具体的には、例えば心拍、体温、発汗、血圧、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、またはＳＰＯ２（血中酸素飽和度））などを検知し得る。
　（制御部１２）
　制御部１２は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、本実施形態による制御部１２は、図６に示すように、認識部１２０、及び表示制御部１２７として機能する。
　認識部１２０は、センサ部１１によりセンシングされた各種センサ情報に基づいて、ユーザに関する情報、または周辺状況に関する情報の認識（検出を含む）を行う機能を有する。認識部１２０は多様な情報を認識し得るが、例えば、認識部１２０は、外向きカメラ１１０の撮像（センシングの一例）により得られる撮像画像に基づいて、ユーザ周囲の実空間を３次元的に認識し、さらに実空間に存在する実物体に関する認識を行ってもよい。実空間の３次元的な認識は、例えば外向きカメラ１１０が複数のカメラを含む場合には、複数のカメラで得られた複数の撮像画像に対してステレオマッチングを行って得られるデプスマップを用いて行われてもよい。また、実空間の３次元的な認識は、時系列的な撮像画像に基づいて、撮像画像から検出された特徴点をフレーム間で対応付けることにより行われてもよい。また、外向きカメラ１１０がデプスカメラを含む場合には、デプスカメラのセンシングにより得られる距離画像に基づいて実空間の３次元的な認識が行われてもよい。
　上述したように認識部１２０は多様な情報を認識し得るが、特に本実施形態に係る認識部１２０は移動認識部１２１、形状認識部１２３、及び精度情報取得部１２５としての機能を有する。
　移動認識部１２１は、実物体のセンシングに基づき、実物体の移動に関する移動認識を行う。例えば、移動認識部１２１は、実物体のセンシングにより得られた撮像画像に基づいて、実物体の重心位置、及び姿勢の移動を認識してもよい。
　移動認識部１２１は、認識された重心位置、及び姿勢のフレーム間での移動を認識し、移動の認識により特定される実物体の移動速度の情報を、移動の認識に係る認識情報として、表示制御部１２７へ提供する。
　形状認識部１２３は、実物体のセンシングに基づき、実物体の３次元形状を認識する形状認識を行う。また、形状認識部１２３は形状認識と同時に実物体の位置、及び姿勢を認識してもよい。本実施形態に係る移動認識部１２１と形状認識部１２３は、位置、及び姿勢の認識に関して、情報の共有を行ってもよく、いずれか一方により認識された結果が他方に提供されてもよい。例えば、形状認識部１２３により認識された実物体の位置、及び姿勢に基づいて、移動認識部１２１が実物体の移動の認識を行ってもよい。
　形状認識部１２３は、認識した実物体の３次元形状に基づいて、３次元の頂点と辺の列で表現される３次元モデルを生成し、形状情報として表示制御部１２７へ提供する。後述するように、形状認識部１２３により生成された実物体の３次元モデルは、表示制御部１２７が仮想物体を遮蔽するように描画を行うために用いられる。そのため、以下では、係る３次元モデルを遮蔽モデルと呼称する場合がある。
　なお、形状認識部１２３は、外向きカメラ１１０により取得されるセンシングデータ（例えば撮像画像や距離画像）の時系列的な変化に基づき、実物体の３次元形状の変化（移動）の予測を行ってもよい。そして、形状認識部１２３は、予測に基づいて実物体の３次元形状を補正し、補正された３次元モデルを生成してもよい。例えば、形状認識部１２３は、認識部１２０の認識や表示制御部１２７の描画等にかかる処理時間を考慮した予測を行うことで、センシングに基づく表示が行われる時点の実物体に対応する、補正された３次元モデルを生成し得る。係る構成により、補正された３次元モデルに基づいて表示を行うことで、図４，図５を参照して説明したような、実物体の移動に伴う違和感を軽減することが可能となる。
　なお、実物体が手である場合、指の移動は手全体の移動に比べて早くないため、指だけが移動している場合にはこのような予測が当たりやすく、指の移動に伴う違和感を軽減することが可能である。一方、手全体が高速に移動している場合には、移動認識部１２１により取得された移動情報に基づく後述するような処理により、手全体の移動に伴う違和感が軽減され得る。なお、手と指の両方を同時に高速に動くことは少ない。
　精度情報取得部１２５は、形状認識部１２３による形状認識に係る認識精度の情報を取得する。例えば、精度情報取得部１２５は、形状認識部１２３が行う認識における信頼度や、外向きカメラ１１０を含むセンサ部１１により取得されるセンシングデータから推定されるセンシングデータに係る信頼度、誤差、または精度に基づいて認識精度を特定することで、認識精度を取得してもよい。
　例えば、形状認識部１２３がステレオマッチングにより得られたデプスマップに基づいて形状認識を行う場合、ステレオマッチングにおけるマッチングスコアの情報が信頼度として用いられて、認識精度の情報が特定されてもよい。
　また、外向きカメラ１１０がデプスカメラを含む場合、デプスカメラが出力するセンシングデータに係る信頼度に基づいて、認識精度の情報が取得されてもよい。
　また、センシングデータの誤差、及び精度は様々な方法で推定され得る。例えば、精度情報取得部１２５は、過去所定時間分のセンシングデータの分散を算出し、当該分散が大きい場合、または分散に大きな変化があった場合に、誤差が大きい（精度が低い）、と推定してもよい。センシングデータの誤差、または精度に基づいて認識精度の情報を取得することで、認識精度は、結果として認識の精度を反映したものとなる。
　上記で説明した信頼度や誤差、または精度は、単独で用いられて、または組み合わされて認識精度が特定されてもよい。また、精度情報取得部１２５による認識精度の特定方法は、上記に限定されず、得られるセンシングデータや認識部１２０が行う認識の方法に応じて様々な方法で特定されてもよい。
　精度情報取得部１２５は、取得した認識精度の情報を、形状認識に係る認識情報として、表示制御部１２７へ提供する。
　表示制御部１２７は、表示部１３の表示を制御する。例えば、表示制御部１２７は、実空間と同時に仮想物体を視認可能なように、仮想物体を表示部１３に表示させる。なお、表示制御部１２７は、仮想物体に係る情報を例えば記憶部１７から取得してもよいし、通信部１５を介して他の装置から取得してもよい。
　また、図２を参照して説明したように、本実施形態に係る表示制御部１２７は、形状認識部１２３の形状認識により得られた形状情報の一例である遮蔽モデルを用いて、仮想物体の遮蔽が行われるように表示を制御する。
　図７は、表示制御部１２７による遮蔽モデルを用いた仮想物体の遮蔽を説明するための説明図である。表示制御部１２７は、図７に示すような３次元的な仮想空間ＶＳ１０４に、仮想物体Ｖ１０４と遮蔽モデルＣＭ１０４を配置する。さらに、表示制御部１２７は、仮想空間ＶＳ１０４において、仮想的なカメラである仮想視点ＶＣでの描画を行うことで、２次元的な描画結果Ｄ１０４を得る。描画結果Ｄ１０４には、仮想物体領域ＶＲ１０４と、遮蔽モデル領域ＣＭＲ１０４が含まれている。表示制御部１２７は、例えば遮蔽モデル領域ＣＭＲ１０４を図２等を参照して説明した遮蔽領域として、遮蔽モデル領域ＣＭＲ１０４に何も表示されないように表示部１３の表示を制御することで、仮想物体Ｖ１０４を遮蔽する。係る構成により、図２を参照して説明したような仮想物体と実物体の位置関係が適切にユーザに理解されやすい表示を実現する。
　しかし、図３～５を参照して説明したように、認識精度や実物体の移動の影響により、上述した表示方法では仮想物体と実物体との間の境界が適切に表現されず、ユーザに違和感を与えてしまう恐れがある。そこで本実施形態に係る表示制御部１２７は、実物体のセンシングに基づく認識に係る認識情報に応じて、仮想物体と実物体との間の境界表現が異なるように表示部１３の表示を制御する。なお、表示制御部１２７が用いる認識情報は、上述したように、移動認識部１２１から提供される実物体の移動速度の情報、及び精度情報取得部１２５から提供される形状認識に係る認識精度の情報を含んでもよい。また、認識情報は、実物体のセンシングに基づく認識に応じて、第１の認識情報、または第１の認識情報とは異なる第２の認識情報を含むものと見做されてもよい。
　本明細書において境界表現とは、ユーザの視界における実物体と仮想物体の境界に関する表現、または当該境界の近傍位置（境界領域）に関する表現を意味する。また、境界表現を異ならせる、または境界表現を変更する、とは、表示形式等を異ならせることに加え、表示しないことを含む。なお、本明細書において、境界表現を異ならせる、とは、境界表現を第１の境界表現、または第１の境界表現とは異なる第２の境界表現の一方にすることとして、見做されてもよい。また、本明細書において、境界表現を変更する、とは、境界表現を第１の境界表現と第２の境界表現との間で変更することとして、見做されてもよい。なお、表示部１３が透過型である場合、表示しないことは、透過型の表示部１３を通して実空間が見えることに相当する。また、境界表現は、仮想物体の実物体による遮蔽を示す遮蔽表示に関する表現として見做されてもよい。
　図８～図１０を参照しながら、表示制御部１２７が行う、境界表現を異ならせるための処理の例について説明する。図８は、境界表現を異ならせるために３次元仮想空間において行われ得る処理の例を説明するための説明図である。図９は、境界表現を異ならせるために２次元描画結果において行われ得る処理の例を説明するための説明図である。図１０は、境界表現を異ならせるために行われ得る処理について整理した表である。
　例えば、表示制御部１２７は、境界表現を異ならせるために、図８に示す３次元的な仮想空間ＶＳ１０５において、遮蔽側の遮蔽モデルＣＭ１０５全体に対して処理を行ってもよい。例えば、表示制御部１２７は、遮蔽モデルＣＭ１０５全体の色を、遮蔽のための色から実物体（例えば手）に近い色に変更することで、境界表現を異ならせてもよい。以下の説明において、このような３次元仮想空間における遮蔽モデル全体に対する処理を、図１０に示すように、処理３Ｄ―Ｃ―Ａと呼ぶ場合がある。
　また、表示制御部１２７は、境界表現を異ならせるために、図８に示す３次元的な仮想空間ＶＳ１０５において、遮蔽モデルＣＭ１０５の一部に対して処理を行ってもよい。例えば、表示制御部１２７は、遮蔽モデルＣＭ１０５の輪郭部分ＣＭＰ１０５の透過度を上げることで、境界表現を異ならせてもよい。また、表示制御部１２７は、遮蔽モデルＣＭ１０５の輪郭部分ＣＭＰ１０５を拡張させることで、境界表現を異ならせてもよい。また、表示制御部１２７は、遮蔽モデルＣＭ１０５の輪郭部分ＣＭＰ１０５にエフェクト表示（以下、単にエフェクトという場合がある）を付加することで、境界表現を異ならせてもよい。以下の説明において、このような３次元仮想空間における遮蔽モデルの一部に対する処理を、図１０に示すように、処理３Ｄ―Ｃ―Ｐと呼ぶ場合がある。
　また、表示制御部１２７は、境界表現を異ならせるために、図８に示す３次元的な仮想空間ＶＳ１０５において、被遮蔽側の仮想物体Ｖ１０５全体に対して処理を行ってもよい。例えば、表示制御部１２７は、仮想物体Ｖ１０５全体の輝度を低下させることで、境界表現を異ならせてもよい。以下の説明において、このような３次元仮想空間における仮想物体全体に対する処理を、図１０に示すように、処理３Ｄ―Ｖ―Ａと呼ぶ場合がある。
　また、表示制御部１２７は、境界表現を異ならせるために、図８に示す３次元的な仮想空間ＶＳ１０５において、仮想物体Ｖ１０５の一部に対して処理を行ってもよい。例えば、表示制御部１２７は、仮想物体Ｖ１０５の一部に実物体（例えば手）の色に近い影ＶＰ１０５を設定することで、境界表現を異ならせてもよい。以下の説明において、このような３次元仮想空間における仮想物体の一部に対する処理を、図１０に示すように、処理３Ｄ―Ｖ―Ｐと呼ぶ場合がある。
　また、表示制御部１２７は、境界表現を異ならせるために、図９に示す２次元的な描画結果Ｄ１０５において、遮蔽側の遮蔽モデル領域ＣＭＲ１０５全体に対して処理を行ってもよい。例えば、表示制御部１２７は、遮蔽モデル領域ＣＭＲ１０５全体の色を、遮蔽のための色から実物体（例えば手）に近い色に変更することで、境界表現を異ならせてもよい。以下の説明において、このような２次元描画結果における遮蔽モデル領域全体に対する処理を、図１０に示すように、処理２Ｄ―Ｃ―Ａと呼ぶ場合がある。
　また、表示制御部１２７は、境界表現を異ならせるために、図９に示す２次元的な描画結果Ｄ１０５において、遮蔽モデル領域ＣＭＲ１０５の一部に対して処理を行ってもよい。例えば、表示制御部１２７は、遮蔽モデル領域ＣＭＲ１０５の輪郭部分ＣＭＰ１０５の透過度を上げたり、ぼかしたりしてブレンドすることで、境界表現を異ならせてもよい。以下の説明において、このような２次元描画結果における遮蔽モデル領域の一部に対する処理を、図１０に示すように、処理２Ｄ―Ｃ―Ｐと呼ぶ場合がある。
　また、表示制御部１２７は、境界表現を異ならせるために、図９に示す２次元的な描画結果Ｄ１０５において、被遮蔽側の仮想物体領域ＶＲ１０５全体に対して処理を行ってもよい。例えば、表示制御部１２７は、仮想物体領域ＶＲ１０５全体の輝度を低下させることで、境界表現を異ならせてもよい。以下の説明において、このような２次元描画結果における仮想物体領域全体に対する処理を、図１０に示すように、処理２Ｄ―Ｖ―Ａと呼ぶ場合がある。
　また、表示制御部１２７は、境界表現を異ならせるために、図９に示す２次元的な描画結果Ｄ１０５において、仮想物体領域ＶＲ１０５の一部に対して処理を行ってもよい。例えば、表示制御部１２７は、仮想物体領域ＶＲ１０５のうち、遮蔽モデル領域ＣＭＲ１０５との境界の近傍領域ＶＲＰ１０５のみを実物体（例えば手）の色に近づけることで、境界表現を異ならせてもよい。以下の説明において、このような２次元描画結果における仮想物体領域の一部に対する処理を、図１０に示すように、処理２Ｄ―Ｖ―Ｐと呼ぶ場合がある。
　なお、上述した表示制御部１２７が行う８つの処理３Ｄ―Ｃ―Ａ、処理３Ｄ―Ｃ―Ｐ、処理３Ｄ―Ｖ―Ａ、処理３Ｄ―Ｖ―Ｐ、処理２Ｄ―Ｃ―Ａ、処理２Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｖ―Ａ、及び処理２Ｄ―Ｖ―Ｐは、それぞれ単独で行われてもよいし、組み合わせて行われてもよい。表示制御部１２７は上述した処理を単独で、または組み合わせて行うことで、境界表現を多様に異ならせることが可能である。また、表示制御部１２７は上述した処理を単独で、または組み合わせて行うことで、表示部１３に表示させる画像を描画し、描画された画像を表示部１３に表示させる。
　なお、境界表現の具体例については、図１２～図２３を参照して後述する。
　（表示部１３）
　図６に戻って説明を続ける。表示部１３は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic　Light　Emitting　Diode）装置等により実現される。また、表示部１３は、透過型、半透過型、または非透過型であってもよい。
　（スピーカー１４）
　スピーカー１４は、制御部１２の制御に従って、音声信号を再生する。
　（通信部１５）
　通信部１５は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１５は、例えば有線ＬＡＮ（Local　Area　Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless　Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
　（操作入力部１６）
　操作入力部１６は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
　（記憶部１７）
　記憶部１７は、上述した制御部１２が各機能を実行するためのプログラムやパラメータを記憶する。例えば記憶部１７には、表示制御部１２７が表示させる仮想物体に関する情報が記憶されていてもよい。
　以上、本実施形態による情報処理装置１の構成について具体的に説明したが、本実施形態による情報処理装置１の構成は図６に示す例に限定されない。例えば情報処理装置１の制御部１２が有する少なくとも一部の機能が、通信部１５を介して接続される他の装置に存在してもよい。
　　＜１－３．動作＞
　以上、本実施形態に係る情報処理装置１の構成例について説明した。続いて、本実施形態に係る情報処理装置１の動作例について図１１を参照して説明する。図１１は、本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
　図１１に示すように、まずセンサ部１１の外向きカメラ１１０が、実物体のセンシング（例えば撮像）を行う（Ｓ１００）。続いて、制御部１２の認識部１２０の移動認識部１２１が、ステップＳ１００で行われたセンシングの結果に基づいて、実物体の移動に関する移動認識を行い、例えば移動速度の情報を特定する（Ｓ１１０）。
　また、認識部１２０の形状認識部１２３が、ステップＳ１００で行われたセンシングの結果に基づいて、実物体の形状認識を行い、遮蔽モデルを生成する（Ｓ１２０）。続いて、認識部１２０の精度情報取得部１２５が、形状認識部１２３の形状認識に係る認識精度の情報を取得する（Ｓ１３０）。
　続いて、表示制御部１２７が、表示させる仮想物体に関する情報を取得する（Ｓ１４０）。なお、ここで表示制御部１２７は、認識部１２０の認識結果に基づいて、表示させる仮想物体を特定してから、特定された仮想物体の情報を取得してもよい。
　続いて、表示制御部１２７は、ステップＳ１１０で特定された移動速度の情報（認識情報の一例）、及びステップＳ１３０で特定された認識精度の情報（認識情報の一例）に基づいて、境界表現を決定する（Ｓ１５０）。なお、ここで決定された境界表現の具体例については、図１２～図２３を参照して後述する。
　続いて、表示制御部１２７は、ステップＳ１５０で決定された境界表現に係る表示制御方法に従って、表示部１３に表示させる画像を描画する（Ｓ１６０）。さらに、表示制御部１２７の制御に従い、表示部１３が当該画像を表示する（Ｓ１７０）。
　以上、本実施形態に係る情報処理装置１の動作例について説明した。なお、ステップＳ１１０とステップＳ１２０～Ｓ１３０の処理の順序は逆であってもよいし、ステップＳ１１０とステップＳ１２０～Ｓ１３０の処理は並列に行われてもよい
　　＜１－４．境界表現の具体例＞
　続いて、境界表現の幾つかの具体例について、図１２～図２３を参照して説明を行う。
　（第１の具体例：遮蔽領域の拡縮）
　境界表現の第１の具体例として、表示制御部１２７が、認識情報（認識精度の情報、または移動速度の情報）に応じて、遮蔽領域を拡縮（拡張、または縮小）することで、境界表現を異ならせる例について説明する。図１２～図１５は、境界表現の第１の具体例を説明するための説明図である。
　図１２に示す例では、図３等を参照して説明した例と同様に、手領域認識結果Ｒ１１１の精度が低く、手領域ＨＲ１１１の境界にノイズが含まれている。そこで、表示制御部１２７は、認識精度の情報（認識情報の一例）に応じて、例えば認識精度が低い場合に、遮蔽に係る遮蔽領域が拡張されるように表示を制御してもよい。すなわち、表示制御部１２７は、認識情報が異なる場合に、遮蔽領域が異なる大きさを有するように表示を制御するものと見做されてもよい。
　例えば、図１２に示すように、手領域ＨＲ１１１を拡張して得られた拡張手領域ＤＨＲ１１１を含む拡張手領域認識結果ＤＲ１１１を用いて、仮想物体Ｖ１１１を遮蔽するように描画が行われると、描画結果Ｄ１１１が得られる。描画結果Ｄ１１１における遮蔽領域ＣＲ１１１は、図３に示した遮蔽領域ＣＲ１０２と比較して拡張されている。このように拡張された遮蔽領域ＣＲ１１１と、仮想物体領域ＶＲ１１１を含む描画結果Ｄ１１１に基づいて表示が行われると、ユーザの視界は視界Ｆ１１１のようになる。視界Ｆ１１１では、図３に示した視界Ｆ１０３と比較して、ノイズの影響が抑制されており、その結果、仮想物体Ｖ１１１と実物体であるユーザの手Ｈ１１１との間の境界に関してユーザに与える違和感が軽減される。
　また、図１２に示す例では、表示制御部１２７が認識精度の情報に応じて表示制御を行う例を説明したが、本具体例は係る例に限定されない。表示制御部１２７は、実物体の移動速度の情報（認識情報の一例）に応じて、例えば移動速度が大きい場合に、遮蔽に係る遮蔽領域が拡張されるように表示を制御してもよい。係る場合の処理の流れは、図１２を参照して説明した例と同様であるため、詳細な処理の流れについては説明を省略し、図１３を参照してその結果得られる効果について説明を行う。
　図４，図５を参照して説明したような実物体の移動速度が大きい場合に、遮蔽領域が拡張されるように表示制御が行われると、ユーザの視界は図１３に示す視界Ｆ１１２のようになる。また、図１３には、説明のための領域分けを視界Ｆ１１２に対して行ったイメージ図ＩＦ１１２が示されている。イメージ図ＩＦ１１２によれば、視界Ｆ１１２には、本来仮想物体Ｖ１１２が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域ＶＨ１１２が存在する。しかし、視界Ｆ１１２には、図５に示したＨＶ１０３のような、本来ユーザの手Ｈ１１２が見えているべきにもかかわらず、仮想物体Ｖ１１２が見えてしまっている領域は存在せず、図４，図５を参照して説明した例と比べ、ユーザに与える違和感が軽減される。
　なお、表示制御部１２７は、認識情報（例えば認識精度の情報、または移動速度の情報）に応じて遮蔽領域の拡張の度合（表現変更に係る強度の一例）を異ならせてもよい。例えば、表示制御部１２７は、認識精度が低い程、遮蔽領域がより拡張されるように、表示を制御してもよい。また、表示制御部１２７は、移動速度が大きい程、遮蔽領域がより拡張されるように、表示を制御してもよい。
　また、表示制御部１２７は、遮蔽領域を拡張する代わりに、矩形や楕円等の所定の形状で遮蔽領域を近似するように、表示を制御してもよい。例えば、近似する形状を遮蔽領域よりも大きくすることで、上記と同様の効果を得ることが可能となる。
　また、表示制御部１２７は、拡張された遮蔽領域の拡張に係る部分をフェードさせてもよい。係る例について図１４を参照して説明する。図１４に示す例においても、手領域認識結果Ｒ１１３の精度が低く、手領域ＨＲ１１３の境界にノイズが含まれている。
　図１４に示す例では、手領域ＨＲ１１３を拡張して得られた拡張手領域ＤＨＲ１１３を含む拡張手領域認識結果ＤＲ１１３を用いて、仮想物体Ｖ１１３を遮蔽するように描画が行われる、描画結果Ｄ１１３が得られる。ここで、拡張手領域ＤＨＲ１１３は、拡張に係る部分をフェードさせるように拡張されている。その結果、描画結果Ｄ１１３における遮蔽領域ＣＲ１１３においても、拡張に係る部分がフェードされている。このような遮蔽領域ＣＲ１１３と仮想物体領域ＶＲ１１３を含む描画結果Ｄ１１３に基づいて表示が行われると、ユーザの視界は、視界Ｆ１１３のようになる。その結果、視界Ｆ１１３において、仮想物体Ｖ１１３と実物体であるユーザの手Ｈ１１３との間の境界近傍の領域がフェードされ、ユーザに与える違和感がより軽減される。
　なお、図１４に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。
　また、表示制御部１２７は、遮蔽領域のうち、認識情報に応じた領域が拡縮されるように表示を制御してもよい。例えば、精度情報取得部１２５により提供された認識精度の情報に、認識精度が低い部分に関する情報（例えば位置の情報等）が含まれている場合、表示制御部１２７は、遮蔽領域のうち、認識精度が低い部分に応じた領域が拡張されるように、表示を制御してもよい。係る例について図１５を参照して具体的に説明する。
　図１５に示すようなノイズを含む手領域認識結果Ｒ１１４が得られた際に、表示制御部１２７が遮蔽領域のうち認識精度が低い部分に応じた領域が拡張されるように表示を制御すると、ユーザの視界は視界Ｆ１１４のようになる。視界Ｆ１１４において、本来仮想物体Ｖ１１４が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域は、認識精度が低い部分に応じた拡張部分領域ＦＲ１１４のみとなる。そして、拡張部分領域ＦＲ１１４以外の仮想物体Ｖ１１４と手Ｈ１１５との境界は高精度に表現されている。したがって、係る構成により、ユーザに与える違和感がより軽減される。
　また、表示制御部１２７は、遮蔽領域のうち認識精度が低い部分に応じた領域が拡張される場合に、図１４を参照して説明した例と同様に、拡張に係る部分をフェードさせてもよい。図１５に示す例では、ノイズを含む手領域認識結果Ｒ１１５が得られた際に、表示制御部１２７が遮蔽領域のうち認識精度が低い部分に応じた領域が拡張され、かつ拡張に係る部分がフェードされるように表示を制御すると、ユーザの視界は視界Ｆ１１５のようになる。視界Ｆ１１５において、認識精度が低い部分に応じた拡張部分領域ＦＲ１１５はフェードされているため、視界Ｆ１１４の例と比べて、ユーザに与える違和感がより軽減される。
　なお、図１５に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。例えば、移動認識部１２１により提供された移動速度の情報に、移動速度が大きい部分に関する情報（例えば位置の情報等）が含まれている場合、表示制御部１２７は、遮蔽領域のうち、移動速度が大きい部分に応じた領域が拡張されるように、表示を制御してもよい。
　以上、図１２～図１５を参照して、境界表現の第１の具体例について説明した。なお、上記では、遮蔽領域が拡張される例を説明したが、遮蔽領域が縮小される場合も同様である。遮蔽領域が縮小される場合には、ユーザの視界において、本来仮想物体が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域が減少して、ユーザに与える違和感が軽減される。
　また、上記の遮蔽領域の拡縮は、例えば図８～図１０を参照して説明した処理により実現可能である。例えば、上記の遮蔽領域の拡縮は、図１０の処理３Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｃ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることで実現可能である。
　（具体例２：エフェクトの付加）
　境界表現の第２の具体例として、表示制御部１２７が、認識情報（認識精度の情報、または移動速度の情報）に応じて、遮蔽に係る境界の近傍に、エフェクトが付加（重畳）されるように表示を制御することで、境界表現を異ならせる例について説明する。なお、遮蔽に係る境界の近傍とは、例えば図２等を参照して説明した遮蔽領域と仮想物体領域との境界の近傍であってもよい。また、遮蔽に係る境界の近傍とは、図８、図９を参照して説明した遮蔽モデルの輪郭部分や、遮蔽モデル領域と仮想物体領域との境界の近傍であってもよい。
　図１６～図２２は、境界表現の第２の具体例を説明するための説明図である。図１６に示す例では、図３等を参照して説明した例と同様に、手領域認識結果Ｒ１２１の精度が低く、手領域ＨＲ１２１の境界にノイズが含まれている。そこで、表示制御部１２７は、認識精度の情報（認識情報の一例）に応じて、例えば認識精度が低い場合に、遮蔽に係る境界の近傍に、エフェクトＥ１２１が付加されるように、表示を制御してもよい。図１６に示す例において、エフェクトＥ１２１は、グローのような光らせるエフェクトであってもよい。
　図１６に示す例において、表示制御部１２７は、手領域認識結果Ｒ１２１を用いて仮想物体Ｖ１２１を遮蔽すると共に、遮蔽に係る境界の近傍にエフェクトＥ１２１が付加されるように描画を行うことで、描画結果Ｄ１２１を得る。描画結果Ｄ１２１において、遮蔽領域ＣＲ１２１と仮想物体領域ＶＲ１２１の間に、エフェクト領域ＥＲ１２１が存在する。このような遮蔽領域ＣＲ１２１、仮想物体領域ＶＲ１２１、及びエフェクト領域ＥＲ１２１を含む描画結果Ｄ１２１に基づいて表示が行われると、ユーザの視界は視界Ｆ１２１のようになる。視界Ｆ１２１では、エフェクトＥ１２１が付加されたことにより、図３に示した視界Ｆ１０３と比較して、ノイズの影響が抑制されている。その結果、仮想物体Ｖ１２１と実物体であるユーザの手Ｈ１２１との間の境界に関してユーザに与える違和感が軽減される。
　また、図１６に示す例では、表示制御部１２７が認識精度の情報に応じて表示制御を行う例を説明したが、本具体例は係る例に限定されない。表示制御部１２７は、実物体の移動速度の情報（認識情報の一例）に応じて、例えば移動速度が大きい場合に、遮蔽に係る境界の近傍に、エフェクトが付加されるように、表示を制御してもよい。係る場合の処理の流れは、図１６を参照して説明した例と同様であるため、詳細な処理の流れについては説明を省略し、図１７を参照してその結果得られる効果について説明を行う。
　図４，図５を参照して説明したような実物体の移動速度が大きい場合に、遮蔽に係る境界の近傍に、エフェクトが付加されるように表示制御が行われると、ユーザの視界は図１７に示す視界Ｆ１２２のようになる。また、図１７には、視界Ｆ１２７に対して、説明のための細線と破線を追加したイメージ図ＩＦ１２２が示されている。イメージ図ＩＦ１２２に示される細線は、エフェクトが付加されない場合の、仮想物体Ｖ１２２の境界を示している。また、イメージ図ＩＦ１２２に示される破線は、エフェクトＥ１２２によって隠される実物体である手Ｈ１２２の境界を示している。イメージ図ＩＦ１２２によれば、視界Ｆ１２２には、図５に示したＶＨ１０３のような、本来仮想物体Ｖ１２２が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域は存在しない。また、イメージ図ＩＦ１２２によれば、図５に示したＨＶ１０３のような、本来ユーザの手Ｈ１１２が見えているべきにもかかわらず、仮想物体Ｖ１１２が見えてしまっている領域も存在しない。それら両方の領域を覆うように、遮蔽に係る境界の外側と内側の両方にエフェクトＥ１２２が付加されて表示されることにより、図４，図５を参照して説明した例と比べ、ユーザに与える違和感が軽減される。
　なお、表示制御部１２７は、認識情報（例えば認識精度の情報、または移動速度の情報）に応じてエフェクトの強度（表現変更に係る強度の一例）を異ならせてもよい。エフェクトの強度は、エフェクトの範囲の広さ、またはエフェクトの輝度（または明度）の大きさ等を含んでもよい。エフェクトの強度の例について、図１８を参照して説明する。図１８に示す視界Ｆ１２３の例では、手Ｈ１２３と仮想物体Ｖ１２３の境界近傍にエフェクトが付加されていない。図１８に示す視界Ｆ１２４の例は視界Ｆ１２３の例よりもエフェクトの強度を大きくした場合の例である。図１８に示す視界Ｆ１２４の例では、手Ｈ１２４と仮想物体Ｖ１２４の境界近傍にエフェクトＥ１２４が付加されている。図１８に示す視界Ｆ１２５の例は視界Ｆ１２４の例よりもさらにエフェクトの強度を大きくした場合の例である。図１８に示す視界Ｆ１２４の例において、エフェクトＥ１２５は、エフェクトＥ１２４と比べ広範囲に付加されている。エフェクトＥ１２５は、外側に拡張されているだけでなく、手Ｈ１２５と仮想物体Ｖ１２５の境界近傍に加え、手Ｈ１２５の全体にもエフェクトＥ１２５が付加されている。これは、内側へのエフェクトを拡張すると、手Ｈ１２５が見えにくくなる恐れがあるため、手Ｈ１２５全体に付加した方が、例えば操作用のユーザインタフェース（ＵＩ）のように見えて見やすくなるためである。
　図１８に示したようなエフェクトの強度の遷移は、例えば認識精度の高さ、または移動速度の大きさに応じて行われてもよい。例えば、表示制御部１２７は、認識精度が低い程、より強い強度を有するように、エフェクト表示を制御してもよい。また、表示制御部１２７は、移動速度が大きい程、より強い強度を有するように、エフェクト表示を制御してもよい。
　また、表示制御部１２７は、認識情報に応じた位置に、エフェクトが付加されるように表示を制御してもよい。例えば、精度情報取得部１２５により提供された認識精度の情報に、認識精度が低い部分に関する情報が含まれている場合、表示制御部１２７は、認識精度が低い部分の境界近傍に、エフェクトが付加されるように表示を制御してもよい。また、移動認識部１２１により提供された移動速度の情報に、移動速度が大きい部分に関する情報が含まれている場合、表示制御部１２７は、認識精度が低い部分の境界近傍に、エフェクトが付加されるように表示を制御してもよい。
　図１５～図１８を参照して説明したエフェクトの付加は、例えば図８～図１０を参照して説明した処理により実現可能である。例えば、遮蔽に係る境界近傍へのエフェクトの付加は、図１０の処理３Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｃ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることで実現可能である。また、図１８を参照して説明した実物体全体へのエフェクトの付加は、図１０の処理３Ｄ―Ｃ―Ａ、処理３Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｃ―Ａ、処理２Ｄ―Ｃ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることで実現可能である。
　なお、表示制御部１２７により付加されるエフェクトは、多様であり得る。以下に、いくつかのエフェクトの例を説明する。
　図１９に示すユーザの視界Ｆ１３１の例では、ユーザの手Ｈ１３１と仮想物体Ｖ１３１の境界が適切に表現されていない。これに対し、図２０に示す視界Ｆ１３２の例では、遮蔽に係る境界の近傍にグローのような光るエフェクトＥ１３２が付加される。なお、視界Ｆ１３２の例では、手Ｈ１３２の輪郭全体が覆われようにエフェクトＥ１３２が付加されているが、これは例えば図１０の処理３Ｄ―Ｃ―Ｐにより実現可能である。
　また、エフェクトＥ１３２は、例えば形状認識部１２３が行った実物体の３次元形状の変化（移動）の予測の結果に基づいて、モーションブラ―のような強度変化を有してもよい。例えば、エフェクトＥ１３２の強度は、予測された変化の開始位置と予測された変化の終了位置との間で変化していてもよい。このように、モーションブラ―のような強度変化を有するエフェクトＥ１３２が付加されることで、ユーザの手Ｈ１３２と仮想物体Ｖ１３２との間の境界に関して、ユーザに与える違和感が軽減される。
　また、図２０に示す視界Ｆ１３３の例では遮蔽に係る境界の近傍にグローのような光るエフェクトＥ１３３が付加される。なお、視界Ｆ１３３の例では、手Ｈ１３３と仮想物体Ｖ１３３の境界近傍に限定されてエフェクトＥ１３２が付加されている。このような表示制御は、例えば、図１０の処理３Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｃ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることで実現可能である。
　また、エフェクトＥ１３３は、エフェクトＥ１３２と同様に、形状認識部１２３が行った実物体の３次元形状の変化（移動）の予測の結果に基づいて、モーションブラ―のような強度変化を有してもよい。このようなエフェクトＥ１３３が付加された場合にも、ユーザの手Ｈ１３３と仮想物体Ｖ１３３との間の境界に関して、ユーザに与える違和感が軽減される。
　また、図２０を参照して説明した例において、エフェクトＥ１３２や、エフェクトＥ１３３の色を、実物体（例えば手）の色に近い色や、仮想物体の色に近い色とすることも可能である。なお、係る場合、エフェクトはモーションブラ―のような強度変化を有しても有していなくてもよい。係る構成によれば、実物体と仮想物体との間の境界に関して、ユーザに与える違和感がより軽減される。
　また、表示制御部１２７は、遮蔽に係る境界の近傍をぼかすようなエフェクトが付加されるように表示を制御してもよい。このような表示制御は、例えば、図１０の処理３Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｃ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることで実現可能である。
　なお、上記では、実物体の全体が仮想物体よりも手前に存在する場合を例に説明を行ったが、実物体の一部が仮想物体よりも奥に存在する場合であっても、表示制御部１２７は、エフェクトを付加することが可能である。係る場合について、図２１、図２２を参照して説明を行う。
　図２１に示す視界Ｆ１４１の例では、実物体である手の指Ｈ１４１の全体が仮想物体Ｖ１４１よりも手前に存在する。このような状態から、指Ｈ１４１が仮想物体Ｖ１４１と衝突する（指Ｈ１４１の一部が仮想物体Ｖ１４の中に入りこむ）ように移動した場合、ユーザの視界は、図２１に示す視界Ｆ１４２のようになることが望ましい。視界Ｆ１４２の例では、表示制御部１２７により、実物体が仮想物体と衝突するような表示制御が行われ、指Ｈ１４２と、仮想物体Ｖ１４２とが衝突したことが、指Ｈ１４２の一部が遮蔽されることで表現されている。
　ここで、認識精度が低い場合を考える、図２１に示す視界Ｆ１４３の例では、実物体である手の指Ｈ１４３の全体が仮想物体Ｖ１４３よりも手前に存在するが、ノイズの影響により、指Ｈ１４３と仮想物体Ｖ１４３との間の境界が適切に表現されていない。このような状態から、指Ｈ１４３が仮想物体Ｖ１４３と衝突するように移動した場合、表示制御部１２７により、実物体が仮想物体と衝突するような表示制御が行われると、ユーザの視界は、視界Ｆ１４４のようになる。視界Ｆ１４４では、本来仮想物体Ｖ１４４が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域、本来指Ｈ１４４が見えているべきにもかかわらず、仮想物体Ｖ１４４が見えてしまっている領域に加え、本来仮想物体Ｖ１４４が見えているべきにもかかわらず、指Ｈ１４４が見えてしまっている領域が存在する。
　視界Ｆ１４４のような例に対して、エフェクトを付加することを考える。係るエフェクトの付加を、図１０の処理３Ｄ―Ｃ―Ｐにより、遮蔽モデルの輪郭部分の近傍にエフェクトを付加することで実現した場合、ユーザの視界は、図２２に示す視界Ｆ１４５のようになり得る。視界Ｆ１４５の例では、エフェクトＥ１４５の存在により、本来仮想物体Ｖ１４５が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域、及び本来指Ｈ１４５が見えているべきにもかかわらず、仮想物体Ｖ１４５が見えてしまっている領域は存在しない。しかし、視界Ｆ１４５の例では、本来仮想物体Ｖ１４５が見えているべきにもかかわらず、指Ｈ１４５が見えてしまっている領域が存在し、ユーザに違和感を与え得る。
　そこで、表示制御部１２７は、図２２に示す視界Ｆ１４６のように、指Ｈ１４５（実物体の一例）と仮想物体Ｖ１４５の衝突に係る境界の近傍にもエフェクトＥ１４５が付加されるように表示を制御することが望ましい。係る表示制御を図１０の処理３Ｄ―Ｃ―Ｐにより実現する場合には、例えば、遮蔽モデルの輪郭部分の近傍のみならず、遮蔽モデルと仮想物体の衝突に係る境界の近傍にもエフェクトを付加すればよい。また、係る表示制御は図１０の処理２Ｄ―Ｃ―Ｐにより実現することも可能である。
　なお、図２２に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。
　（第３の具体例：仮想物体の視認性制御）
　以上、図１６～図２２を参照して、境界表現の第２の具体例について説明した。続いて、境界表現の第３の具体例として、表示制御部１２７が、認識情報（認識精度の情報、または移動速度の情報）に応じて、異なる視認性を有するように仮想物体の表示を制御することで、境界表現を異ならせる例について説明する。
　図２３は、境界表現の第３の具体例を説明するための説明図である。図２３に示すユーザの視界Ｆ１５１の例では、認識精度が低いために、実物体であるユーザの手Ｈ１５１と、仮想物体Ｖ１５１との間の境界が適切に表現されていないため、ユーザに違和感を与える恐れがある。
　そこで、表示制御部１２７は、認識精度が低い場合に、仮想物体の視認性を低下させるように表示を制御してもよい。係る構成により、実物体と仮想物体との間の境界に係る違和感が軽減される。
　例えば、図２３に示す視界Ｆ１５２の例では、仮想物体Ｖ１５２がワイヤフレームレンダリングにより表示されることで、手Ｈ１５２と仮想物体Ｖ１５２との間の境界に係る違和感が軽減される。また、図２３に示す視界Ｆ１５３の例では、仮想物体Ｖ１５３の輝度が低下させられ、半透明に見えることで、手Ｈ１５３と仮想物体Ｖ１５３との間の境界に係る違和感が軽減される。
　また、図２３に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。また、図２３に示したような仮想物体の視認性を低下させる表示制御は、図１０の処理３Ｄ―Ｖ―Ａにより実現可能である。
　なお、表示制御部１２７が行う視認性を異ならせる表示制御は、図２３に示す例に限定されない。例えば、表示制御部１２７は、仮想物体の色の彩度変更や、テクスチャや模様の有無等により、視認性を異ならせてもよい。また、表示制御部１２７は、仮想物体の表示解像度を低下させることで、視認性を低下させてもよい。
　また、図２３では、表示制御部１２７が仮想物体の全体の視認性を低下させる例を示したが、表示制御部１２７は、仮想物体の一部領域（例えば所定の形状の領域）の視認性を低下させるように表示を制御してもよい。係る表示制御は、例えば図１０に示した処理３Ｄ―Ｖ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることにより実現可能である。
　　＜１－５．変形例＞
　以上、本開示の第１の実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
　（変形例１－１）
　上述した境界表現の第３の具体例は、ユーザが実物体を用いて仮想物体に対する操作を行う場合に特に有効となり得る。例えば、手や指等の実物体を用いて、ボタン（仮想物体）を押す操作や、文字列（仮想物体）を選択する操作等は、細かい操作となり得るため、遮蔽領域が拡張されたり、エフェクトにより、本来見えるべき仮想物体の一部が見えなくなってしまうと操作に支障が発生し得る。一方、上記のような視認性を低下させる表示制御が行われた場合には、視認性は低下するものの、本来見えるべき仮想物体を見ることが可能であるため、操作への影響が小さい。
　そこで、実物体を用いた仮想物体に対する操作が行われる場合に、表示制御部１２７は、操作に係る操作情報にさらに応じて、境界表現が異なるように表示を制御してもよい。すなわち、表示制御部１２７は、仮想物体が実物体により操作可能な仮想物体である場合、複数の境界表現のうち、仮想物体の表示領域がより大きい境界表現を示すように遮蔽表示を制御するものと見做されても良い。操作情報は、例えば認識部１２０により認識されて、表示制御部１２７へ提供されてもよい。そして、表示制御部１２７は、認識部１２０により認識された操作情報に応じて、上述した境界表現の具体例のうち、より適切なものを選択して表示制御を行ってもよい。例えば、認識部１２０により、細かい操作が行われていると認識された場合、表示制御部１２７は、認識情報に応じて、仮想物体の視認性を異ならせてもよい。なお、操作情報は、認識部１２０から提供される例に限定されず、例えば仮想物体の形状等から特定されてもよい。
　係る構成によれば、例えば、操作の種類に応じた表示制御が行われて、ユーザの操作に支障が発生し難いという効果が得られる。
　（変形例１－２）
　また、上述した境界表現の第３の具体例のうちの一部は、仮想物体に係るコンテンツによっては、適用が困難である場合がある。そこで、表示制御部１２７は、仮想物体に係るコンテンツ情報にさらに応じて、境界表現が異なるように表示を制御してもよい。
　例えば、仮想物体に関するコンテンツがテキストや３次元形状である場合には、ワイヤフレームレンダリングが可能であるため、表示制御部１２７は、ワイヤフレームレンダリングを行うことで視認性を低下させてもよい。一方、仮想物体に関するコンテンツが画像（静止画像、または動画像）である場合には、ワイヤフレームレンダリングが困難であるため、仮想物体の輝度を低下させて、半透明に見えるようにすることで、視認性を低下させてもよい。すなわち、表示制御部１２７は、仮想物体が３次元形状を有するか否かに応じて、遮蔽表示を制御するものと見做されても良い。
　係る構成によれば、コンテンツに応じた表示制御が可能となるため、ユーザに与える違和感がより軽減される。
　（変形例１－３）
　また、表示制御部１２７は、認識精度の情報に基づいて、仮想物体の配置（位置、姿勢、大きさ等）を制御してもよい。図２４は、表示制御部１２７が認識精度の情報に基づいて、仮想物体の配置を制御する変形例を説明するための説明図である。
　図２４に示す認識結果Ｒ１６１は、実物体であるユーザの手Ｈ１６１のセンシングに基づいた認識の結果である。また、認識結果Ｒ１６１には、認識精度の情報も示されており、認識結果Ｒ１６１において、白色の領域は、認識精度の低い領域である。したがって、例えば、認識結果Ｒ１６１における認識精度の低い領域ＬＲ１６１に対応する場所に仮想物体が配置されると、仮想物体と実物体との間の境界が適切に表現されない恐れがある。そこで、表示制御部１２７は、認識結果Ｒ１６１における認識精度の高い領域ＨＲ１６１に対応する場所に、仮想物体を配置してもよく、係る場合のユーザの視界は視界Ｆ１６１のようになる。視界Ｆ１６１の例では、手Ｈ１６１と仮想物体Ｖ１６１との間の境界が適切に表現され、ユーザの違和感がより軽減される。
　なお、例えば、仮想物体に係るコンテンツによっては、当該仮想物体の配置を異ならせるべきではない場合があるため、上述した仮想物体の配置の制御は、コンテンツ情報に基づいて行われてもよい。
　（変形例１－４）
　また、上述した境界表現の第２の具体例では、表示制御部１２７は、遮蔽に係る境界の近傍にエフェクトを付加する例を説明したが、本実施形態は係る例に限定されない。例えば、表示制御部１２７は、認識情報に応じて、遮蔽に係る遮蔽領域の内部にエフェクトが付加されるように表示を制御してもよい。図２５、図２６は、表示制御部１２７が認識情報に応じて、遮蔽に係る遮蔽領域の内部にエフェクトが付加されるように表示を制御する変形例を説明するための説明図である。
　図２５に示す例では、手Ｈ１７１のセンシングに基づく認識の結果得られた手領域認識結果Ｒ１７１の精度が低く、手領域ＨＲ１７１の内部にノイズが含まれている。このような精度の低い手領域認識結果Ｒ１７１を用いて、仮想物体Ｖ１７１を遮蔽するように描画が行われると、得られた描画結果Ｄ１７１においても、遮蔽領域ＣＲ１７１の内部にノイズが含まれる。そして、このような描画結果Ｄ１７１に基づいて表示が行われると、ユーザの視界Ｆ１７１においても、ノイズの影響が見られる。具体的には、本来ユーザの手Ｈ１７１が見えているべき領域に仮想物体Ｖ１７１が見えてしまっており、ユーザに違和感を与える恐れがある。
　そこで、表示制御部１２７は、認識精度の情報（認識情報の一例）に応じて、例えば認識精度が低い場合に、遮蔽領域ＣＲ１７１の内部にエフェクトが付加されるように、表示を制御してもよい。
　例えば、図２６に示す視界Ｆ１７２のように、表示制御部１２７は、遮蔽領域の内部にエフェクトＥ１７２が付加されるように、表示を制御してもよい。係る構成により、本来ユーザの手Ｈ１７１が見えているべき領域に仮想物体Ｖ１７１が見えてしまっている領域がエフェクトＥ１７１により視認され難くなり、ユーザへ与える違和感が軽減される。
　なお、エフェクトＥ１７２は動きのあるエフェクトであってもよく、例えばビデオノイズのようなエフェクトであってもよい。エフェクトＥ１７１がビデオノイズのようなエフェクトであることにより、ユーザは、手Ｈ１７２の認識精度が低下していることを把握可能である。
　また、図２６に示す視界Ｆ１７３のように、表示制御部１２７は、遮蔽領域の内部に複数の動きのあるパーティクルを含むエフェクトＥ１７３が付加されるように、表示を制御してもよい。係る構成により、本来ユーザの手Ｈ１７３が見えているべき領域に仮想物体Ｖ１７３が見えてしまっている領域がエフェクトＥ１７３により視認され難くなり、ユーザへ与える違和感が軽減される。
　また、認識精度の情報に、手Ｈ１７３と外向きカメラ１１０との距離が近すぎることにより認識精度が低下していることを示す情報が含まれている場合、表示制御部１２７は、エフェクトＥ１７３に含まれるパーティクルがユーザの顔めがけて飛んでくるように表示制御を行ってもよい。係る構成によれば、手Ｈ１７３を外向きカメラ１１０から遠ざけるように、ユーザを誘導することが可能である。
　また、認識精度の情報に、認識精度が低い部分に関する情報（例えば位置の情報等）が含まれている場合、表示制御部１２７は、エフェクトＥ１７３に含まれるパーティクルが、手Ｈ１７３を適切に認識される位置に誘導するように、表示を制御してもよい。係る構成によれば、手Ｈ１７３をより高精度に認識される位置に移動させるように、ユーザを誘導することが可能である。
　　＜１－６．効果＞
　以上、本開示の第１の実施形態について説明した。本実施形態によれば、実物体のセンシングに基づく認識に係る認識情報に応じて、仮想物体と前記実物体との間の境界表現が異なるように表示を制御することで、ユーザに与える違和感を軽減することが可能である。
　＜＜２．第２の実施形態＞＞
　　＜２－１．概要＞
　続いて、本開示の第２の実施形態について説明する。なお、第２の実施形態は、一部において第１の実施形態と同様であるため、適宜省略しながら説明する。以下、第１の実施形態で説明した構成と同様の構成については、同一の符号を付すことで、説明を省略する。
　図２７、図２８は、本開示の第２の実施形態の概要を説明するための説明図である。図２７に示すように、実物体であるユーザの手Ｈ２０１のセンシングに基づいて形状認識を行うと、形状認識結果Ｒ２０１が得られる。さらに、形状認識結果Ｒ２０１に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２０１が得られる。しかし、上述した形状認識と、描画に係る処理を行っている間に、手Ｈ２０１が移動してしまうと、ユーザの視界は視界Ｆ２０１のようになる。視界Ｆ２０１の例では、手Ｈ２０１の移動の影響で、仮想物体Ｖ２０１とユーザの手Ｈ２０１との間の境界が不自然になってしまっている。
　そこで、以下に説明する本実施形態では、形状認識に係る処理負荷、及び描画に係る処理負荷を軽減させて、実物体のセンシングから表示までに係る時間を短縮する。実物体のセンシングから表示までに係る時間を短縮させることで、図２７の視界Ｆ２０２に示すように、仮想物体Ｖ２０２とユーザの手Ｈ２０２との間の境界が適切に表現されやすくなる。その結果、ユーザに与える違和感が軽減する。
　例えば、実物体の移動速度に応じて、形状認識に係る処理負荷、及び描画に係る処理負荷を変化させてもよい。より具体的には、実物体の移動速度が第１の移動速度であるという移動情報が得られた場合、実物体の移動速度が第１の移動速度よりも小さい第２の移動速度であるという移動情報が得られた場合よりも、形状認識に係る処理負荷、及び表示制御部が行う描画に係る処理負荷のうち少なくともいずれか一方を減少させてもよい。例えば、実物体の移動速度が大きい（実物体の移動速度が第１の移動速度である）場合に、形状認識に係る処理負荷、及び描画に係る処理負荷が軽減されることが望ましい。実物体の移動速度の速度に応じて処理負荷を軽減させる例について、図２８を参照して説明する。
　図２８に示す実物体であるユーザの手Ｈ２０３は低速に移動している。なお、手Ｈ２０３上の矢印は、手Ｈ２０３の移動を示している。まず、手Ｈ２０３のセンシングに基づいて、移動認識が行われる。移動認識の結果、手Ｈ２０３の移動が低速であると判定されると、形状認識が行われ認識結果Ｒ２０３が得られる。なお、認識結果Ｒ２０３上の矢印は、移動認識により認識された手Ｈ２０３の移動を示している。
　そして、認識結果Ｒ２０３に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２０３が得られ、描画結果Ｄ２０３に基づいて表示が行われると、ユーザの視界は、視界Ｆ２０３のようになる。ここで、手Ｈ２０３の移動が低速である場合には、手Ｈ２０３の移動の影響が小さく、視界Ｆ２０３の例では仮想物体Ｖ２０３とユーザの手Ｈ２０３との間の境界が適切に表現され得る。
　一方、図２８に示す手Ｈ２０４は高速に移動している。手Ｈ２０４のセンシングに基づいて、移動認識が行われた結果、手Ｈ２０４の移動が高速であると判定されると、以前に行われた形状認識の結果である、記憶された形状認識結果ＭＲ２０４が再利用される。係る場合形状認識は行われなくてもよい。したがって、形状認識に係る処理負荷が大きく軽減され得る。なお、図２８に示す例では、記憶された形状認識結果ＭＲ２０４は、認識結果Ｒ２０３に含まれる形状認識結果であるが、本実施形態は係る例に限定されず、記憶された形状認識結果ＭＲ２０４は、例えば直前のフレームで行われた形状認識の結果であってもよい。
　そして、移動認識により得られた移動情報に基づいて、記憶された形状認識結果ＭＲ２０４を移動、及び変形させることで、認識結果Ｒ２０４が得られる。そして、さらに、手Ｈ２０４の移動が高速であると判定された場合、描画が行われる前に、ポリゴン数が削減されてもよい。ポリゴン数削減により、描画に係る処理負荷が軽減される。ポリゴン数が削減された認識結果に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２０４が得られ、描画結果Ｄ２０４に基づいて表示が行われると、ユーザの視界は、視界Ｆ２０４のようになる。上記のように、形状認識に係る処理負荷と、描画に係る処理負荷が軽減されたことで、手Ｈ２０４の移動が高速であっても、視界Ｆ２０４の例では仮想物体Ｖ２０４とユーザの手Ｈ２０４との間の境界が適切に表現され得る。
　以上、本実施形態の概要について説明した。上述したように、本実施形態では、実物体の移動速度が大きい場合に、形状認識に係る処理負荷、及び描画に係る処理負荷を軽減させることで、実物体の移動の影響を抑制し、ユーザに与える違和感を軽減させる。以下、このような効果を有する本実施形態の構成について詳細に説明する。
　　＜２－２．構成＞
　図２９は、本開示の第２の実施形態に係る情報処理装置１－２の構成例を示すブロック図である。図２９に示した構成のうち、図６に示した構成と同一の符号を付された構成は、図６に示した構成と同様であるため、説明を省略する。図２９に示すように、本実施形態に係る情報処理装置１－２は、制御部１２－２の機能が図２に示した制御部１２と一部異なる点で、第１の実施形態に係る情報処理装置１と異なる。
　制御部１２－２は、第１の実施形態に係る制御部１２と同様、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１－２内の動作全般を制御する。また、本実施形態による制御部１２－２は、図８に示すように、認識部１２０－２、及び表示制御部１２８として機能する。
　認識部１２０－２は、図２に示した認識部１２０と同様に、センサ部１１によりセンシングされた各種センサ情報に基づいて、ユーザに関する情報、または周辺状況に関する情報の認識（検出を含む）を行う機能を有する。図２９に示すように、本実施形態に係る認識部１２０－２は、移動認識部１２２、形状認識部１２４、及び移動変形部１２６としての機能を有する点で図２に示した認識部１２０と異なる。＾
　移動認識部１２２は、実物体のセンシングに基づき、実物体の移動に関する移動認識を行う。例えば、移動認識部１２２は、実物体のセンシングにより得られた撮像画像に基づいて、実物体の重心位置、及び姿勢の移動を認識してもよい。実物体の重心位置は、例えば３次元的な認識により得られる３次元点群の重心を計算することにより得られてもよいし、撮像画像から検出された実物体の２次元的な重心位置として得られてもよい。また、姿勢の検出には、重心周りの主成分分析等が用いられてもよい。
　移動認識部１２２は、認識された重心位置、及び姿勢のフレーム間での移動を認識し、移動の認識により特定される実物体の移動速度の情報を、移動の認識に係る認識情報として取得し、形状認識部１２４、移動変形部１２６、及び表示制御部１２８へ提供する。
　なお、本実施形態に係る移動認識部１２２は、形状認識部１２４が行う認識よりも高速に移動に関する認識を行うことが望ましい。そして、図２８を参照して説明したように、移動認識部１２２が行う移動認識により得られる移動情報に応じて、形状認識部１２４が行う形状認識に係る処理負荷、及び表示制御部１２８が行う描画に係る処理負荷のうち少なくとも一方が変化するように制御が行われる。なお係る制御は、形状認識部１２４や表示制御部１２８自身が移動速度に基づいて判定を行うことで行われてもよいし、制御部１２－２が処理モードを決定することで行われてもよい。例えば、制御部１２－２は、移動速度が所定の閾値よりも大きい場合に、処理モードを高速モードに決定し、移動速度が所定の閾値以下の場合に、処理モードを低速モードに決定してもよい。そして、制御部１２－２が決定した処理モードに従って、形状認識部１２４や表示制御部１２８が形状認識や描画を行ってもよい。
　形状認識部１２４は、実物体のセンシングに基づき、実物体の３次元形状を認識する形状認識を行う。また、形状認識部１２４は形状認識と同時に実物体の位置、及び姿勢を認識してもよい。また、形状認識部１２４は、認識した実物体の３次元形状に基づいて、３次元の頂点と辺の列で表現される３次元モデルを生成し、形状情報として表示制御部１２７へ提供する。第１の実施形態において図７を参照して説明したように、形状認識部１２４により生成された実物体の３次元モデルは、表示制御部１２８が仮想物体を遮蔽するように描画を行うための遮蔽モデルとして用いられる。また、本実施形態に係る形状認識部１２４により生成された実物体の３次元モデルは形状認識結果として、記憶部１７に記憶される。
　また、形状認識部１２４は、第１の実施形態に係る形状認識部１２３と同様に、実物体の３次元形状の変化（移動）の予測を行い、予測に基づいて実物体の３次元形状を補正し、補正された３次元モデルを生成してもよい。
　また、図２８を参照して説明したように、本実施形態に係る形状認識部１２４は、移動認識部１２２から提供される移動情報に含まれる実物体の移動速度が大きい場合（高速モードである場合）に、形状認識を行わなくて（省略して）もよい。係る構成によれば、移動速度が大きい場合には形状認識に係る処理負荷が大きく軽減され、処理時間の短縮につながる。
　移動変形部１２６は、図２８を参照して説明したように、移動認識部１２２から提供される移動情報に含まれる実物体の移動速度が大きい場合（高速モードである場合）に、当該移動情報に基づいて、記憶部１７に記憶された形状認識結果を、移動、及び変形させる。なお、移動変形部１２６が行う形状認識結果の変形は、例えば形状認識結果の拡大、または縮小を含んでもよい。
　また、移動変形部１２６による形状認識結果の移動、及び変形は、形状認識部１２４による形状認識よりも高速に行われることが望ましい。移動変形部１２６による移動、及び変形により得られた形状認識結果は、表示制御部１２８に提供されて、仮想物体を遮蔽するように描画を行うための遮蔽モデルとして用いられる。
　係る構成により、移動速度が大きく、形状認識が行われない場合であっても、記憶された形状認識結果を再利用して、描画に用いられる遮蔽モデルをより高速に得ることが可能である。
　表示制御部１２８は、第１の実施形態に係る表示制御部１２７と同様に、表示部１３の表示を制御する。例えば、表示制御部１２８は、実空間と同時に仮想物体を視認可能なように、仮想物体を表示部１３に表示させる。また、表示制御部１２８は、第１の実施形態に係る表示制御部１２７と同様に遮蔽モデルを用いて、仮想物体の遮蔽が行われるように表示を制御する。
　また、図２８を参照して説明したように、本実施形態に係る表示制御部１２８は、移動認識部１２２が行う移動認識により得られる移動情報に応じて、遮蔽モデルのポリゴン数を削減してもよい。例えば、移動情報に含まれる移動速度が大きい場合（高速モードである場合）に、表示制御部１２８は、遮蔽モデルのポリゴン数を削減してから、描画を行ってもよい。係る構成により、描画に係る処理負荷が軽減され、処理時間の短縮につながる。
　図３０は、表示制御部１２８による遮蔽モデルのポリゴン数削減の一例を示す説明図である。表示制御部１２８は、遮蔽モデルＣＭ２０５のポリゴン数を削減して、遮蔽モデルＣＭ２０６を生成してもよい。なお、遮蔽モデルＣＭ２０６を生成するためのポリゴン数の削減は、遮蔽モデルＣＭ２０５において、水平方向に走査しながらポリゴンを連結させることで行われてもよい。このような遮蔽モデルＣＭ２０６に基づいて、表示制御部１２８が描画を行うことで、遮蔽モデルの描画結果Ｄ２０６が得られる。なお、遮蔽モデルのポリゴン数の削減は、図３０に示した例に限定されず、多様な方法で行われ得る。
　　＜２－３．動作＞
　以上、本実施形態に係る情報処理装置１の構成例について説明した。続いて、本実施形態に係る動作例について説明する。以下では、まず図３１、図３２を参照して、形状認識に係る処理負荷、及び描画に係る処理負荷が軽減されない場合の動作の例を比較例として説明する。
　図３１は、本比較例の動作を示すフローチャートである。図３１に示すように、まず実物体のセンシングが行われ（Ｓ９００）、表示させる仮想物体に関する情報が取得され（Ｓ９１０）。続いてステップＳ９００で行われたセンシングの結果に基づいて、実物体の形状認識が行われる（Ｓ９６０）。さらに、ステップＳ９６０で行われた形状認識の結果に基づいて、仮想物体が遮蔽されるように描画が行われる（Ｓ９７０）。そして、ステップＳ９７０の描画結果に基づいて、表示が行われる（Ｓ９８０）。
　図３２は、本比較例に係るタイミングチャート図である。なお、図３２に示す例では、実物体の移動速度によらず、センシングの開始から、表示の開始までに期間Ｔ１を要する。なお、期間Ｔ１は、図３２に示すようにセンシング間隔ｔの３倍の期間である。例えばセンシング間隔ｔが１／６０秒である場合、センシングの開始から、表示の開始までに１／２０秒を要し、実物体の移動速度によっては、ユーザは大きな違和感を覚える。
　続いて、図３３、図３４を参照して本実施形態に係る情報処理装置１－２の動作例について説明する。図３３は、本実施形態に係る情報処理装置１－２の動作例を示すフローチャート図である。
　図３３に示すように、まずセンサ部１１の外向きカメラ１１０が、実物体のセンシング（例えば撮像）を行う（Ｓ２００）。続いて、表示制御部１２８が、表示させる仮想物体に関する情報を取得する（Ｓ２１０）。
　続いて、制御部１２－２の認識部１２０－２の移動認識部１２２が、ステップＳ２００で行われたセンシングの結果に基づいて、実物体の移動に関する移動認識を行い、例えば移動速度の情報を特定する（Ｓ２２０）。続いて、制御部１２－２は、ステップＳ２２０で特定された移動速度の情報に基づいて、低速モードであるか、高速モードであるかを決定する（Ｓ２３０）。
　ここで、高速モードである場合には形状認識結果が再利用され（Ｓ２４０においてＹＥＳ）、認識部１２０－２の移動変形部１２６が、記憶された形状認識結果を、移動、及び変形させて遮蔽モデルを取得する（Ｓ２５０）。一方、低速モードである場合には形状認識結果が再利用されず（Ｓ２４０においてＮＯ）、認識部１２０－２の形状認識部１２４が形状認識を行って、遮蔽モデルを生成する（Ｓ２６０）。
　続いて、制御部１２－２の表示制御部１２８が、ステップＳ２５０またはステップＳ２６０で得られた遮蔽モデルに基づいて、仮想物体が遮蔽されるように描画を行う（Ｓ２７０）。さらに、表示制御部１２８の制御に従い、表示部１３が当該画像を表示する（Ｓ２８０）。最後に、最新の形状認識結果が記憶される（Ｓ２９０）。
　図３４は、本実施形態に係るタイミングチャート図である。図３４に示すように、本実施形態においては、高速モードにおいて、センシングの開始から、表示の開始までに期間Ｔ２を要する。ここで、期間Ｔ２は、図３４に示すようにセンシング間隔ｔの２倍の期間であり、図３２に示した期間Ｔ１よりも短い。したがって、実物体の移動による影響が抑制されて、ユーザに与える違和感が軽減される。
　　＜２－４．変形例＞
　以上、本開示の第２の実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
　（変形例２－１）
　上記では、形状認識部１２４が、実物体の３次元形状を形状認識結果として認識する例を説明した。しかし、本実施形態は係る例に限定されない。例えば、形状認識部１２４は、所定の形状を有し、実物体の形状の近似となる近似モデルを形状認識結果として認識してもよい。例えば、所定の形状は直方体や楕円体、円柱等であってもよい。また、近似モデルとして実物体の形状を覆うような３次元モデルが認識されてもよい。また、係る場合、移動変形部１２６は、記憶された近似モデルを記憶された形状認識結果として用いて、近似モデルの移動、及び変形により、形状認識結果である遮蔽モデルを取得してもよい。
　係る変形例について、図３５を参照して説明する。図３５は、本変形例について説明するための説明図である。
　図３５に示す実物体であるユーザの手Ｈ２１１は低速に移動している。なお、手Ｈ２１１上の矢印は、手Ｈ２１１の移動を示している。まず、手Ｈ２１１のセンシングに基づいて、移動認識部１２２による移動認識が行われる。移動認識の結果、手Ｈ２１１の移動速度が小さい（低速モードである）と判定されると、形状認識部１２４により形状認識（近似モデルの認識）が行われ認識結果Ｒ２１１が得られる。なお、認識結果Ｒ２１１上の矢印は、移動認識部１２２により認識された手Ｈ２１１の移動を示している。
　そして、認識結果Ｒ２１１に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２１１が得られ、描画結果Ｄ２１１に基づいて表示が行われると、ユーザの視界は、視界Ｆ２１１のようになる。
　一方、図３５に示す手Ｈ２１２は高速に移動している。手Ｈ２１２のセンシングに基づいて、移動認識部１２２による移動認識が行われ、手Ｈ２１２の移動が高速であると判定されると、以前に行われた形状認識（近似モデルの認識）の結果である、記憶された形状認識結果ＭＲ２１２が再利用される。係る場合、形状認識は行われなくてもよい。したがって、形状認識に係る処理負荷が大きく軽減され得る。なお、図３５に示す例では、記憶された形状認識結果ＭＲ２１２は、認識結果Ｒ２１１に含まれる形状認識結果であるが、本実施形態は係る例に限定されず、記憶された形状認識結果ＭＲ２１２は、例えば直前のフレームで行われた形状認識の結果であってもよい。
　そして、移動変形部１２６が移動情報に基づいて、記憶された形状認識結果ＭＲ２１２を移動、及び変形させることで、認識結果Ｒ２１２が得られる。さらに、手Ｈ２１２の移動が高速であると判定された場合、描画が行われる前に、ポリゴン数が削減されてもよい。ポリゴン数削減により、描画に係る処理負荷が軽減される。ポリゴン数が削減された認識結果に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２１２が得られ、描画結果Ｄ２１２に基づいて表示が行われると、ユーザの視界は、視界Ｆ２１２のようになる。
　なお、図３５に示す例では、形状認識部１２４は移動速度が小さい（移動が低速である）場合に、近似モデルを形状認識結果として認識する例を説明したが、本変形例は係る例に限定されない。例えば形状認識部１２４は、実物体の移動速度に応じて、実物体の３次元形状を認識するか、実物体の近似モデルを認識するか、を切り替えてもよい。例えば、形状認識部１２４は、移動速度が小さい場合に実物体の３次元形状を認識し、移動速度が大きい場合に、実物体の近似モデルを認識してもよい。実物体の近似モデルの認識に係る処理負荷が、実物体の３次元形状の認識に係る処理負荷よりも小さい場合、係る構成によれば、移動速度が大きい場合には形状認識に係る処理負荷が軽減され、処理時間の短縮につながる。
　（変形例２－２）
　上記では、形状認識結果が再利用される例を説明したが、本実施形態は係る例に限定されない。遮蔽モデルの描画結果が再利用されてもよい。以下、係る変形例について、図３６～図４２を参照して説明を行う。
　例えば、本変形例に係る表示制御部１２８は、遮蔽モデル領域を２次元スプライト化したデータを遮蔽モデルの描画結果として、記憶部１７に記憶してもよい。そして、本変形例に係る表示制御部１２８は、移動情報に含まれる移動速度が大きい場合（高速モードである場合、すなわち実物体の移動速度が第１の移動速度である場合）に、表示制御部１２８が以前に行った描画の結果である、記憶された遮蔽モデルの描画結果を用いて描画を行ってもよい。係る構成により、描画に係る処理負荷がより軽減される。
　図３６は、本変形例について説明するための説明図である。なお、図３６に示す手Ｈ２２１、認識結果Ｒ２２１、描画結果Ｄ２２１、及びユーザの視界Ｆ２２１は、図２８に示した手Ｈ２０３、認識結果Ｒ２０３、描画結果Ｄ２０３、及びユーザの視界Ｆ２０３と同様であるため、説明を省略する。
　図３６に示す手Ｈ２２２は高速に移動している。手Ｈ２２２のセンシングに基づいて、移動認識部１２２による移動認識が行われ、手Ｈ２２２の移動が高速であると判定されると、形状認識部１２４は形状認識を行わない。また、本変形例では、移動変形部１２６による形状認識結果の移動、及び変形も行われなくてよい。したがって、認識部１２０－２による認識結果Ｒ２２２は、移動認識部１２２が行う移動認識により得られる移動情報のみを含む。
　そして、表示制御部１２８は、移動情報に基づいて、記憶された遮蔽モデルの描画結果ＭＤ２２２を移動、及び変形させることで、描画に係る処理を簡略化して、仮想物体が遮蔽された描画結果Ｄ２２２を得る。なお、描画結果Ｄ２２２上の矢印は、表示制御部１２８が描画の際に行う、記憶された遮蔽モデルの描画結果ＭＤ２２２の移動を示している。また、図３６に示す例では、記憶された遮蔽モデルの描画結果ＭＤ２２２は、描画結果Ｄ２２１に含まれる遮蔽モデルの描画結果であるが、本実施形態は係る例に限定されず、記憶された遮蔽モデルの描画結果ＭＤ２２２は、例えば直前のフレームで行われた遮蔽モデルの描画の結果であってもよい。
　描画結果Ｄ２２２に基づいて表示が行われると、ユーザの視界は、視界Ｆ２２２のようになる。
　上記のように、遮蔽モデルの描画結果を再利用することで、遮蔽モデルの描画に係る処理が簡略化され、処理時間が短縮されるため、ユーザに与える違和感をより軽減することが可能となる。
　なお、本変形例は、仮想物体が誘発するインタラクション（操作を含む）の種類によっては、適用が不適切となる場合がある。この原因は、例えば、本変形例が適用され、遮蔽モデルの描画結果が再利用される場合、仮想物体と形状認識結果の前後関係の判定（奥行判定）が省略され、遮蔽モデルが仮想物体よりも手前に存在すると仮定されて描画が行われるためである。図３７～図４０を参照して、前後関係の判定の省略について説明を行う。
　図３７は、前後関係の判定が行われる場合のセンシングから描画までの流れを説明するための説明図である。図３７に示すように、実物体であるユーザの手Ｈ２２３のセンシングに基づいて、形状認識が行われ、形状認識結果Ｒ２２３（遮蔽モデル）が得られる。形状認識結果Ｒ２２３に基づいて、仮想物体Ｖ２２３を遮蔽するように描画が行われる際、仮想物体Ｖ２２３と形状認識結果Ｒ２２３の前後関係の判定が行われ、前後関係判定結果Ｊ２２３に基づいて、描画結果Ｄ２２３が得られる。
　図３８は、前後関係の判定が省略される場合のセンシングから描画までの流れを説明するための説明図である。図３８に示すように、実物体であるユーザの手Ｈ２２４のセンシングに基づいて、形状認識が行われ、形状認識結果Ｒ２２４（遮蔽モデル）が得られる。ここで、図３８に示す例では、仮想物体Ｖ２２４と形状認識結果Ｒ２２４が個別に描画され、仮想物体領域ＶＲ２２４と遮蔽モデル領域ＣＭＲ２２４が得られる。そして、仮想物体領域ＶＲ２２４と遮蔽モデル領域ＣＭＲ２２４を合成することにより、描画結果Ｄ２２４が得られる。
　このように、前後関係の判定が省略される場合、遮蔽モデルが仮想物体より手前に存在すると仮定されて描画が行われてしまう。
　図３９は、前後関係の判定が省略される場合であっても適切な表示が可能なインタラクションの例を示す説明図である。図４０は、前後関係の判定が行われる場合と、省略される場合とで見え方が大きく異なり得るインタラクションの例を示す説明図である。
　図３９に示すように、押す、触る、叩く等のインタラクションが行われる場合であれば、ユーザの視界Ｆ２２５及び視界Ｆ２２６において、仮想物体Ｖ２２５及び仮想物体Ｖ２２６と、手Ｈ２２５及び手Ｈ２２６とのそれぞれの関係に違和感は生じない。
　一方、図４０に示すように、掴む、握る等のインタラクションが行われる場合、前後関係の判定が行われた場合の視界Ｆ２２７と前後関係の判定が省略された場合の視界Ｆ２２８とで、見え方が大きく異なる。前後関係の判定が行われる場合、視界Ｆ２２７において、仮想物体Ｖ２２７と手Ｈ２２７との関係に違和感は生じない。しかし、前後関係の判定が省略される場合、視界Ｆ２２８において、仮想物体Ｖ２２８と手Ｈ２２８との関係に違和感が生じる。具体的には、視界Ｆ２２８において、本来、仮想物体Ｖ２２８の奥側に存在し、見えないはずの領域において、手Ｈ２２８が見えてしまっている。
　そこで、表示制御部１２８は、遮蔽モデルの描画結果を再利用するか否かを、仮想物体の種類や、ユーザが行うインタラクションの種類に基づいて判定してもよい。例えば、表示制御部１２８は、掴む、握るといったインタラクションを誘発するような仮想物体を表示させる場合や、認識部１２０－２の認識結果により係るインタラクションが行われていることがわかる場合には、遮蔽モデルの描画結果を再利用しなくてもよい。
　係る構成によれば、前後関係の判定を省略した結果、ユーザに違和感を与える事態を防ぐことが可能となる。
　続いて、図４１、図４２を参照して、本変形例の動作例について説明する。図４１は、本変形例の動作例を示すフローチャート図である。
　図４１に示すステップＳ３００～Ｓ３３０は、図３３を参照して説明したステップＳ２００～Ｓ２３０の処理と同様であるため、ここでの説明は省略する。
　ステップＳ３４０において、遮蔽モデルの描画結果を再利用するか否かが判定される。なお、ステップＳ３４０の判定は、高速モードであるか低速モードであるかの情報に加え、図３７～図４０を参照して説明したような仮想物体の種類や、インタラクションの種類に基づいて行われてもよい。
　遮蔽モデルの描画結果が再利用されない場合（Ｓ３４０においてＮＯ）、形状認識部１２４が形状認識を行って、遮蔽モデルを生成する（Ｓ３６０）し、表示制御部１２８は形状認識結果である遮蔽モデルに基づいて描画を行う（Ｓ３７０）。
　一方、遮蔽モデルの描画結果が再利用される場合（Ｓ３４０においてＹＥＳ）、表示制御部１２８は、記憶された遮蔽モデルの描画結果の移動、及び変形による描画を行う（Ｓ３７５）。
　さらに、表示制御部１２８の制御に従い、表示部１３が当該画像を表示する（Ｓ３８０）。最後に、最新の遮蔽モデルの描画結果が記憶される（Ｓ３９０）。
　図４２は、本変形例に係るタイミングチャート図である。図４２に示すように、本変形例においては、高速モードにおいてセンシングの開始から、表示の開始までに期間Ｔ３を要する。ここで、期間Ｔ３は、図４２に示すようにセンシング間隔ｔと同一の期間であり、図３２に示した期間Ｔ１や、図３４に示した期間Ｔ２よりも短い。したがって、実物体の移動による影響がさらに抑制されて、ユーザに与える違和感が軽減される。
　（変形例２－３）
　なお、上記実施形態では、描画を行う前にポリゴン数を削減することで、描画に係る処理負荷を軽減する例を説明したが、本実施形態は係る例に限定されない。例えば、形状認識部１２４がデプスマップに基づいて形状認識を行う場合、移動速度に応じて、形状認識部１２４が形状認識を行う前に当該デプスマップが低解像度化されてもよい。
　係る変形例について、図４３を参照して説明する。図４３は、本変形例について説明するための説明図である。
　図４３に示す実物体であるユーザの手Ｈ２３１は低速に移動している。そのため、処理モードは低速モードに決定される。
　手Ｈ２３１のセンシングに基づいて、デプスマップＤＭ２３１が取得される。続いて、デプスマップに基づいて形状認識部１２４により形状認識が行われ、形状認識結果Ｒ２３１が取得される。なお、形状認識結果Ｒ２３１上の複数の矢印は、それぞれ形状認識部１２４が形状認識を行う際に予測した形状変化を示している。
　そして、表示制御部１２８が形状認識結果Ｒ２３１に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２３１が得られ、描画結果Ｄ２３１に基づいて表示が行われると、ユーザの視界は、視界Ｆ２３１のようになる。
　図４３に示す実物体であるユーザの手Ｈ２３２は高速に移動している。そのため、図４３には図示していないが、移動認識部１２２による移動認識の結果に基づき、処理モードは高速モードに決定される。
　手Ｈ２３２のセンシングに基づいて、デプスマップＤＭ２３２が取得される。ここで、本変形例に係る制御部１２－２は、高速モードで処理する場合、デプスマップＤＭ２３２を低解像度化した後に、形状認識部１２４へ入力してもよい。低解像度化されたデプスマップＤＭ２３２を用いた形状認識の結果得られた形状認識結果Ｒ２３２は、形状認識結果Ｒ２３１と比較して、ポリゴン数が少なく、また予測される形状変化の情報も少ない。つまり、低解像度化されたデプスマップＤＭ２３２を用いて形状認識部１２４が形状認識を行う場合、形状変化の予測を含め、形状認識に係る処理負荷が軽減される。
　形状認識結果Ｒ２３２に対してポリゴン数が削減され後、表示制御部１２８が描画を行うことで描画結果Ｄ２３２が得られる。なお、デプスマップＤＭ２３２の低解像度化に伴い、形状認識結果Ｒ２３２のポリゴン数も形状認識結果Ｒ２３１より少ない。したがって、ポリゴン数の削減を行わなくとも、形状認識結果Ｒ２３２に基づく描画に係る処理負荷は形状認識結果Ｒ２３１に基づく描画に係る処理負荷よりも小さい。したがって、形状認識結果Ｒ２３２のポリゴン数が十分に少ない場合には、ポリゴン数の削減が行われなくてもよい。描画結果Ｄ２３２に基づいて表示が行われると、ユーザの視界は、視界Ｆ２３２のようになる。
　なお、デプスマップは、多様な方法で取得され得る。例えば、デプスマップは、外向きカメラ１１０に複数のカメラが含まれる場合、デプスマップは、複数の撮像画像を用いたステレオマッチングにより取得されてもよい。また、外向きカメラ１１０にデプスカメラが含まれる場合には、デプスカメラが行うセンシングにより取得されてもよい。
　また、デプスカメラが出力するデプスマップの解像度を設定などにより制御可能な場合、制御部１２－２は、処理モードの決定に応じて、外向きカメラ１１０に含まれるデプスカメラの出力解像度を制御してもよい。
　本変形例によれば、デプスマップが低解像度化されることにより、形状認識に係る処理負荷、及び描画に係る処理負荷の両方がさらに軽減され得る。
　　＜２－５．補足＞
　以上、本開示の第２の実施形態について説明した。本実施形態によれば、移動情報に応じて、形状認識に係る処理負荷、及び描画に係る処理負荷を変化させることで、実物体の移動の影響を抑制し、ユーザに与える違和感を軽減させることが可能である。
　なお、本開示の第２の実施形態は、本開示の第１の実施形態と組み合わせることも可能である。第１の実施形態と、第２の実施形態を組み合わせることで、例えば、境界表現を異ならせることと、処理時間を短縮することの双方の効果により、ユーザに与える違和感をさらに軽減することが可能となる。
　また、上記では低速モードと高速モードの２段階に分けて処理モードが決定されたが、処理モードは、より多数の段階に分けて決定され、決定された処理モードに応じて多様な処理が行われてもよい。
　図４４は、実物体として手を想定し、手の速度に応じて、処理モードを静止モード、超低速モード、低速モード、中速モード、高速モード、超高速モードの６段階に分けて決定する場合の処理の例をまとめた表である。図４４に示すように、処理モードに応じて、上述したデプスマップの低解像度化、形状認識の省略、前後判定の省略、描画結果の再利用、及び第１の実施形態で説明した境界表現の変更等の処理が適宜行われてもよい。
　図４４に示す表のように処理を行うことで、手全体の移動速度が小さい場合には、認識や表示の正確性を重視した処理を優先的に行うことが可能であり、手全体の移動速度が大きい場合には、手の移動に伴う違和感を軽減させる処理を優先的に行うことが可能である。
　＜＜３．ハードウェア構成例＞＞
　以上、本開示の実施形態を説明した。最後に、図４５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図４５は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図４５に示す情報処理装置９００は、例えば、情報処理装置１、情報処理装置１－２を実現し得る。本実施形態に係る情報処理装置１、情報処理装置１－２による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図４５に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１２、制御部１２－２を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部１３、スピーカー１４を形成し得る。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１７を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１５を形成し得る。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部１１を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本開示の実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本開示の実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜４．むすび＞＞
　以上説明したように、本開示の実施形態によれば、ユーザに与える違和感を軽減することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、表示部１３が透過型である例を主に説明したが、本技術は係る例に限定されない。例えば、表示部１３が非透過型である場合にも、外向きカメラ１１０の撮影により得られる実空間の画像に仮想物体を重畳させて表示させることで、上述した効果と同様の効果を得ることが可能である。また、表示部１３がプロジェクタである場合にも、実空間に仮想物体を投影することで上述した効果と同様の効果を実現することが可能である。
　また、上記実施形態では、実物体がユーザの手である例を主に説明したが、本技術は係る例に限定されず、実空間に存在する多様な実物体に対して、本技術は適用可能である。
　また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する表示制御部を備える情報処理装置。
（２）
　前記表示制御部は、前記実物体のセンシングに基づく形状認識により得られた形状情報を用いて、前記遮蔽表示を制御する、前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記第１の認識情報に応じて、前記遮蔽に係る遮蔽領域が第１の大きさを有するように前記遮蔽表示を制御し、前記第２の認識情報に応じて、前記遮蔽領域が、前記第１の大きさとは異なる第２の大きさを有するように前記遮蔽表示を制御する、前記（１）に記載の情報処理装置。
（４）
　前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記遮蔽領域のうち前記認識情報に含まれる位置情報に応じた領域が前記第１の大きさを有するように前記遮蔽表示を制御し、前記認識情報が前記第２の認識情報を含む場合、前記遮蔽領域のうち前記位置情報に応じた領域が前記第２の大きさを有するように前記遮蔽表示を制御する、前記（３）に記載の情報処理装置。
（５）
　前記表示制御部は、前記認識情報に応じて、前記境界の近傍位置に、エフェクト表示が付加されるように前記遮蔽表示を制御する、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記表示制御部は、前記認識情報に応じて、前記遮蔽に係る遮蔽領域の内部にエフェクト表示が付加されるように前記遮蔽表示を制御する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記表示制御部は、前記実物体が前記仮想物体と衝突するように表示を制御する場合に、前記実物体と前記仮想物体との衝突に係る境界の近傍に、エフェクト表示が付加されるように前記遮蔽表示を制御する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記表示制御部は、前記認識情報に含まれる位置情報に応じた位置に前記エフェクト表示が付加されるように前記遮蔽表示を制御する、前記（５）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記認識情報が前記第２の認識情報を含む場合とは異なる強度を有するように前記エフェクト表示を制御する、前記（５）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記認識情報が前記第２の認識情報を含む場合とは異なる視認性を有するように前記仮想物体の表示を制御する、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記表示制御部は、前記仮想物体が前記実物体により操作可能な仮想物体である場合、前記第１の境界表現と前記第２の境界表現のうち、前記仮想物体の表示領域がより大きい境界表現を示すように前記遮蔽表示を制御する、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記表示制御部は、前記仮想物体が３次元形状を有するか否かに応じて、前記遮蔽表示を制御する、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記実物体のセンシングに基づく前記実物体の移動認識と、前記形状認識とを行う認識部をさらに備え、
　前記移動認識により前記実物体の移動速度が第１の移動速度であるという移動情報が得られた場合、前記実物体の移動速度が前記第１の移動速度よりも小さい第２の移動速度であるという移動情報が得られた場合よりも、前記認識部が行う前記形状認識に係る処理負荷、及び前記表示制御部が行う描画に係る処理負荷のうち少なくともいずれか一方が減少される、前記（２）に記載の情報処理装置。
（１４）
　前記認識部は、前記実物体の移動速度が前記第１の移動速度である場合に、前記形状認識を行わない、前記（１３）に記載の情報処理装置。
（１５）
　前記表示制御部は、前記実物体の移動速度が前記第１の移動速度である場合に、前記表示制御部が以前に行った前記描画の結果を用いて前記描画を行う、前記（１３）または（１４）に記載の情報処理装置。
（１６）
　前記認識情報は、前記認識に係る認識精度の情報を含む、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記認識情報は、前記実物体のセンシングに基づいて認識される前記実物体の移動速度の情報を含む、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記表示制御部は、光学的透過性を有する表示部による表示を制御する、前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すようにプロセッサが制御すること、を含む情報処理方法。
（２０）
　コンピュータに、
　実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する機能を実現させるための、プログラム。
　１、１－２　情報処理装置
　１１　センサ部
　１２、１２－２　制御部
　１３　表示部
　１４　スピーカー
　１５　通信部
　１６　操作入力部
　１７　記憶部
　１１０　外向きカメラ
　１１１　内向きカメラ
　１１２　マイク
　１１３　ジャイロセンサ
　１１４　加速度センサ
　１１５　方位センサ
　１１６　位置測位部
　１１７　生体センサ
　１２０、１２０－２　認識部
　１２１、１２２　移動認識部
　１２３、１２４　形状認識部
　１２５　精度情報取得部
　１２６　移動変形部
　１２７、１２８　表示制御部

Claims (20)

  1. 　実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する表示制御部を備える情報処理装置。
  2. 　前記表示制御部は、前記実物体のセンシングに基づく形状認識により得られた形状情報を用いて、前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、前記第１の認識情報に応じて、前記遮蔽に係る遮蔽領域が第１の大きさを有するように前記遮蔽表示を制御し、前記第２の認識情報に応じて、前記遮蔽領域が、前記第１の大きさとは異なる第２の大きさを有するように前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  4. 　前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記遮蔽領域のうち前記認識情報に含まれる位置情報に応じた領域が前記第１の大きさを有するように前記遮蔽表示を制御し、前記認識情報が前記第２の認識情報を含む場合、前記遮蔽領域のうち前記位置情報に応じた領域が前記第２の大きさを有するように前記遮蔽表示を制御する、請求項３に記載の情報処理装置。
  5. 　前記表示制御部は、前記認識情報に応じて、前記境界の近傍位置に、エフェクト表示が付加されるように前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  6. 　前記表示制御部は、前記認識情報に応じて、前記遮蔽に係る遮蔽領域の内部にエフェクト表示が付加されるように前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  7. 　前記表示制御部は、前記実物体が前記仮想物体と衝突するように表示を制御する場合に、前記実物体と前記仮想物体との衝突に係る境界の近傍に、エフェクト表示が付加されるように前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  8. 　前記表示制御部は、前記認識情報に含まれる位置情報に応じた位置に前記エフェクト表示が付加されるように前記遮蔽表示を制御する、請求項５に記載の情報処理装置。
  9. 　前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記認識情報が前記第２の認識情報を含む場合とは異なる強度を有するように前記エフェクト表示を制御する、請求項５に記載の情報処理装置。
  10. 　前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記認識情報が前記第２の認識情報を含む場合とは異なる視認性を有するように前記仮想物体の表示を制御する、請求項１に記載の情報処理装置。
  11. 　前記表示制御部は、前記仮想物体が前記実物体により操作可能な仮想物体である場合、前記第１の境界表現と前記第２の境界表現のうち、前記仮想物体の表示領域がより大きい境界表現を示すように前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  12. 　前記表示制御部は、前記仮想物体が３次元形状を有するか否かに応じて、前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  13. 　前記実物体のセンシングに基づく前記実物体の移動認識と、前記形状認識とを行う認識部をさらに備え、
    　前記移動認識により前記実物体の移動速度が第１の移動速度であるという移動情報が得られた場合、前記実物体の移動速度が前記第１の移動速度よりも小さい第２の移動速度であるという移動情報が得られた場合よりも、前記認識部が行う前記形状認識に係る処理負荷、及び前記表示制御部が行う描画に係る処理負荷のうち少なくともいずれか一方が減少される、請求項２に記載の情報処理装置。
  14. 　前記認識部は、前記実物体の移動速度が前記第１の移動速度である場合に、前記形状認識を行わない、請求項１３に記載の情報処理装置。
  15. 　前記表示制御部は、前記実物体の移動速度が前記第１の移動速度である場合に、前記表示制御部が以前に行った前記描画の結果を用いて前記描画を行う、請求項１３に記載の情報処理装置。
  16. 　前記認識情報は、前記認識に係る認識精度の情報を含む、請求項１に記載の情報処理装置。
  17. 　前記認識情報は、前記実物体のセンシングに基づいて認識される前記実物体の移動速度の情報を含む、請求項１に記載の情報処理装置。
  18. 　前記表示制御部は、光学的透過性を有する表示部による表示を制御する、請求項１に記載の情報処理装置。
  19. 　実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すようにプロセッサが制御すること、を含む情報処理方法。
  20. 　コンピュータに、
    　実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する機能を実現させるための、プログラム。
PCT/JP2018/018785 2017-08-09 2018-05-15 情報処理装置、情報処理方法、及びプログラム WO2019031015A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18844770.0A EP3667625A4 (en) 2017-08-09 2018-05-15 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
CN201880050503.6A CN110998674B (zh) 2017-08-09 2018-05-15 信息处理装置、信息处理方法和程序
US16/635,585 US11288869B2 (en) 2017-08-09 2018-05-15 Information processing device, and information processing method
JP2019535607A JP7222351B2 (ja) 2017-08-09 2018-05-15 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-154116 2017-08-09
JP2017154116 2017-08-09

Publications (1)

Publication Number Publication Date
WO2019031015A1 true WO2019031015A1 (ja) 2019-02-14

Family

ID=65271369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018785 WO2019031015A1 (ja) 2017-08-09 2018-05-15 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US11288869B2 (ja)
EP (1) EP3667625A4 (ja)
JP (1) JP7222351B2 (ja)
CN (1) CN110998674B (ja)
WO (1) WO2019031015A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021117366A1 (ja) * 2019-12-10 2021-06-17 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2021215196A1 (ja) * 2020-04-21 2021-10-28 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US11995740B2 (en) 2019-12-10 2024-05-28 Sony Group Corporation Image processing device and image processing method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11245889B1 (en) 2018-11-08 2022-02-08 Tanzle, Inc. Perspective based green screening
US11676348B2 (en) * 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR115F (ja)
FR114F (ja) 1963-08-06 1900-01-01
JP2014106543A (ja) * 2012-11-22 2014-06-09 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2014186361A (ja) 2013-03-21 2014-10-02 Sony Corp 情報処理装置、操作制御方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
EP2625845B1 (en) * 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
CN111985344A (zh) 2013-12-17 2020-11-24 索尼公司 信息处理设备和方法以及非易失性计算机可读存储介质
EP3143598A1 (en) * 2014-05-15 2017-03-22 ShowMe Telepresence ApS Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
EP3352050A4 (en) 2015-09-16 2019-05-22 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
KR102559625B1 (ko) * 2016-01-25 2023-07-26 삼성전자주식회사 증강 현실 출력 방법 및 이를 지원하는 전자 장치
JP7182538B2 (ja) * 2016-07-25 2022-12-02 マジック リープ， インコーポレイテッド 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
US10504295B2 (en) * 2016-09-27 2019-12-10 Duke University Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object
US10410422B2 (en) * 2017-01-09 2019-09-10 Samsung Electronics Co., Ltd. System and method for augmented reality control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR115F (ja)
FR114F (ja) 1963-08-06 1900-01-01
JP2014106543A (ja) * 2012-11-22 2014-06-09 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2014186361A (ja) 2013-03-21 2014-10-02 Sony Corp 情報処理装置、操作制御方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3667625A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021117366A1 (ja) * 2019-12-10 2021-06-17 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
US11995740B2 (en) 2019-12-10 2024-05-28 Sony Group Corporation Image processing device and image processing method
WO2021215196A1 (ja) * 2020-04-21 2021-10-28 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
EP3667625A4 (en) 2020-08-12
US11288869B2 (en) 2022-03-29
US20200242842A1 (en) 2020-07-30
JP7222351B2 (ja) 2023-02-15
CN110998674A (zh) 2020-04-10
JPWO2019031015A1 (ja) 2020-07-09
EP3667625A1 (en) 2020-06-17
CN110998674B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
JP7222351B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110929651B (zh) 图像处理方法、装置、电子设备及存储介质
US11036284B2 (en) Tracking and drift correction
CN110413105B (zh) 虚拟环境内的虚拟对象的有形可视化
CN108780578B (zh) 增强现实系统和操作增强现实系统的方法
JP6770536B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
US11348305B2 (en) Techniques for locating virtual objects relative to real physical objects
CN107765429A (zh) 图像显示装置及其操作方法
US11120632B2 (en) Image generating apparatus, image generating system, image generating method, and program
WO2019053997A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN115917474A (zh) 在三维环境中呈现化身
US20200401804A1 (en) Virtual content positioned based on detected object
WO2021147465A1 (zh) 一种图像渲染方法、电子设备及系统
JP2019032599A (ja) 情報処理装置および位置情報取得方法
WO2019171802A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20200031098A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US11263456B2 (en) Virtual object repositioning versus motion of user and perceived or expected delay
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
EP4296826A1 (en) Hand-gesture activation of actionable items
WO2022269753A1 (ja) 情報処理システム、情報処理装置及び画像表示装置
US11983306B2 (en) Peripheral tracking system and method
US11908090B2 (en) Information processing device, information processing method, and program
JP2017009916A (ja) 映像表示装置、映像表示方法、およびプログラム
CN116157766A (zh) 具有基于观看者位置的音频的视觉内容呈现

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18844770

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019535607

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018844770

Country of ref document: EP

Effective date: 20200309