WO2021182124A1 - 情報処理装置、及び情報処理方法 - Google Patents

情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
WO2021182124A1
WO2021182124A1 PCT/JP2021/007255 JP2021007255W WO2021182124A1 WO 2021182124 A1 WO2021182124 A1 WO 2021182124A1 JP 2021007255 W JP2021007255 W JP 2021007255W WO 2021182124 A1 WO2021182124 A1 WO 2021182124A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
information
processing device
type device
Prior art date
Application number
PCT/JP2021/007255
Other languages
English (en)
French (fr)
Inventor
健太郎 井田
拓也 池田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021182124A1 publication Critical patent/WO2021182124A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present technology relates to an information processing device and an information processing method, and more particularly to an information processing device and an information processing method that enable a more advanced user experience to be obtained.
  • This type of content includes AR content that uses Augmented Reality (AR), which adds information to the real environment and expands the real world as seen by humans.
  • AR Augmented Reality
  • This technology was made in view of such a situation, and makes it possible to obtain a more advanced user experience.
  • the information processing device of one aspect of the present technology is used to display the 2D image provided by the first platform and the 3D image provided by the second platform in a common coordinate system.
  • the 3D image overlaps with the 2D image according to the viewpoint of the user who uses the device corresponding to the device, it corresponds to the shadow of the object included in the 3D image when the position corresponding to the device is virtually used as the light source.
  • It is an information processing apparatus including a control unit that controls the display of the 2D image in which the shadow area is represented in a predetermined display form.
  • the information processing method of one aspect of the present technology is used when the information processing apparatus displays the 2D image provided by the first platform and the 3D image provided by the second platform in a common coordinate system.
  • the 3D image overlaps with the 2D image according to the viewpoint of the user who uses the device corresponding to the second platform, it is included in the 3D image when the position corresponding to the device is virtually used as a light source.
  • This is an information processing method that controls the display of the 2D image in which a shadow area corresponding to the shadow of an object is represented in a predetermined display form.
  • the 2D image provided by the first platform and the 3D image provided by the second platform are displayed in a common coordinate system.
  • the 3D image overlaps with the 2D image according to the viewpoint of the user who uses the device corresponding to the second platform, it is included in the 3D image when the position corresponding to the device is virtually used as a light source.
  • Control is performed to display the 2D image in which the shadow area corresponding to the shadow of the object is represented in a predetermined display form.
  • the information processing device on one aspect of the present technology may be an independent device or an internal block constituting one device.
  • Devices such as eyeglass-type devices that are currently in widespread use are devices that are worn on the head so as to cover the user's field of vision so that the content can be shown only to the wearing user.
  • AR content using augmented reality (AR) is used.
  • a user who wears the spectacle-type device (hereinafter, also referred to as a wearer) is a user who does not wear the spectacle-type device (hereinafter, also referred to as a non-wearer). ), It is necessary to remove the device worn on the head.
  • the wearer when the wearer does not need the AR information, it is necessary to temporarily stop the work for the task using the AR content, which hinders the work.
  • the non-wearer communicates with the wearer in relation to the AR information, for example, the following is performed.
  • a non-wearer wears a device such as a spectacle-type device and sees the same AR information as the wearer, or a third party via a monitor that synthesizes and displays real-world video and AR information. It is necessary to look at it from a bird's-eye view, or to look at the AR information added to the video see-through using devices such as smartphones and tablet terminals.
  • this technology proposes an environment that combines devices such as eyeglass-type devices that can display AR content with real-world-oriented augmented reality that uses projection mapping with a projector that can project projected content.
  • devices such as eyeglass-type devices that can display AR content with real-world-oriented augmented reality that uses projection mapping with a projector that can project projected content.
  • FIG. 1 shows an example of displaying projection information using a projector.
  • a 2D image 51 is displayed by a projector 10 installed near the ceiling of a room or the like, with a table 50 installed on the floor as a projection surface.
  • the 2D image 51 displays a map of a certain town as projection information displayed by projecting the projected content onto the table 50.
  • the non-wearer user U1 can get a bird's-eye view of the town with a two-dimensional map.
  • FIG. 2 shows an example of displaying AR information using a glasses-type device.
  • the 3D image 52 is superimposed and displayed on the table 50 installed on the floor surface.
  • the 3D image 52 displays a building in a certain town, detailed information thereof, and the like as AR information displayed by reproducing the AR content.
  • the wearer user U2 can obtain more detailed information on the three-dimensional building and its information.
  • the user U2's field of view is the angle of view of the eyeglass-type device 20
  • the entire town cannot be seen, and AR information such as the target building and its detailed information is seen in the center of the field of view.
  • the user U1 who uses the projection mapping by the projector 10 can see the projection information of the whole view of the town, but the AR information such as the buildings there and the detailed information thereof. Is not visible.
  • FIG. 3 shows an example of a display when two platforms, a projector and a spectacle-type device, are linked.
  • the user U2 wearing the spectacle-type device 20 can see the AR information displayed on the transmissive display together with the transmissive display. You can also see the projection information through see-through.
  • both the 2D image 51, which is the projection information, and the 3D image 52, which is the AR information, can be seen through the transmissive display of the eyeglass-type device 20.
  • the user U2 can see an image in which a building displayed as a 3D image 52 is superimposed on a map displayed as a 2D image 51 through a transmissive display.
  • the user U2 wearing the glasses-type device 20 can see both the projection information and the AR information, but the area where the AR information is displayed. Then, both the projection information and the AR information appear to overlap (example of the building in Fig. 4).
  • FIG. 5 shows an example of the configuration of an embodiment of an information processing system to which the present technology is applied.
  • the information processing system 1 to which this technology is applied is composed of a projector 10, eyeglass-type devices 20, and an information processing device 30.
  • the projector 10 is a fixed type projection device that is fixed and used at a predetermined place.
  • the projector 10 displays an image corresponding to the image signal of the projected content by projecting it on the projection surface according to the control from the information processing device 30.
  • the spectacle-type device 20 is a spectacle-type device having a transmissive display.
  • the eyeglass-type device 20 is configured as a wearable device such as AR glasses.
  • the eyeglass-type device 20 causes the transmissive display to display an image corresponding to the image signal of the AR content according to the control from the information processing device 30.
  • a pair of transmissive displays for the left eye and the right eye are arranged at the positions of lenses attached to the frame in ordinary spectacles, and are worn around the user's eyes. Therefore, in the eyeglass-type device 20, various information such as AR information using the AR technology can be displayed in the field of view without separating the user's field of view from the real space.
  • the glasses-type device 20 is composed of an I / F unit 201, a camera 202, an IMU 203, a display 204, and a touch sensor 205.
  • the I / F unit 201 is an interface with the information processing device 30, and is composed of a communication module, input / output terminals, and the like conforming to a predetermined standard.
  • the camera 202 is composed of an image sensor, a signal processing unit, and the like.
  • the camera 202 converts the light from the subject into an electric signal, performs predetermined signal processing on the electric signal, and outputs a captured image signal obtained as a result.
  • the camera 202 may be built in the spectacle-type device 20 or may be provided externally.
  • IMU203 is an inertial measurement unit (IMU).
  • the IMU203 detects three-dimensional angular velocity and acceleration with a three-axis gyroscope and a three-direction accelerometer, and outputs them as sensor signals.
  • the display 204 is configured as a pair of transmissive displays for the left eye and the right eye.
  • the display 204 displays an image or the like corresponding to the image signal supplied from the I / F unit 201.
  • the touch sensor 205 is attached to, for example, the frame portion of the spectacle-type device 20, and outputs a detection signal when a finger or the like of a user wearing the spectacle-type device 20 touches the frame portion.
  • the information processing device 30 is configured as a PC (Personal Computer), a dedicated device, a game machine, or the like.
  • the information processing device 30 has a function for integrating the respective platforms of the projector 10 and the spectacle-type device 20.
  • the information processing device 30 is composed of a control unit 300, an I / F unit 301, and a storage unit 302.
  • the control unit 300 is a central control device (processing device) that controls the operation of each unit and performs various arithmetic processes.
  • the control unit 300 is composed of a processor such as a CPU (Central Processing Unit).
  • the I / F unit 301 is an interface between the projector 10 and the eyeglass-type device 20, and is composed of a communication module, input / output terminals, and the like conforming to a predetermined standard.
  • the storage unit 302 is an auxiliary storage device such as a semiconductor memory or an HDD (Hard Disk Drive), and is configured as an internal storage or an external storage.
  • auxiliary storage device such as a semiconductor memory or an HDD (Hard Disk Drive)
  • HDD Hard Disk Drive
  • the control unit 300 is composed of a position recognition unit 311, a coordinate system conversion unit 312, a display area adjustment unit 313, a video generation unit 314, and a gesture recognition unit 315.
  • the position recognition unit 311 acquires the position information transmitted from the eyeglass-type device 20 via the I / F unit 301.
  • the position recognition unit 311 recognizes the current position of the spectacle-type device 20 based on the acquired position information, and notifies the coordinate system conversion unit 312 or the image generation unit 314 as necessary.
  • the coordinate system conversion unit 312 shifts each coordinate system between the world coordinate system, which is the coordinate system of space, the projector coordinate system, which is the coordinate system of the projector 10, and the glass coordinate system, which is the coordinate system of the eyeglass-type device 20. Convert to each other.
  • the coordinate system conversion unit 312 converts the position of the eyeglass-type device 20 notified from the position recognition unit 311 into the world coordinate system, or converts the coordinate system at the time of generating an image in response to a request from the image generation unit 314. To do.
  • Information about the coordinate system converted by the coordinate system conversion unit 312 is appropriately stored in the storage unit 302 and can be read out later.
  • the coordinate system conversion unit 312 may use information such as setting information stored in the storage unit 302 when converting the coordinate system.
  • the display area adjustment unit 313 adjusts the display area of the eyeglass-type device 20 (for example, AR information) based on information such as setting information stored in the storage unit 302 and on / off information notified from the gesture recognition unit 315. Etc.), and notify the image generation unit 314.
  • the video generation unit 314 generates a video signal of a 2D video displayed by the projector 10 and outputs it to the projector 10 via the I / F unit 301. Further, the image generation unit 314 generates a video signal of the 3D image displayed by the eyeglass-type device 20 and outputs it to the eyeglass-type device 20 via the I / F unit 301.
  • the video generation unit 314 When the video generation unit 314 generates a video signal, the position of the eyeglass-type device 20 notified from the position recognition unit 311, the coordinate system after conversion notified by inquiring to the coordinate system conversion unit 312, or the display area adjustment. Information about the display area of the eyeglass-type device 20 notified by the unit 313 and the like can be used as needed.
  • the gesture recognition unit 315 acquires the detection signal transmitted from the eyeglass-type device 20 via the I / F unit 301.
  • the gesture recognition unit 315 recognizes the on / off gesture of the eyeglass-type device 20 as a gesture by the user based on the acquired detection signal.
  • the on-gesture is a gesture for enabling the AR information to be displayed on the spectacle-type device 20
  • the off-gesture is a gesture for hiding the AR information on the spectacle-type device 20.
  • the on / off information regarding the on / off gesture recognized by the gesture recognition unit 315 is notified to the display area adjustment unit 313, or is appropriately stored in the storage unit 302 and can be read out later.
  • the information processing system 1 is configured as described above.
  • the number of eyeglass-type devices 20 is not limited to one, and a plurality of eyeglass-type devices 20 may be provided.
  • each of the eyeglass-type devices 20 displays an image on the transmissive display 204 under the control of the information processing device 30.
  • the information processing device 30 displays an image of the projected content on the projection surface by the projector 10 according to the position of the space. At this time, the projected content is projected by aligning the projector coordinate system with the origin of the world coordinate system.
  • FIG. 6 shows an example of the relationship between the origin of the world coordinate system and the projector coordinate system.
  • the global area A11 which is an area corresponding to the world coordinate system
  • the projection area A21 which is an area corresponding to the projector coordinate system
  • the projector 10 when the projector 10 is installed, it is possible to set in advance that the origin P of the projection area A21 is projected according to the position W of the world coordinate system. That is, the projector coordinate system and the world coordinate system have a relationship as shown in the following equation (1).
  • World coordinate system position W (100,100,20) Projector coordinate system origin P (0,0) ... (1)
  • the physical distance may be measured by actual measurement, or the camera and the origin marker may be used for recognition.
  • the object 71 exists at the position W (150,150,20) in the world coordinate system, and the object It is assumed that 72 exists at the position W (50,50,20) in the world coordinate system.
  • the object 71 exists at the position W (150, 150, 20) in the world coordinate system and has a cubic shape, but is actually as shown in FIG. ,
  • the upper surface of the cube is displayed in a rectangular shape at the position P (50,50) in the projector coordinate system. That is, the projector coordinate system and the world coordinate system have a relationship as shown in the following equation (2).
  • World coordinate system position W (150,150,20) Projector coordinate system position P (50,50) ... (2)
  • the non-wearer can see the rectangular object 71 as the projection information displayed in the projection area A21.
  • the spectacle-type device 20 has a function of recognizing spatial information and setting an origin when displaying an image on the transmissive display 204. Therefore, in the spectacle-type device 20, when the wearer enters the target space, the origin can be aligned with the world coordinate system by the function of setting the origin.
  • the movement itself of the wearer is estimated by the self-position using the camera 202, the IMU 203, or the like, so that the relative coordinates of the position of the place where the wearer is looking through the transmissive display 204 can be obtained. Update to update the AR information displayed on the transmissive display 204.
  • the virtual display area A31 includes the object 72.
  • the object 72 included in the virtual display area A31 is displayed on the transmissive display 204.
  • the wearer can see the object 72 having the shape of a cylinder as AR information.
  • the projection information is blacked out to prevent the wearer of the spectacle-type device 20 from seeing the information overlapping. To do.
  • the non-wearer can know where the wearer is looking.
  • the blackout process is a process that shows the target area in black.
  • a process corresponding to three levels of Level 0 to Level 2 can be set.
  • Level 0 blackout process is the simplest process, and virtualizes the projection area A21 including the virtual display area A31 corresponding to the display area of the transmissive display 204 of the spectacle-type device 20. This is a process of blackening a predetermined shape such as a rectangle corresponding to the display area A31.
  • the virtual display area A31 is projected onto the projection area A21 from the point P11 which is the position corresponding to the eyeglass-type device 20.
  • the projection area A32 at the time of this is blacked out as a black rectangular area.
  • the point P11 can correspond to the position of the wearer's viewpoint.
  • the control unit 300 acquires the coordinate information obtained by the self-position estimation by the spectacle-type device 20 via the I / F unit 301 and notifies the position recognition unit 311 to the spectacle-type device 20. Recognize the current position of.
  • the coordinate system conversion unit 312 is an area of the world coordinate system when the virtual display area A31 is projected onto the projection area A21 with the position (point P11) of the world coordinate system corresponding to the eyeglass-type device 20 as the apex.
  • the projection area A32 is calculated as a black rectangular area.
  • the coordinate system conversion unit 312 converts the calculated world coordinates of the projection area A32 (black rectangular area) into projector coordinates and supplies them to the image generation unit 314.
  • the image generation unit 314 generates an image signal of an image in which the projection area A32 is blacked out, and outputs the image signal to the projector 10 via the I / F unit 301.
  • the projector 10 displays a 2D image in which the projection area A32 is blacked out in the projection area A21 based on the image signal from the information processing device 30.
  • the wearer wearing the spectacle-type device 20 can see the 3D image of the object 71 displayed on the transmissive display 204, and in other areas, through the transmissive display 204. You will see the 2D image of the blacked out part (black rectangular area) of the projection information through see-through.
  • the wearer can see only the three-dimensional object 71 as AR information and cannot see other than that, but can avoid the phenomenon that the AR information seems to overlap with the projection information.
  • the position corresponding to the eyeglass-type device 20 is used as a virtual light source, and the shadow part of the three-dimensional object is calculated to obtain the minimum blackout area.
  • the object 71 when the object 71 is included in the virtual display area A31 and the position corresponding to the eyeglass-type device 20 is virtually set as the light source 81, the light from the light source 81 is used.
  • the shadow area A82 which is the area representing the shadow of the object 71, is blacked out.
  • the control unit 300 acquires the coordinate information obtained by the self-position estimation by the spectacle-type device 20 via the I / F unit 301 and notifies the position recognition unit 311 to the spectacle-type device 20. Recognize the current position of. Further, the coordinate system conversion unit 312 calculates the shadow area A82 of the object 71 by setting the virtual light source 81 at the position corresponding to the eyeglass-type device 20.
  • the position of the light source 81 can correspond to the position of the wearer's viewpoint. It should be noted that such a shadow area can also be calculated by using a function of a game engine or the like that is currently widespread.
  • the coordinate system conversion unit 312 converts the shadow area A82 calculated in the world coordinate system into the projector coordinate system and supplies it to the image generation unit 314.
  • the image generation unit 314 generates an image signal of an image in which the shadow area A82 is blacked out, and outputs the image signal to the projector 10 via the I / F unit 301.
  • the projector 10 displays a 2D image in which the shadow area A82 is blacked out in the projection area A21 based on the image signal from the information processing device 30.
  • the wearer wearing the spectacle-type device 20 can see the 3D image of the object 71 displayed on the transmissive display 204, and in other areas, through the transmissive display 204. You will see the 2D image of the projection information through see-through.
  • the wearer can see the projection information together with the three-dimensional object 71 as AR information. Further, by blackening the shadow area A82, it is possible to avoid the phenomenon that the AR information appears to overlap with the projection information, and it is possible to improve the visibility of the information by the wearer.
  • Level 2 blackout process When a plurality of eyeglass-type devices 20 are used in the information processing system 1, when the above-mentioned Level 1 blackout process is performed, the wearer wearing the eyeglass-type device 20 can use other glasses. There is a risk that shadows for avoiding information duplication by the type device 20 will be visible. That is, in the spectacle-type device 20, among the projection information presented via the transmissive display 204, the projection information corresponding to the shadow area A82 by the other spectacle-type device 20 is missing.
  • the projection information is supplemented with the projection information corresponding to the shadow area A82 by the other spectacle-type device 20 as the information displayed on the transmissive display 204 of the spectacle-type device 20. To avoid missing.
  • the shadow areas A82-2 of the object 71 when the light source 81-2 is used are the target areas for blackening.
  • the projection information corresponding to the shadow area A82-2 appears to be missing from the wearer wearing the spectacle-type device 20-1. I will end up. On the other hand, for the wearer wearing the spectacle-type device 20-2, the projection information corresponding to the shadow area A82-1 is missing and appears.
  • FIG. 15 shows how the spectacle-type device 20-1 can see the projection information including the shadow area A82-2 by the spectacle-type device 20-2 together with the object 71.
  • the spectacle-type device 20-1 corresponds to the shadow area A82-2 with respect to the shadow area A82-2 other than its own shadow area A82-1. Supplement the projection information so that it is displayed.
  • the process of calculating the shadow area A82 of each eyeglass-type device 20 is performed in the same manner as the level 1 blackout process described above.
  • the shadow area A82 other than the own shadow area A82 is converted from the world coordinate system to the glass coordinate system by the coordinate system conversion unit 312 for each eyeglass type device 20, and the image generation unit 314 is used. Then, the projection information corresponding to the other shadow area A82 is generated as complementary information and output to each spectacle-type device 20 via the I / F unit 301.
  • Each spectacle-type device 20 presents a 2D image in which the other shadow area A82 in the projection information is supplemented with complementary information.
  • the shadow area A82-2 which is another shadow area excluding its own shadow area A82-1, is converted from the world coordinate system to the glass coordinate system with respect to the eyeglass-type device 20-1. Then, the projection information corresponding to the shadow area A82-2 is generated as complementary information and output to the spectacle-type device 20-1. As a result, in the spectacle-type device 20-1, the complementary information is displayed on the transmissive display 204, and the shadow area A82-2 in the projection information is complemented.
  • the wearer wearing the spectacle-type device 20-1 complements the shadow area A82-2 with the 3D image of the object 71 displayed on the transmissive display 204. You will see the 2D image of the projection information supplemented in.
  • the wearer can see the complete projection information together with the three-dimensional object 71 as AR information even when there are other wearers. Further, by blackening only the portion of the shadow area A82 of the self, it is possible to avoid the phenomenon that the AR information appears to overlap with the projection information, and it is possible to improve the visibility of the information by the wearer.
  • the processing related to the spectacle-type device 20-1 among the two spectacle-type devices 20-1 and 20-2 has been mainly described, but the spectacle-type device 20 The same processing can be performed for -2. That is, in the process relating to the spectacle-type device 20-2, the shadow area A82-2 becomes its own shadow area, and the shadow area A82-1 becomes another shadow area.
  • N is an integer of 1 or more eyeglass-type devices 20-1 to 20-N can be similarly processed. .. That is, in the process related to the spectacle-type device 20-N, one shadow area A82-N becomes its own shadow area, and the other N-1 shadow areas A82 become other shadow areas.
  • Switching information When a wearer wearing the spectacle-type device 20 is viewing content, he / she may want to remove the spectacle-type device 20, for example, to communicate with a non-wearer or to take a break from eye strain. ..
  • the AR information is hidden by software. To control. At this time, when the projection information is displayed, the wearer can see it through the spectacle-type device 20.
  • FIG. 17 shows an example of the appearance configuration of the eyeglass-type device 20 having an information switching function.
  • a touch sensor 205 for detecting the gesture of the wearer is provided on the frame (temple) of the eyeglass-type device 20.
  • a gesture detection method in addition to providing the touch sensor 205, for example, another sensor such as the camera 202 may detect a movement of shielding by a part such as the wearer's hand.
  • the wearer's finger touches the detectable area of the touch sensor 205 while the AR information is displayed on the transmissive display 204, the off-gesture is detected and the AR information is displayed. It becomes hidden.
  • the wearer's finger touches the detectable area of the touch sensor 205 while the AR information is hidden on the transmissive display 204, the on-gesture is detected and the AR information is displayed. Can be done.
  • the spectacle-type device 20 by detecting a predetermined gesture by the wearer, on / off of the AR information displayed on the transmissive display 204 is controlled, and the AR information and the projection information are switched between each other. be able to.
  • AR information can be obtained by simply touching the frame portion without removing the spectacle-type device 20. You can hide it and use only the projection information. As a result, the wearer is in the same viewing state as the non-wearer.
  • the spectacle-type device 20 can present an image of AR content in 3D representation by utilizing the binocular parallax of the wearer.
  • the image of the projected content projected by the projector 10 is a 2D representation.
  • the projection information projected by the projector 10 becomes a 2D image like a top view, and the AR of the angle of view of the eyeglass-type device 20
  • the information becomes a three-dimensional 3D image, and the 2D image and the 3D image coexist.
  • the projector 10 displays the 2D image 51 with the table 50 as the projection surface
  • the eyeglass-type device 20 displays the 3D image 52.
  • a three-dimensional building displayed as a 3D image 52 is displayed on a two-dimensional map displayed as a 2D image 51.
  • the wearer of the spectacle-type device 20 can see the 3D image 52 according to the angle of view, and when the above-mentioned Level 1 and 2 blackout processing is applied, the angle of view including the peripheral visual field thereof. Outside, you can see the 2D image 51. In addition, the non-wearer can only see the 2D image 51.
  • step S11 the gesture recognition unit 315 determines whether or not there is an on-gesture of the spectacle-type device 20.
  • step S11 If it is determined in the determination process of step S11 that there is an on-gesture by the wearer, the process proceeds to step S12.
  • step S12 the gesture recognition unit 315 inverts the AR information display flag.
  • This AR information display flag (Flag AR ) is used to determine the conditions for displaying and hiding AR information.
  • step S12 When the process of step S12 is completed, the process proceeds to step S13. If it is determined in the determination process of step S11 that there is no gesture by the wearer, step S12 is skipped and the process proceeds to step S13.
  • step S14 the angle of view expression of the spectacle-type device 20 is turned off by the control unit 300.
  • the AR information is hidden on the transmissive display 204.
  • the control unit 300 controls the I / F unit 301 to receive the position information from the eyeglass-type device 20.
  • step S16 the control unit 300 determines whether or not the shadow expression is set to ON.
  • the shadow expression on / off setting can be set manually according to a predetermined operation by the user, or automatically according to a predetermined event or the like.
  • step S16 If it is determined in the determination process of step S16 that the shadow expression is set to off, the process proceeds to step S17, and the process of step S17 is executed by the control unit 300.
  • Level 0 blackening processing is performed from the position corresponding to the spectacle-type device 20 to blacken the projection area in the angle of view of the spectacle-type device 20 and the line-of-sight direction of the wearer.
  • the details of the level 0 blackening process are as described with reference to FIGS. 10 and 11.
  • step S16 If it is determined in the determination process of step S16 that the shadow expression is set to ON, the process proceeds to step S18, and the process of steps S18 and S19 is executed by the control unit 300.
  • the shadow area of the target object is calculated using the position corresponding to the position of the spectacle-type device 20 as a virtual light source, and the logical product of the angle of view of the spectacle-type device 20 and the shadow expression.
  • Level 1 and 2 blackout processing is performed so that the shadow area is shown in black according to the calculation result of (AND).
  • the position corresponding to the spectacle-type device 20 (the position of the virtual light source) is set to the position corresponding to the viewpoint of the user (wearer) who wears the spectacle-type device 20.
  • level 1 and 2 blackout processing are as described with reference to FIGS. 12, 13 and 14 to 16, but by calculating the logical product of the angle of view and the shadow expression, the self-extracting Since only the shadow area is represented in black (the other shadow areas are complemented by the complementary information), it is possible to cope with the case where a plurality of eyeglass-type devices 20 are used.
  • step S20 When the processing of steps S14, S17, or S19 is completed, the processing proceeds to step S20.
  • step S20 the control unit 300 controls the I / F unit 301 to transmit the video signal of the video generated in response to the processes of steps S14 to S19 described above to the projector 10.
  • step S20 When the process of step S20 is completed, the process returns to step S11, and the subsequent processes are repeated.
  • control unit 300 The flow of processing executed by the control unit 300 has been described above.
  • the content image is transformed specifically for a specific wearer. If it does not matter, the projection information may be changed from 2D to 3D in a pseudo manner according to the target wearer.
  • the wearer of the spectacle-type device 20 can see a building such as a building three-dimensionally by a 3D image, and can see other buildings such as a house with a projector 10 for motion disparity with respect to the target wearer.
  • a 2D image reflecting the above it is possible to present a wide range beyond the angle of view of the spectacle-type device 20.
  • the 3D image 52 is displayed on the eyeglass-type device 20 worn by the wearer, and the 2D image 53 is displayed by the projector 10 with the table 50 as the projection surface.
  • the two-dimensional map displayed as the 2D image 53 is displayed as the 3D image 52 on the map including the two-dimensional building (house, etc.) corresponding to the viewpoint of the target wearer.
  • a three-dimensional building (building, etc.) is displayed.
  • the control unit 300 acquires the coordinate information obtained by the self-position estimation by the spectacle-type device 20 via the I / F unit 301 and notifies the position recognition unit 311 to the spectacle-type device 20. Recognize the current position of. Further, the coordinate system conversion unit 312 and the image generation unit 314 convert the video of the content corresponding to the world coordinate system into the video viewed from the position corresponding to the spectacle-type device 20 based on the position of the spectacle-type device 20.
  • the coordinate system conversion unit 312 and the image generation unit 314 generate a video signal of the image obtained by converting the image viewed from the position corresponding to the eyeglass-type device 20 into the projector coordinate system, and generate a video signal of the image via the I / F unit 301.
  • the projector 10 displays a 2D image 53 viewed from a position corresponding to the eyeglass-type device 20 in the projection area A21 based on the image signal from the information processing device 30.
  • a virtual camera is set at the position of the eyeglass-type device, and the image taken by the camera in the real space is projected onto the projection surface to simulate motion parallax. It is possible to show a nice 3D image.
  • FIG. 21 shows an example of another configuration of an embodiment of an information processing system to which the present technology is applied.
  • the projector 10 has a control unit 100, an I / F unit 101, and a projection unit 102, and the eyeglass-type device 20 has a control unit, as compared with the configuration shown in FIG. The difference is that it has 200.
  • the parts corresponding to the configuration of FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • control unit 100 is composed of a processor such as a CPU, and controls the operation of each unit and performs various arithmetic processes.
  • the I / F unit 101 is composed of a communication module or the like conforming to a predetermined standard, and serves as an interface with the information processing device 30.
  • the projection unit 102 has an optical member such as a light source and a lens, and various mechanisms, and displays an image corresponding to the image signal input thereto by projecting the image on the projection surface.
  • control unit 200 is composed of a processor such as a CPU, and controls the operation of each unit and performs various arithmetic processes.
  • the functions of the control unit 300 of the information processing device 30 are the position recognition unit 311, the coordinate system conversion unit 312, the display area adjustment unit 313, the image generation unit 314, and the gesture. Although it has been described as having the recognition unit 315, all or a part of those functions may be possessed by at least one of the control unit 100 of the projector 10 and the control unit 200 of the spectacle-type device 20.
  • control unit 200 may have the functions of the position recognition unit 311, the coordinate system conversion unit 312, and the image generation unit 314.
  • the control unit 100 may have the functions of the coordinate system conversion unit 312 and the image generation unit 314.
  • the 3D image when the position corresponding to the spectacle-type device 20 is virtually used as a light source.
  • a predetermined display form blackout, etc.
  • a non-wearer who does not wear the spectacle-type device 20 can see the same content as the content viewed by the wearer who wears the spectacle-type device 20 in the projection information.
  • the non-wearer who is looking at the projection information pays attention to the area represented by a predetermined display form such as blackout, so that the guide of the gaze point of the wearer who wears the spectacle-type device 20 is shown and the wearer concerned. You can know where a person is looking.
  • the angle of view of the spectacle-type device 20 is narrowed, but by applying this technology, the wearer can project the spectacle-type device 20 through the transmissive display 204 of the spectacle-type device 20 even outside the angle of view. Since the information can be seen through, it is possible to experience with a wide angle of view including the peripheral vision.
  • the present technology is used.
  • the AR information displayed in the central visual field of the spectacle-type device 20 is displayed in black in the projection information in order to avoid information duplication (because it cannot be seen). You cannot edit in the same place. Therefore, it is possible to avoid competition between the wearer and the non-wearer.
  • the video is composed of a plurality of images, and the "video" may be read as the "image”.
  • the series of processes of the information processing device 30 (control unit 300) described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer of each device.
  • FIG. 22 shows an example of the hardware configuration of a computer that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a microphone, a keyboard, a mouse, and the like.
  • the output unit 507 includes a speaker, a display, and the like.
  • the storage unit 508 includes an HDD (Hard Disk Drive), a non-volatile memory, and the like.
  • the communication unit 509 includes a network interface and the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the ROM 502 and the storage unit 508 into the RAM 503 via the input / output interface 505 and the bus 504 and executes the above-mentioned series. Is processed.
  • the program executed by the computer (CPU501) can be recorded and provided on a removable recording medium 511 as a package medium or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by mounting the removable recording medium 511 in the drive 510. Further, the program can be received by the communication unit 509 and installed in the storage unit 508 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 502 or the storage unit 508.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers.
  • the program may be transferred to a distant computer for execution.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems.
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the present technology can have a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the control unit A position recognition unit that recognizes the position of the device based on the position information notified from the device, and The above (1) to (6) having an image generation unit for generating the 2D image in which the shadow area is represented by a predetermined display form by setting a virtual light source at a position corresponding to the recognized position of the device. ) Is described in any of the information processing devices.
  • the control unit Further, it has a coordinate conversion unit that converts the world coordinate system into the first coordinate system used in the first platform when generating the 2D image.
  • the information processing device according to (7) or (8), wherein the image generation unit generates the 2D image including the image of the shadow area converted from the world coordinate system to the first coordinate system.
  • the first platform provides projected content by a projector.
  • the information processing device according to any one of (1) to (9) above, wherein the second platform provides AR content by the device.
  • the 2D image is projection information and is The information processing device according to (10) above, wherein the 3D image is AR information.
  • the device includes a spectacle-type device having a transmissive display.
  • the eyeglass-type device is The 3D image is displayed on the display, The information processing apparatus according to (12), wherein the 2D image is presented in a see-through manner via the display.
  • the control unit When one of the devices is present, the 2D image corresponding to the viewpoint of the wearer wearing the device is displayed.
  • Information processing device When displaying the 2D image provided by the first platform and the 3D image provided by the second platform in a common coordinate system, from the viewpoint of the user who uses the device corresponding to the second platform. Correspondingly, when the 3D image overlaps with the 2D image, a shadow area corresponding to the shadow of an object included in the 3D image when the position corresponding to the device is virtually used as a light source is represented in a predetermined display form. An information processing method that controls the display of the 2D image.
  • 1 information processing system 10 projectors, 20 glasses-type devices, 30 information processing devices, 100 control units, 101 I / F units, 102 projection units, 200 control units, 201 I / F units, 202 cameras, 203 IMUs, 204 displays , 205 touch sensor, 300 control unit, 301 I / F unit, 302 storage unit, 311 position recognition unit, 312 coordinate system conversion unit, 313 display area adjustment unit, 314 video generation unit, 315 gesture recognition unit, 501 CPU

Abstract

本技術は、より高度なユーザ体験が得られるようにすることができるようにする情報処理装置、及び情報処理方法に関する。 第１のプラットフォームにより提供される２Ｄ映像と、第２のプラットフォームにより提供される３Ｄ映像とを共通の座標系で表示する際に、第２のプラットフォームに対応した機器を使用するユーザの視点に応じて３Ｄ映像が２Ｄ映像と重なる場合、機器に対応した位置を仮想的に光源としたときの３Ｄ映像に含まれるオブジェクトの影に応じた影エリアを所定の表示形態で表した２Ｄ映像を表示する制御を行う制御部を備える情報処理装置が提供される。本技術は、例えば、プロジェクタと眼鏡型デバイスで共通なコンテンツを提示するシステムに適用することができる。

Description

情報処理装置、及び情報処理方法
　本技術は、情報処理装置、及び情報処理方法に関し、特に、より高度なユーザ体験が得られるようにすることができるようにした情報処理装置、及び情報処理方法に関する。
　近年、眼鏡型デバイスやヘッドマウントディスプレイのような、ユーザの視界を覆うかたちで頭部に装着させることにより、装着したユーザにのみコンテンツを視聴させるための機器が普及している（例えば、特許文献１参照）。
　この種のコンテンツとしては、現実環境に情報を付加して人間から見た実世界を拡張する拡張現実（AR：Augmented Reality）を利用したARコンテンツがある。
　また、従来から、映像をスクリーンに投影することで表示するプロジェクタが普及しており、ユーザは、プロジェクタにより投影された投影コンテンツを視聴することができる。
特開2013-125247号公報
　ところで、ARコンテンツ等の３Ｄ映像を提供するプラットフォームと、投影コンテンツ等の２Ｄ映像を提供するプラットフォームとを連携させて、より高度なユーザ体験が得られるようにすることが求められている。
　本技術はこのような状況に鑑みてなされたものであり、より高度なユーザ体験が得られるようにすることができるようにするものである。
　本技術の一側面の情報処理装置は、第１のプラットフォームにより提供される２Ｄ映像と、第２のプラットフォームにより提供される３Ｄ映像とを共通の座標系で表示する際に、前記第２のプラットフォームに対応した機器を使用するユーザの視点に応じて前記３Ｄ映像が前記２Ｄ映像と重なる場合、前記機器に対応した位置を仮想的に光源としたときの前記３Ｄ映像に含まれるオブジェクトの影に応じた影エリアを所定の表示形態で表した前記２Ｄ映像を表示する制御を行う制御部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、情報処理装置が、第１のプラットフォームにより提供される２Ｄ映像と、第２のプラットフォームにより提供される３Ｄ映像とを共通の座標系で表示する際に、前記第２のプラットフォームに対応した機器を使用するユーザの視点に応じて前記３Ｄ映像が前記２Ｄ映像と重なる場合、前記機器に対応した位置を仮想的に光源としたときの前記３Ｄ映像に含まれるオブジェクトの影に応じた影エリアを所定の表示形態で表した前記２Ｄ映像を表示する制御を行う情報処理方法である。
　本技術の一側面の情報処理装置、及び情報処理方法においては、第１のプラットフォームにより提供される２Ｄ映像と、第２のプラットフォームにより提供される３Ｄ映像とを共通の座標系で表示する際に、前記第２のプラットフォームに対応した機器を使用するユーザの視点に応じて前記３Ｄ映像が前記２Ｄ映像と重なる場合、前記機器に対応した位置を仮想的に光源としたときの前記３Ｄ映像に含まれるオブジェクトの影に応じた影エリアを所定の表示形態で表した前記２Ｄ映像を表示する制御が行われる。
　本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
プロジェクタを利用したプロジェクション情報の表示の例を示す図である。 眼鏡型デバイスを利用したAR情報の表示の例を示す図である。 プロジェクタと眼鏡型デバイスの２つのプラットフォームを連携させた場合の表示の例を示す図である。 眼鏡型デバイスの画角に応じた表示の例を示す図である。 本技術を適用した情報処理システムの一実施の形態の構成の例を示すブロック図である。 ワールド座標系の原点とプロジェクタ座標系との関係の例を示す図である。 コンテンツに含まれるオブジェクトの例を示す図である。 投影されるオブジェクトの例を示す図である。 眼鏡型デバイスの透過型のディスプレイ越しに見えるオブジェクトの例を示す図である。 Level0の黒抜き処理の例を示す図である。 Level0の黒抜き処理の例を示す図である。 Level1の黒抜き処理の例を示す図である。 Level1の黒抜き処理の例を示す図である。 Level2の黒抜き処理の例を示す図である。 Level2の黒抜き処理の例を示す図である。 Level2の黒抜き処理の例を示す図である。 情報の切り替え機能を有する眼鏡型デバイスの外観の構成の例を示す図である。 本技術を適用したプラットフォーム連携による表示の例を示す図である。 制御部により実行される処理の流れを説明するフローチャートである。 本技術を適用したプラットフォーム連携による表示の他の例を示す図である。 本技術を適用した情報処理システムの一実施の形態の他の構成の例を示すブロック図である。 コンピュータの構成の例を示すブロック図である。
＜１．本技術の実施の形態＞
　現在普及している眼鏡型デバイス等の機器は、ユーザの視界を覆うかたちで頭部に装着させることにより、装着したユーザにのみコンテンツを見せるためのデバイスである。この種のコンテンツとしては、拡張現実（AR）を利用したARコンテンツが用いられる。
　眼鏡型デバイスを装着してARコンテンツを視聴する場合、眼鏡型デバイスを装着しているユーザ（以下、装着者ともいう）は、眼鏡型デバイスを装着していないユーザ（以下、非装着者ともいう）とのコミュニケーションを行う際に、頭部に装着しているデバイスを取り外す必要がある。
　例えば、装着者は、AR情報が必要ない場合に、ARコンテンツを用いたタスクに対して、作業を一旦停止する必要があり、そのことが作業の阻害となっていた。また逆に、非装着者が、装着者とAR情報に関係してコミュニケーションを行う場合には、例えば、次のようなことが行われる。
　すなわち、非装着者が、眼鏡型デバイス等の機器を装着して装着者と同様のAR情報を見るか、あるいは実世界の映像とAR情報を合成して表示するモニタなどを介して第三者的な視点で俯瞰的に見るか、スマートフォンやタブレット型端末等の機器を利用してビデオシースルーに付加されたAR情報を見る必要がある。
　このように、従来、装着者と非装着者がコミュニケーションをとる場合、AR情報を見ている装着者が非装着者に合わせるか、あるいはAR情報を見ていない非装着者が装着者に合わせる必要があった。
　そこで、本技術では、ARコンテンツを表示可能な眼鏡型デバイス等の機器と、投影コンテンツを投影可能なプロジェクタによるプロジェクションマッピングとを利用した実世界指向の拡張現実を併用した環境を提案する。以下、図面を参照しながら、本技術の実施の形態について説明する。
（前提の技術）
　図１は、プロジェクタを利用したプロジェクション情報の表示の例を示している。
　図１においては、部屋の天井の近傍等に設置されたプロジェクタ１０により、床面に設置されたテーブル５０を投影面として、２Ｄ映像５１が表示されている。２Ｄ映像５１は、投影コンテンツをテーブル５０に投影することで表示されるプロジェクション情報として、ある町の地図を表示している。
　このようなプラットフォームを利用することで、非装着者であるユーザＵ１は、２次元の地図により町の全景を俯瞰することができる。
　図２は、眼鏡型デバイスを利用したAR情報の表示の例を示している。
　図２において、ユーザＵ２が装着した眼鏡型デバイス２０では、床面に設置されたテーブル５０上に、３Ｄ映像５２が重畳して表示される。３Ｄ映像５２は、ARコンテンツを再生することで表示されるAR情報として、ある町にある建物やその詳細な情報等を表示している。
　このようなプラットフォームを利用することで、装着者であるユーザＵ２は、３次元の建物やその情報により詳細な情報を得ることができる。
　このとき、ユーザＵ２は、自身の視野が、眼鏡型デバイス２０の画角となるため、町全体が見えず、対象の建物やその詳細な情報等のAR情報が視野中心に見えている。一方で、図１に示したように、プロジェクタ１０によるプロジェクションマッピングを利用しているユーザＵ１は、町の全景のプロジェクション情報は見えているが、そこにある建物やその詳細な情報等のAR情報は見えていない。
　図３は、プロジェクタと眼鏡型デバイスの２つのプラットフォームを連携させた場合の表示の例を示している。
　図３においては、２つのプラットフォームを連携させて共通のコンテンツを見られる状況にすることで、眼鏡型デバイス２０を装着したユーザＵ２は、透過型ディスプレイに表示されるAR情報とともに、当該透過型ディスプレイを介してシースルーでプロジェクション情報も見ることができる。
　このとき、眼鏡型デバイス２０の透過型ディスプレイ越しには、プロジェクション情報である２Ｄ映像５１と、AR情報である３Ｄ映像５２との両方の映像が見えることになる。例えば、図４に示すように、ユーザＵ２は、２Ｄ映像５１として表示される地図上に、３Ｄ映像５２として表示される建物が重畳された映像を、透過型ディスプレイ越しに見ることができる。
　このように、２つのプラットフォームを共通化してコンテンツを表示した場合、眼鏡型デバイス２０を装着したユーザＵ２は、プロジェクション情報とAR情報の両方を見ることができるが、AR情報が表示されている領域では、プロジェクション情報とAR情報の両方の情報が重なって見える（図４の建物の例）。
　そのため、眼鏡型デバイス２０を装着したユーザＵ２に対する情報の視認性を上げるためには、プロジェクション情報におけるAR情報が重なっている領域では、プロジェクション情報を消す必要がある。
（システムの構成）
　図５は、本技術を適用した情報処理システムの一実施の形態の構成の例を示している。
　本技術を適用した情報処理システム１は、プロジェクタ１０、眼鏡型デバイス２０、及び情報処理装置３０から構成される。
　プロジェクタ１０は、所定の場所に固定されて使用される固定型の投影装置である。プロジェクタ１０は、情報処理装置３０からの制御に従い、投影コンテンツの映像信号に応じた映像を、投影面に投影することで表示させる。
　眼鏡型デバイス２０は、透過型ディスプレイを有する眼鏡型の機器である。例えば、眼鏡型デバイス２０は、ARグラス等のウェアラブルデバイスとして構成される。眼鏡型デバイス２０は、情報処理装置３０からの制御に従い、ARコンテンツの映像信号に応じた映像を、透過型ディスプレイに表示させる。
　すなわち、眼鏡型デバイス２０では、通常の眼鏡においてフレームに取り付けられるレンズの位置に、左眼用と右眼用の一対の透過型ディスプレイが配置されており、ユーザの目の周辺に装着される。そのため、眼鏡型デバイス２０では、ユーザの視界を実空間から切り離すことなく、AR技術を用いたAR情報等の各種の情報を視界内に表示することができる。
　眼鏡型デバイス２０は、I/F部２０１、カメラ２０２、IMU２０３、ディスプレイ２０４、及びタッチセンサ２０５から構成される。
　I/F部２０１は、情報処理装置３０との間のインタフェースであって、所定の規格に準拠した通信モジュールや入出力端子などから構成される。
　カメラ２０２は、イメージセンサや信号処理部などから構成される。カメラ２０２は、被写体からの光を電気信号に変換してその電気信号に所定の信号処理を施し、その結果得られる撮影画像信号を出力する。なお、カメラ２０２は、眼鏡型デバイス２０に内蔵されてもよいし、外部に設けられてもよい。
　IMU２０３は、慣性計測装置（IMU：Inertial Measurement Unit）である。IMU２０３は、３軸のジャイロスコープと３方向の加速度計により、３次元の角速度と加速度を検出し、センサ信号として出力する。
　ディスプレイ２０４は、左眼用と右眼用の一対の透過型ディスプレイとして構成される。ディスプレイ２０４は、I/F部２０１から供給される映像信号に応じた映像等を表示する。
　タッチセンサ２０５は、例えば眼鏡型デバイス２０のフレーム部分に取り付けられ、眼鏡型デバイス２０を装着したユーザの指などがフレーム部分に触れたとき、検出信号を出力する。
　情報処理装置３０は、PC(Personal Computer)や専用の機器、ゲーム機などとして構成される。情報処理装置３０は、プロジェクタ１０と眼鏡型デバイス２０のそれぞれのプラットフォームを統合するための機能を有する。
　情報処理装置３０は、制御部３００、I/F部３０１、及び記憶部３０２から構成される。
　制御部３００は、各部の動作の制御や各種の演算処理を行う中心的な制御装置（処理装置）である。制御部３００は、CPU(Central Processing Unit)等のプロセッサから構成される。
　I/F部３０１は、プロジェクタ１０及び眼鏡型デバイス２０との間のインタフェースであって、所定の規格に準拠した通信モジュールや入出力端子などから構成される。
　記憶部３０２は、半導体メモリやHDD(Hard Disk Drive)等の補助記憶装置であって、内部ストレージ又は外部ストレージとして構成される。
　制御部３００は、位置認識部３１１、座標系変換部３１２、表示エリア調整部３１３、映像生成部３１４、及びジェスチャ認識部３１５から構成される。
　位置認識部３１１は、眼鏡型デバイス２０から送信されてくる位置情報を、I/F部３０１を介して取得する。位置認識部３１１は、取得した位置情報に基づき、眼鏡型デバイス２０の現在位置を認識し、必要に応じて座標系変換部３１２又は映像生成部３１４に通知する。
　座標系変換部３１２は、空間の座標系であるワールド座標系と、プロジェクタ１０の座標系であるプロジェクタ座標系と、眼鏡型デバイス２０の座標系であるグラス座標系との間で各座標系を相互に変換する。
　座標系変換部３１２は、位置認識部３１１から通知される眼鏡型デバイス２０の位置をワールド座標系に変換したり、あるいは、映像生成部３１４からの要求に応じて映像の生成時に座標系を変換したりする。
　座標系変換部３１２により変換された座標系に関する情報は、適宜、記憶部３０２に記憶され、後から読み出すことができる。なお、座標系変換部３１２は、座標系の変換に際して、記憶部３０２に記憶された設定情報等の情報を用いても構わない。
　表示エリア調整部３１３は、記憶部３０２に記憶されている設定情報や、ジェスチャ認識部３１５から通知されるオン／オフ情報などの情報に基づき、眼鏡型デバイス２０の表示エリアを調整（例えばAR情報等の情報の表示を調整）し、映像生成部３１４に通知する。
　映像生成部３１４は、プロジェクタ１０により表示される２Ｄ映像の映像信号を生成し、I/F部３０１を介してプロジェクタ１０に出力する。また、映像生成部３１４は、眼鏡型デバイス２０により表示される３Ｄ映像の映像信号を生成し、I/F部３０１を介して眼鏡型デバイス２０に出力する。
　映像生成部３１４は、映像信号を生成するに際して、位置認識部３１１から通知される眼鏡型デバイス２０の位置、座標系変換部３１２に問い合わせることで通知される変換後の座標系、又は表示エリア調整部３１３から通知される眼鏡型デバイス２０の表示エリアに関する情報などを、必要に応じて用いることができる。
　ジェスチャ認識部３１５は、眼鏡型デバイス２０から送信されてくる検出信号を、I/F部３０１を介して取得する。ジェスチャ認識部３１５は、取得した検出信号に基づき、ユーザによるジェスチャとして、眼鏡型デバイス２０のオン／オフのジェスチャを認識する。
　詳細は後述するが、オンジェスチャは、眼鏡型デバイス２０でAR情報を表示可能にするためのジェスチャであり、オフジェスチャは、眼鏡型デバイス２０でAR情報を非表示にするためのジェスチャである。
　ジェスチャ認識部３１５により認識されたオン／オフのジェスチャに関するオン／オフ情報は、表示エリア調整部３１３に通知されるか、あるいは、適宜、記憶部３０２に記憶され、後から読み出すことができる。
　情報処理システム１は、以上のように構成される。なお、情報処理システム１において、眼鏡型デバイス２０は１台に限らず、複数台設けられるようにしても構わない。複数の眼鏡型デバイス２０を設ける場合には、各眼鏡型デバイス２０のそれぞれが、情報処理装置３０からの制御に従い、映像を透過型のディスプレイ２０４に表示させる。
（座標系の共通化）
　部屋等の空間において、情報処理装置３０は、空間の位置に合わせて、プロジェクタ１０により投影コンテンツの映像を投影面に表示する。このとき、投影コンテンツは、プロジェクタ座標系を、ワールド座標系の原点に合わせることで投影される。
　図６は、ワールド座標系の原点とプロジェクタ座標系との関係の例を示している。
　図６においては、ワールド座標系に対応した領域であるグローバルエリアＡ１１と、プロジェクタ座標系に対応した領域であるプロジェクションエリアＡ２１がそれぞれ示されている。
　図６に示すように、情報処理システム１では、プロジェクタ１０を設置した段階で、プロジェクションエリアＡ２１の原点Ｐをワールド座標系の位置Ｗに合わせて投影させることを、あらかじめ設定することができる。すなわち、プロジェクタ座標系とワールド座標系とは、下記の式（１）に示すような関係を有する。
　ワールド座標系の位置Ｗ(100,100,20) ＝ プロジェクタ座標系の原点Ｐ(0,0) 　　　・・・（１）
　なお、プロジェクションエリアＡ２１を設定するに際しては、例えば、実測して物理距離を測定してもよいし、あるいはカメラと原点マーカを用いて認識させてもよい。
　ここで、図７に示すように、共通のコンテンツとして、３次元のオブジェクト７１，７２を含む映像を表示する場合に、オブジェクト７１がワールド座標系の位置Ｗ(150,150,20)に存在し、オブジェクト７２がワールド座標系の位置Ｗ(50,50,20)に存在するときを想定する。
　このとき、オブジェクト７１は、プロジェクションエリアＡ２１内に存在し、オブジェクト７２は、プロジェクションエリアＡ２１外に存在するため、プロジェクタ１０によってオブジェクト７１のみが投影され、２Ｄ映像として表示される。
　具体的には、図７に示したように、オブジェクト７１は、ワールド座標系の位置Ｗ(150,150,20)に存在して、立方体の形状を有するが、実際には、図８に示すように、その立方体の上面が、プロジェクタ座標系の位置Ｐ(50,50)に、矩形状に表示される。すなわち、プロジェクタ座標系とワールド座標系とは、下記の式（２）に示すような関係を有する。
　ワールド座標系の位置Ｗ(150,150,20) ＝ プロジェクタ座標系の位置Ｐ(50,50) 　　　・・・（２）
　これにより、非装着者は、プロジェクションエリアＡ２１に表示されるプロジェクション情報として、矩形状のオブジェクト７１を見ることができる。
　ここで、眼鏡型デバイス２０を装着したユーザ（装着者）が参加する場合を想定する。眼鏡型デバイス２０は、空間情報を認識して、透過型のディスプレイ２０４に映像を表示する際の原点を設定する機能を有している。そのため、眼鏡型デバイス２０では、対象の空間に装着者が入ったとき、原点設定の機能でワールド座標系と原点を合わせることができる。
　その後、眼鏡型デバイス２０では、装着者の移動自体を、カメラ２０２やIMU２０３等を用いて自己位置推定することにより、装着者が透過型のディスプレイ２０４越しに見ている場所の位置の相対座標を更新して、透過型のディスプレイ２０４に表示するAR情報を更新する。
　具体的には、図９に示すように、眼鏡型デバイス２０を装着した装着者の視線が、プロジェクションエリアＡ２１外に存在するオブジェクト７２を向いているとき、透過型のディスプレイ２０４の表示エリアに対応した仮想表示エリアＡ３１には、オブジェクト７２が含まれる。
　眼鏡型デバイス２０では、透過型のディスプレイ２０４に、仮想表示エリアＡ３１に含まれるオブジェクト７２が表示される。これにより、装着者は、AR情報として、円柱の形状を有するオブジェクト７２を見ることができる。
（情報重複の回避）
　プロジェクタ１０と眼鏡型デバイス２０の２つのプラットフォームを連携させて共通のコンテンツを見られる状況にした場合に、対象のオブジェクトがプロジェクションエリアＡ２１と仮想表示エリアＡ３１の両方のエリアに存在するときに、プロジェクション情報とAR情報とが重なって、装着者による情報の視認性が低下することは、図４等を参照して先に述べた通りである。
　本技術では、このようなプロジェクション情報とAR情報とが重なる場合に、プロジェクション情報を黒抜きする処理を行うことで、眼鏡型デバイス２０の装着者に対し、これらの情報が重なって見えることを回避するようにする。また、プロジェクション情報の一部が黒抜きされることで、非装着者にとっては、装着者がどこを見ているかの注視点を知ることができる。
　黒抜き処理は、対象のエリアを黒色で表す処理である。この黒抜き処理としては、例えば、Level0乃至Level2の３段階のレベルに応じた処理を設定することができる。
（１）Level0の黒抜き処理
　Level0の黒抜き処理は、最も簡単な処理であり、眼鏡型デバイス２０の透過型のディスプレイ２０４の表示エリアに対応した仮想表示エリアＡ３１を含むプロジェクションエリアＡ２１を、仮想表示エリアＡ３１に対応した矩形等の所定の形状に黒抜きする処理である。
　具体的には、図１０に示すように、仮想表示エリアＡ３１にオブジェクト７１が含まれる場合に、眼鏡型デバイス２０に対応した位置である点Ｐ１１から、仮想表示エリアＡ３１をプロジェクションエリアＡ２１上に投影したときの投影エリアＡ３２が、黒矩形エリアとして黒抜きされるようにする。点Ｐ１１は、装着者の視点の位置に対応させることができる。
　情報処理装置３０では、制御部３００が、眼鏡型デバイス２０による自己位置推定で得られる座標情報をI/F部３０１を介して取得し、位置認識部３１１に通知することで、眼鏡型デバイス２０の現在位置を認識する。また、座標系変換部３１２は、眼鏡型デバイス２０に対応したワールド座標系の位置（点Ｐ１１）を頂点に、仮想表示エリアＡ３１をプロジェクションエリアＡ２１上に投影したときのワールド座標系の領域である投影エリアＡ３２を、黒矩形エリアとして算出する。
　さらに、座標系変換部３１２は、算出した投影エリアＡ３２（黒矩形エリア）のワールド座標を、プロジェクタ座標に変換し、映像生成部３１４に供給する。映像生成部３１４は、投影エリアＡ３２を黒抜きした映像の映像信号を生成し、I/F部３０１を介してプロジェクタ１０に出力する。プロジェクタ１０は、情報処理装置３０からの映像信号に基づき、プロジェクションエリアＡ２１に、投影エリアＡ３２の部分が黒抜きされた２Ｄ映像を表示する。
　これにより、図１１に示すように、眼鏡型デバイス２０を装着した装着者は、透過型のディスプレイ２０４に表示されるオブジェクト７１の３Ｄ映像とともに、それ以外の領域では、透過型のディスプレイ２０４を介してシースルーでプロジェクション情報の黒抜きされた部分（黒矩形エリアの部分）の２Ｄ映像を見ることになる。
　すなわち、装着者は、AR情報としての３次元のオブジェクト７１のみを見ることができ、それ以外を見ることはできないが、AR情報がプロジェクション情報と重なって見える現象を回避することができる。
（２）Level1の黒抜き処理
　眼鏡型デバイス２０において、装着者が、３次元のオブジェクトを表示している領域以外の領域で、シースルーでプロジェクション情報を見るためには、３次元のオブジェクトと重なる領域のみを黒抜きする必要がある。
　Level1の黒抜き処理では、眼鏡型デバイス２０に対応した位置を仮想的な光源として、３次元のオブジェクトの影の部分を算出することで、最小限の黒抜き領域を求めるようにする。
　具体的には、図１２に示すように、仮想表示エリアＡ３１にオブジェクト７１が含まれる場合に、眼鏡型デバイス２０に対応した位置を仮想的に光源８１としたときに、光源８１からの光によるオブジェクト７１の影を表した領域である影エリアＡ８２が、黒抜きされるようにする。
　情報処理装置３０では、制御部３００が、眼鏡型デバイス２０による自己位置推定で得られる座標情報をI/F部３０１を介して取得し、位置認識部３１１に通知することで、眼鏡型デバイス２０の現在位置を認識する。また、座標系変換部３１２は、眼鏡型デバイス２０に対応する位置に、仮想的な光源８１を設定することで、オブジェクト７１の影エリアＡ８２を算出する。
　光源８１の位置（光学原点）は、装着者の視点の位置に対応させることができる。なお、このような影エリアは、現在普及しているゲームエンジン等の機能を利用して算出することも可能である。
　座標系変換部３１２は、ワールド座標系で算出された影エリアＡ８２を、プロジェクタ座標系に変換し、映像生成部３１４に供給する。映像生成部３１４は、影エリアＡ８２を黒抜きした映像の映像信号を生成し、I/F部３０１を介してプロジェクタ１０に出力する。プロジェクタ１０は、情報処理装置３０からの映像信号に基づき、プロジェクションエリアＡ２１に、影エリアＡ８２の部分が黒抜きされた２Ｄ映像を表示する。
　これにより、図１３に示すように、眼鏡型デバイス２０を装着した装着者は、透過型のディスプレイ２０４に表示されるオブジェクト７１の３Ｄ映像とともに、それ以外の領域では、透過型のディスプレイ２０４を介してシースルーでプロジェクション情報の２Ｄ映像を見ることになる。
　すなわち、装着者は、AR情報としての３次元のオブジェクト７１とともに、プロジェクション情報を見ることができる。また、影エリアＡ８２の部分が黒抜きされることで、AR情報がプロジェクション情報と重なって見える現象を回避することができ、装着者による情報の視認性を向上させることができる。
（３）Level2の黒抜き処理
　情報処理システム１において、複数の眼鏡型デバイス２０が用いられる場合、上述したLevel1の黒抜き処理を行うと、眼鏡型デバイス２０を装着した装着者は、他の眼鏡型デバイス２０による情報重複の回避のための影が見えてしまう恐れがある。つまり、眼鏡型デバイス２０において、透過型のディスプレイ２０４を介して提示されるプロジェクション情報のうち、他の眼鏡型デバイス２０による影エリアＡ８２に対応したプロジェクション情報が欠落してしまう。
　この対策として、Level2の黒抜き処理では、眼鏡型デバイス２０の透過型のディスプレイ２０４に表示される情報として、他の眼鏡型デバイス２０による影エリアＡ８２に対応したプロジェクション情報を補うことで、プロジェクション情報の欠落を回避できるようにする。
　具体的には、図１４に示すように、２台の眼鏡型デバイス２０－１，２０－２が用いられる場合を想定する。この場合において、眼鏡型デバイス２０－１に対応した位置を仮想的な光源８１－１としたときのオブジェクト７１の影エリアＡ８２－１と、眼鏡型デバイス２０－２に対応した位置を仮想的な光源８１－２としたときのオブジェクト７１の影エリアＡ８２－２が、それぞれ黒抜きの対象エリアとされる。
　このとき、影エリアＡ８２－１，Ａ８２－２を黒抜きすることで、眼鏡型デバイス２０－１を装着した装着者からすれば、影エリアＡ８２－２に対応したプロジェクション情報が欠落して見えてしまう。一方で、眼鏡型デバイス２０－２を装着した装着者からすれば、影エリアＡ８２－１に対応したプロジェクション情報が欠落して見えてしまう。
　図１５には、眼鏡型デバイス２０－１において、オブジェクト７１とともに、眼鏡型デバイス２０－２による影エリアＡ８２－２を含むプロジェクション情報が見えている様子を示している。このようなプロジェクション情報の欠落を回避するために、眼鏡型デバイス２０－１では、自己の影エリアＡ８２－１以外の他の影エリアＡ８２－２に対して、当該影エリアＡ８２－２に対応したプロジェクション情報を補って、表示されるようにする。
　情報処理装置３０では、Level2の黒抜き処理を行うに際して、各眼鏡型デバイス２０の影エリアＡ８２を算出する処理は、上述したLevel1の黒抜き処理と同様に行われる。
　また、Level2の黒抜き処理では、各眼鏡型デバイス２０について自己の影エリアＡ８２以外の他の影エリアＡ８２を、座標系変換部３１２によりワールド座標系からグラス座標系に変換し、映像生成部３１４では、他の影エリアＡ８２に該当するプロジェクション情報を、補完情報として生成して、I/F部３０１を介して各眼鏡型デバイス２０にそれぞれ出力する。各眼鏡型デバイス２０では、プロジェクション情報における他の影エリアＡ８２の部分を補完情報で補った２Ｄ映像が提示される。
　例えば、情報処理装置３０では、眼鏡型デバイス２０－１に対して、自己の影エリアＡ８２－１を除いた他の影エリアである影エリアＡ８２－２を、ワールド座標系からグラス座標系に変換し、その影エリアＡ８２－２に応じたプロジェクション情報を、補完情報として生成し、眼鏡型デバイス２０－１に出力する。これにより、眼鏡型デバイス２０－１では、透過型のディスプレイ２０４に補完情報が表示され、プロジェクション情報における影エリアＡ８２－２の部分が補完される。
　これにより、図１６に示すように、眼鏡型デバイス２０－１を装着した装着者は、透過型のディスプレイ２０４に表示されるオブジェクト７１の３Ｄ映像とともに、影エリアＡ８２－２の部分を補完情報９１で補ったプロジェクション情報の２Ｄ映像を見ることになる。
　すなわち、装着者は、他の装着者がいる場合でも、AR情報としての３次元のオブジェクト７１とともに、完全なプロジェクション情報を見ることができる。また、自己の影エリアＡ８２の部分のみが黒抜きされることで、AR情報がプロジェクション情報と重なって見える現象を回避することができ、装着者による情報の視認性を向上させることができる。
　なお、上述した図１４乃至図１６を参照した説明では、２台の眼鏡型デバイス２０－１，２０－２のうち、眼鏡型デバイス２０－１に関する処理を中心に説明したが、眼鏡型デバイス２０－２についても同様の処理を行うことができる。つまり、眼鏡型デバイス２０－２に関する処理では、影エリアＡ８２－２が自己の影エリアとなり、影エリアＡ８２－１が他の影エリアとなる。
　また、２台の眼鏡型デバイス２０－１，２０－２に限らず、Ｎ（Ｎは１以上の整数）台の眼鏡型デバイス２０－１乃至２０－Ｎについても同様に処理を行うことができる。つまり、眼鏡型デバイス２０－Ｎに関する処理では、１つの影エリアＡ８２－Ｎが自己の影エリアとなり、それ以外のＮ－１個の影エリアＡ８２が他の影エリアとなる。
（情報の切り替え）
　眼鏡型デバイス２０を装着した装着者がコンテンツを見ている場合に、例えば、非装着者とコミュニケーションを取るため、あるいは目の疲れから休憩するために、眼鏡型デバイス２０を外したくなるときがある。
　このようなときに、本技術では、眼鏡型デバイス２０のフレーム等の所定の領域を、装着者が指で触るなどのジェスチャが行われた場合に、ソフトウェア的にAR情報が非表示になるように制御する。このとき、装着者は、プロジェクション情報が表示されている場合には、眼鏡型デバイス２０を介して見ることができる。
　これにより、装着者は、非装着者と同様に、プロジェクション情報のみを見ながら、コミュニケーションを取ることができる。なお、このとき、プロジェクション情報では、上述した情報重複の回避のための影表現も非表示とされる。
　図１７は、情報の切り替え機能を有する眼鏡型デバイス２０の外観の構成の例を示している。
　図１７において、眼鏡型デバイス２０のフレーム（のテンプル）の部分には、装着者のジェスチャを検出するためのタッチセンサ２０５が設けられている。ジェスチャの検出方法としては、タッチセンサ２０５を設けるほか、例えば、カメラ２０２等の他のセンサが、装着者の手等の部位で遮蔽する動きなどを検出しても構わない。
　眼鏡型デバイス２０において、透過型のディスプレイ２０４にAR情報が表示されている状態で、タッチセンサ２０５の検出可能な領域に、装着者の指が接触したとき、オフジェスチャが検出され、AR情報が非表示になる。一方で、透過型のディスプレイ２０４でAR情報が非表示である状態で、タッチセンサ２０５の検出可能な領域に、装着者の指が接触したときには、オンジェスチャが検出され、AR情報を表示することができる。
　このように、眼鏡型デバイス２０では、装着者による所定のジェスチャを検出することで、透過型のディスプレイ２０４に表示されるAR情報のオン／オフが制御され、AR情報とプロジェクション情報を相互に切り替えることができる。
　また、眼鏡型デバイス２０の装着者が、非装着者とコミュニケーションを取る場合や、目の疲れから休憩する場合に、眼鏡型デバイス２０を外すことなく、フレームの部分を触れるだけで、AR情報を非表示にして、プロジェクション情報のみを利用することができる。これにより、装着者は、非装着者と同レベルの視聴状態になる。
（プラットフォーム連携）
　眼鏡型デバイス２０は、装着者の両眼視差を利用してARコンテンツの映像を３Ｄ表現で提示することが可能である。これに対し、プロジェクタ１０により投影される投影コンテンツの映像は、２Ｄ表現である。
　このため、これらの２つのプラットフォームで、同一のコンテンツを共有して提供する場合、プロジェクタ１０により投影されるプロジェクション情報は、天面図のような２Ｄ映像となり、眼鏡型デバイス２０の画角のAR情報は、立体的な３Ｄ映像となり、それらの２Ｄ映像と３Ｄ映像とが共存することになる。
　具体的には、図１８に示すように、プロジェクタ１０により、テーブル５０を投影面として２Ｄ映像５１が表示されるとともに、眼鏡型デバイス２０には、３Ｄ映像５２が表示される。図１８の例では、２Ｄ映像５１として表示される２次元の地図上に、３Ｄ映像５２として表示される３次元の建物などが表示されている。
　このとき、眼鏡型デバイス２０の装着者は、その画角に応じた３Ｄ映像５２を見ることができ、さらに、上述したLevel1,2の黒抜き処理を適用した場合、その周辺視野を含む画角外は、２Ｄ映像５１を見ることができる。また、非装着者は、２Ｄ映像５１のみを見ることができる。
（処理の流れ）
　次に、図１９のフローチャートを参照して、情報処理装置３０において制御部３００により実行される処理の流れを説明する。
　ステップＳ１１において、ジェスチャ認識部３１５は、眼鏡型デバイス２０のオンジェスチャがあったかどうかを判定する。
　ステップＳ１１の判定処理で、装着者によるオンジェスチャがあったと判定された場合、処理は、ステップＳ１２に進められる。ステップＳ１２において、ジェスチャ認識部３１５は、AR情報表示フラグを反転する。このAR情報表示フラグ（FlagAR）は、AR情報の表示と非表示の条件判定に用いられる。
　ステップＳ１２の処理が終了すると、処理は、ステップＳ１３に進められる。また、ステップＳ１１の判定処理で、装着者によるオンジェスチャがないと判定された場合、ステップＳ１２はスキップされ、処理は、ステップＳ１３に進められる。
　ステップＳ１３において、制御部３００は、AR情報表示フラグの真偽を判定する。ステップＳ１３の判定処理で、AR情報表示フラグが偽（FlagAR = FALSE）であると判定された場合、処理は、ステップＳ１４に進められる。
　ステップＳ１４においては、制御部３００によって、眼鏡型デバイス２０の画角表現がオフされる。これにより、眼鏡型デバイス２０において、透過型のディスプレイ２０４では、AR情報が非表示とされる。
　一方で、ステップＳ１３の判定処理で、AR情報表示フラグが真（FlagAR = TRUE）であると判定された場合、処理は、ステップＳ１５に進められる。ステップＳ１５において、制御部３００は、I/F部３０１を制御して、眼鏡型デバイス２０から位置情報を受信する。
　ステップＳ１６において、制御部３００は、影表現がオンに設定されているかどうかを判定する。なお、影表現のオン／オフの設定は、ユーザによる所定の操作に応じて手動で、あるいは所定のイベント等に応じて自動で設定可能である。
　ステップＳ１６の判定処理で、影表現がオフに設定されていると判定された場合、処理は、ステップＳ１７に進められ、制御部３００によって、ステップＳ１７の処理が実行される。
　すなわち、ステップＳ１７の処理では、眼鏡型デバイス２０に対応した位置から、眼鏡型デバイス２０の画角と装着者の視線方向で投影エリアを黒抜きするLevel0の黒抜き処理が行われる。Level0の黒抜き処理の詳細は、図１０，図１１を参照して説明した通りである。
　また、ステップＳ１６の判定処理で、影表現がオンに設定されていると判定された場合、処理は、ステップＳ１８に進められ、制御部３００によって、ステップＳ１８，Ｓ１９の処理が実行される。
　すなわち、ステップＳ１８，Ｓ１９の処理では、眼鏡型デバイス２０の位置に対応した位置を仮想的な光源として、対象のオブジェクトの影エリアを算出し、眼鏡型デバイス２０の画角と影表現の論理積（AND）の演算結果に応じて影エリアが黒抜きで表されるようにするLevel1,2の黒抜き処理が行われる。このとき、眼鏡型デバイス２０に対応した位置（仮想的な光源の位置）は、眼鏡型デバイス２０を装着したユーザ（装着者）の視点に対応した位置とされる。
　Level1,2の黒抜き処理の詳細は、図１２，図１３と、図１４乃至図１６を参照して説明した通りであるが、画角と影表現の論理積を演算することで、自己の影エリアのみが黒抜きで表現される（他の影エリアは補完情報により補完される）ため、複数の眼鏡型デバイス２０が用いられる場合にも対応することが可能となる。
　ステップＳ１４，Ｓ１７，又はＳ１９の処理が終了すると、処理は、ステップＳ２０に進められる。
　ステップＳ２０において、制御部３００は、I/F部３０１を制御して、上述したステップＳ１４乃至Ｓ１９の処理に応じて生成した映像の映像信号を、プロジェクタ１０に送信する。
　ステップＳ２０の処理が終了すると、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。
　以上、制御部３００により実行される処理の流れを説明した。
＜２．変形例＞
（機能の拡張）
　情報処理システム１を使用するユーザとして、眼鏡型デバイス２０の装着者が１人で他に装着者がいない場合、あるいは装着者が複数いる場合でも特定の装着者に特化してコンテンツの映像を変形しても構わない場合などには、対象の装着者に合わせてプロジェクション情報を、擬似的に２Ｄから３Ｄ化させてもよい。
　例えば、上述の後段に記載した特定の装着者に特化して変形する場合としては、１人の制作者（クリエイタ）が特定の装着者となり、かつ、その見物人（ギャラリ）が１人以上装着者として存在している場合などが想定される。
　例えば、近年、地図のアプリケーションとして、３Ｄの高さ情報を有している建物（ビルなど）のみ３Ｄ映像で表示され、それ以外の建物（家など）は２Ｄ映像で表示されるが、ユーザが視点を変えると、その視点から見た２Ｄ映像に切り替わるものがある。
　本技術においても、眼鏡型デバイス２０の装着者は、３Ｄ映像によりビルなどの建物を立体的に見ることができるとともに、それ以外の家などの建物を、プロジェクタ１０で対象の装着者に関する運動視差を反映した２Ｄ映像として、眼鏡型デバイス２０の画角を超えた広範囲に提示することが可能となる。
　具体的には、図２０に示すように、装着者が装着した眼鏡型デバイス２０には、３Ｄ映像５２が表示されるとともに、プロジェクタ１０により、テーブル５０を投影面として２Ｄ映像５３が表示される場合を想定する。図２０の例では、２Ｄ映像５３として表示される２次元の地図であって対象の装着者の視点に対応した２次元の建物（家など）を含む地図上に、３Ｄ映像５２として表示される３次元の建物（ビルなど）が表示されている。
　情報処理装置３０では、制御部３００が、眼鏡型デバイス２０による自己位置推定で得られる座標情報をI/F部３０１を介して取得し、位置認識部３１１に通知することで、眼鏡型デバイス２０の現在位置を認識する。また、座標系変換部３１２と映像生成部３１４では、眼鏡型デバイス２０の位置に基づき、ワールド座標系に対応したコンテンツの映像を、眼鏡型デバイス２０に対応した位置から見た映像に変換する。
　そして、座標系変換部３１２と映像生成部３１４では、眼鏡型デバイス２０に対応した位置から見た映像を、プロジェクタ座標系に変換した映像の映像信号を生成し、I/F部３０１を介してプロジェクタ１０に出力する。プロジェクタ１０は、情報処理装置３０からの映像信号に基づき、プロジェクションエリアＡ２１に、眼鏡型デバイス２０に対応した位置から見た２Ｄ映像５３を表示する。
　なお、現在普及しているゲームエンジンでは、眼鏡型デバイスの位置に仮想的なカメラを設定して、実空間でカメラにより撮影した映像を投影面に投影することで、運動視差を利用した擬似的な３Ｄ映像を見せることが可能である。
　このように、プロジェクタ１０と眼鏡型デバイス２０のプラットフォーム連携を実施するに際して、眼鏡型デバイス２０の装着者に対する３Ｄ映像の表示と、対象の装着者の特定視点から見たときの２Ｄ映像の表示とを共存させることができる。よって、より高度なユーザ体験が得られる。
（システムの他の構成）
　図２１は、本技術を適用した情報処理システムの一実施の形態の他の構成の例を示している。
　図２１において、情報処理システム１は、図５に示した構成と比べて、プロジェクタ１０が、制御部１００、I/F部１０１、及び投影部１０２を有し、眼鏡型デバイス２０が、制御部２００を有する点が異なっている。なお、図２１の構成においては、図５の構成と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
　プロジェクタ１０において、制御部１００は、CPU等のプロセッサから構成され、各部の動作の制御や各種の演算処理を行う。
　I/F部１０１は、所定の規格に準拠した通信モジュール等から構成され、情報処理装置３０との間のインタフェースとなる。投影部１０２は、光源やレンズ等の光学部材や各種の機構を有し、そこに入力される映像信号に応じた映像を、投影面に投影することで表示させる。
　眼鏡型デバイス２０において、制御部２００は、CPU等のプロセッサから構成され、各部の動作の制御や各種の演算処理を行う。
　図５に示した構成では、情報処理システム１において、情報処理装置３０の制御部３００の機能として、位置認識部３１１、座標系変換部３１２、表示エリア調整部３１３、映像生成部３１４、及びジェスチャ認識部３１５を有するとして説明したが、それらの機能のうち、全部又は一部の機能が、プロジェクタ１０の制御部１００及び眼鏡型デバイス２０の制御部２００の少なくとも一方が有するようにしてもよい。
　例えば、眼鏡型デバイス２０において、制御部２００が、位置認識部３１１、座標系変換部３１２、及び映像生成部３１４の機能を有するようにしても構わない。また、例えば、プロジェクタ１０において、制御部１００が、座標系変換部３１２、及び映像生成部３１４の機能を有するようにしても構わない。
　以上のように、本技術によれば、２Ｄ映像であるプロジェクション情報と、３Ｄ映像であるAR情報とが重なる場合に、眼鏡型デバイス２０に対応した位置を仮想的に光源としたときの３Ｄ映像に含まれるオブジェクトの影に応じた影エリアを所定の表示形態（黒抜き等）で表した２Ｄ映像を表示する制御が行われることで、プロジェクション情報とAR情報が重なって見えることを回避して、視認性を向上させることができる。
　また、眼鏡型デバイス２０を装着していない非装着者は、眼鏡型デバイス２０を装着した装着者が見ているコンテンツと同一のコンテンツを、プロジェクション情報で見ることができる。プロジェクション情報を見ている非装着者は、黒抜き等の所定の表示形態で表された領域を注目することで、眼鏡型デバイス２０を装着した装着者の注視点のガイドが示され、当該装着者がどこを見ているかを知ることができる。
　眼鏡型デバイス２０の画角は狭くなるのが一般的であるが、本技術を適用することで、装着者は、画角外についても、眼鏡型デバイス２０の透過型のディスプレイ２０４越しに、プロジェクション情報をシースルーで見ることができるため、周辺視野を含めた広い画角での体験が可能となる。
　また、眼鏡型デバイス２０のフレームの部分を触るなどの装着者による直感的なジェスチャに応じて、ソフトウェア的に、AR情報の表示と非表示を切り替えることが可能であるため、装着者がAR情報を非表示にして、プロジェクション情報のみを見るようにすることで、装着者と非装着者の両者が、同じコンテンツを見ながらコミュニケーション可能な環境を提供することができる。
　さらに、眼鏡型デバイス２０を装着した装着者と、装着してない非装着者とが、プロジェクション情報を利用して協調作業を行う場合（例えば、同一のコンテンツを編集する場合）に、本技術を適用することで、眼鏡型デバイス２０の中心視野に表示されたAR情報は情報重複を避けるために、プロジェクション情報では黒抜きで表示されるため（見えないため）、非装着者は、装着者と同じ場所の編集作業を行うことはできない。よって、装着者と非装着者による作業の競合を避けることができる。
　このように、本技術を適用することで、装着者と非装着者を含むユーザは、より高度なユーザ体験が得られるようになる。
　なお、本明細書において、映像は、複数枚の画像から構成されるものであり、「映像」を、「画像」と読み替えても構わない。
＜３．コンピュータの構成＞
　上述した情報処理装置３０（の制御部３００）の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成の例を示している。
　コンピュータにおいて、CPU(Central Processing Unit)５０１、ROM(Read Only Memory)５０２、RAM(Random Access Memory)５０３は、バス５０４により相互に接続されている。バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、マイクロフォン、キーボード、マウスなどよりなる。出力部５０７は、スピーカ、ディスプレイなどよりなる。記憶部５０８は、HDD(Hard Disk Drive)や不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、ROM５０２や記憶部５０８に記録されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下のような構成をとることができる。
（１）
　第１のプラットフォームにより提供される２Ｄ映像と、第２のプラットフォームにより提供される３Ｄ映像とを共通の座標系で表示する際に、前記第２のプラットフォームに対応した機器を使用するユーザの視点に応じて前記３Ｄ映像が前記２Ｄ映像と重なる場合、前記機器に対応した位置を仮想的に光源としたときの前記３Ｄ映像に含まれるオブジェクトの影に応じた影エリアを所定の表示形態で表した前記２Ｄ映像を表示する制御を行う
　制御部を備える
　情報処理装置。
（２）
　前記制御部は、前記影エリアを黒色で表した前記２Ｄ映像を表示する
　前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記機器が１台存在する場合、前記影エリアを黒色で表した前記２Ｄ映像を表示する
　前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記機器が複数台存在する場合、自己の機器に対応する影エリアを黒色で表すとともに、他の機器に対応する影エリアを当該エリアに応じた補完情報で表した前記２Ｄ映像を表示する
　前記（２）又は（３）に記載の情報処理装置。
（５）
　前記制御部は、前記機器に、前記補完情報を表示させる
　前記（４）に記載の情報処理装置。
（６）
　前記機器に対応した位置は、前記ユーザの視点に対応した位置である
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記制御部は、
　　前記機器から通知される位置情報に基づいて、前記機器の位置を認識する位置認識部と、
　　認識した前記機器の位置に対応した位置に仮想的な光源を設定して、前記影エリアを所定の表示形態で表した前記２Ｄ映像を生成する映像生成部と
　を有する
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記映像生成部は、前記影エリアを黒色で表した前記２Ｄ映像を生成する
　前記（７）に記載の情報処理装置。
（９）
　前記制御部は、
　　前記２Ｄ映像の生成に際し、ワールド座標系を、前記第１のプラットフォームで用いられる第１の座標系に変換する座標変換部をさらに有し、
　前記映像生成部は、前記ワールド座標系から前記第１の座標系に変換された前記影エリアの映像を含む前記２Ｄ映像を生成する
　前記（７）又は（８）に記載の情報処理装置。
（１０）
　前記第１のプラットフォームは、プロジェクタにより投影コンテンツを提供し、
　前記第２のプラットフォームは、前記機器によりARコンテンツを提供する
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記２Ｄ映像は、プロジェクション情報であり、
　前記３Ｄ映像は、AR情報である
　前記（１０）に記載の情報処理装置。
（１２）
　前記機器は、透過型のディスプレイを有する眼鏡型デバイスを含む
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記眼鏡型デバイスは、
　　前記３Ｄ映像を、前記ディスプレイに表示し、
　　前記２Ｄ映像を、前記ディスプレイを介してシースルーで提示する
　前記（１２）に記載の情報処理装置。
（１４）
　前記制御部は、前記眼鏡型デバイスを装着しているユーザによる所定のジェスチャに応じて、前記３Ｄ映像の表示と非表示を切り替える
　前記（１２）又は（１３）に記載の情報処理装置。
（１５）
　前記ジェスチャは、前記眼鏡型デバイスのフレームの部分を触る操作を含む
　前記（１４）に記載の情報処理装置。
（１６）
　前記制御部は、前記３Ｄ映像とともに、前記ユーザの視点に応じた前記２Ｄ映像を表示する
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記制御部は、
　　前記機器が１台存在する場合、当該機器を装着した装着者の視点に応じた前記２Ｄ映像を表示し、
　　前記機器が複数台存在する場合、複数の機器のうちの特定の機器を装着した装着者の視点に応じた前記２Ｄ映像を表示する
　前記（１６）に記載の情報処理装置。
（１８）
　前記オブジェクトは、立体的な物体を含む
　前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　前記機器を装着した装着者に対し、前記２Ｄ映像と前記３Ｄ映像を提供可能であり、
　前記機器を装着していない非装着者に対し、前記２Ｄ映像を提供可能である
　前記（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
　情報処理装置が、
　第１のプラットフォームにより提供される２Ｄ映像と、第２のプラットフォームにより提供される３Ｄ映像とを共通の座標系で表示する際に、前記第２のプラットフォームに対応した機器を使用するユーザの視点に応じて前記３Ｄ映像が前記２Ｄ映像と重なる場合、前記機器に対応した位置を仮想的に光源としたときの前記３Ｄ映像に含まれるオブジェクトの影に応じた影エリアを所定の表示形態で表した前記２Ｄ映像を表示する制御を行う
　情報処理方法。
　１　情報処理システム，　１０　プロジェクタ，　２０　眼鏡型デバイス，　３０　情報処理装置，　１００　制御部，　１０１　I/F部，　１０２　投影部，　２００　制御部，　２０１　I/F部，　２０２　カメラ，　２０３　IMU，　２０４　ディスプレイ，　２０５　タッチセンサ，　３００　制御部，　３０１　I/F部，　３０２　記憶部，　３１１　位置認識部，　３１２　座標系変換部，　３１３　表示エリア調整部，　３１４　映像生成部，　３１５　ジェスチャ認識部，　５０１　CPU

Claims (20)

  1. 　第１のプラットフォームにより提供される２Ｄ映像と、第２のプラットフォームにより提供される３Ｄ映像とを共通の座標系で表示する際に、前記第２のプラットフォームに対応した機器を使用するユーザの視点に応じて前記３Ｄ映像が前記２Ｄ映像と重なる場合、前記機器に対応した位置を仮想的に光源としたときの前記３Ｄ映像に含まれるオブジェクトの影に応じた影エリアを所定の表示形態で表した前記２Ｄ映像を表示する制御を行う
    　制御部を備える
    　情報処理装置。
  2. 　前記制御部は、前記影エリアを黒色で表した前記２Ｄ映像を表示する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記機器が１台存在する場合、前記影エリアを黒色で表した前記２Ｄ映像を表示する
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記機器が複数台存在する場合、自己の機器に対応する影エリアを黒色で表すとともに、他の機器に対応する影エリアを当該エリアに応じた補完情報で表した前記２Ｄ映像を表示する
    　請求項２に記載の情報処理装置。
  5. 　前記制御部は、前記機器に、前記補完情報を表示させる
    　請求項４に記載の情報処理装置。
  6. 　前記機器に対応した位置は、前記ユーザの視点に対応した位置である
    　請求項１に記載の情報処理装置。
  7. 　前記制御部は、
    　　前記機器から通知される位置情報に基づいて、前記機器の位置を認識する位置認識部と、
    　　認識した前記機器の位置に対応した位置に仮想的な光源を設定して、前記影エリアを所定の表示形態で表した前記２Ｄ映像を生成する映像生成部と
    　を有する
    　請求項１に記載の情報処理装置。
  8. 　前記映像生成部は、前記影エリアを黒色で表した前記２Ｄ映像を生成する
    　請求項７に記載の情報処理装置。
  9. 　前記制御部は、
    　　前記２Ｄ映像の生成に際し、ワールド座標系を、前記第１のプラットフォームで用いられる第１の座標系に変換する座標変換部をさらに有し、
    　前記映像生成部は、前記ワールド座標系から前記第１の座標系に変換された前記影エリアの映像を含む前記２Ｄ映像を生成する
    　請求項７に記載の情報処理装置。
  10. 　前記第１のプラットフォームは、プロジェクタにより投影コンテンツを提供し、
    　前記第２のプラットフォームは、前記機器によりARコンテンツを提供する
    　請求項１に記載の情報処理装置。
  11. 　前記２Ｄ映像は、プロジェクション情報であり、
    　前記３Ｄ映像は、AR情報である
    　請求項１０に記載の情報処理装置。
  12. 　前記機器は、透過型のディスプレイを有する眼鏡型デバイスを含む
    　請求項１に記載の情報処理装置。
  13. 　前記眼鏡型デバイスは、
    　　前記３Ｄ映像を、前記ディスプレイに表示し、
    　　前記２Ｄ映像を、前記ディスプレイを介してシースルーで提示する
    　請求項１２に記載の情報処理装置。
  14. 　前記制御部は、前記眼鏡型デバイスを装着しているユーザによる所定のジェスチャに応じて、前記３Ｄ映像の表示と非表示を切り替える
    　請求項１２に記載の情報処理装置。
  15. 　前記ジェスチャは、前記眼鏡型デバイスのフレームの部分を触る操作を含む
    　請求項１４に記載の情報処理装置。
  16. 　前記制御部は、前記３Ｄ映像とともに、前記ユーザの視点に応じた前記２Ｄ映像を表示する
    　請求項１に記載の情報処理装置。
  17. 　前記制御部は、
    　　前記機器が１台存在する場合、当該機器を装着した装着者の視点に応じた前記２Ｄ映像を表示し、
    　　前記機器が複数台存在する場合、複数の機器のうちの特定の機器を装着した装着者の視点に応じた前記２Ｄ映像を表示する
    　請求項１６に記載の情報処理装置。
  18. 　前記オブジェクトは、立体的な物体を含む
    　請求項１に記載の情報処理装置。
  19. 　前記機器を装着した装着者に対し、前記２Ｄ映像と前記３Ｄ映像を提供可能であり、
    　前記機器を装着していない非装着者に対し、前記２Ｄ映像を提供可能である
    　請求項１に記載の情報処理装置。
  20. 　情報処理装置が、
    　第１のプラットフォームにより提供される２Ｄ映像と、第２のプラットフォームにより提供される３Ｄ映像とを共通の座標系で表示する際に、前記第２のプラットフォームに対応した機器を使用するユーザの視点に応じて前記３Ｄ映像が前記２Ｄ映像と重なる場合、前記機器に対応した位置を仮想的に光源としたときの前記３Ｄ映像に含まれるオブジェクトの影に応じた影エリアを所定の表示形態で表した前記２Ｄ映像を表示する制御を行う
    　情報処理方法。
PCT/JP2021/007255 2020-03-10 2021-02-26 情報処理装置、及び情報処理方法 WO2021182124A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-041032 2020-03-10
JP2020041032 2020-03-10

Publications (1)

Publication Number Publication Date
WO2021182124A1 true WO2021182124A1 (ja) 2021-09-16

Family

ID=77670540

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007255 WO2021182124A1 (ja) 2020-03-10 2021-02-26 情報処理装置、及び情報処理方法

Country Status (1)

Country Link
WO (1) WO2021182124A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7039672B1 (ja) 2020-10-29 2022-03-22 ソフトバンク株式会社 制御装置、プログラム、及び制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160349A (ja) * 1994-12-09 1996-06-21 Sega Enterp Ltd 頭部搭載型映像表示システム、および、頭部搭載型映像表示装置
JP2016161611A (ja) * 2015-02-27 2016-09-05 セイコーエプソン株式会社 表示システム、及び表示制御方法
US20180293041A1 (en) * 2015-10-08 2018-10-11 Pcms Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160349A (ja) * 1994-12-09 1996-06-21 Sega Enterp Ltd 頭部搭載型映像表示システム、および、頭部搭載型映像表示装置
JP2016161611A (ja) * 2015-02-27 2016-09-05 セイコーエプソン株式会社 表示システム、及び表示制御方法
US20180293041A1 (en) * 2015-10-08 2018-10-11 Pcms Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7039672B1 (ja) 2020-10-29 2022-03-22 ソフトバンク株式会社 制御装置、プログラム、及び制御方法
JP2022072285A (ja) * 2020-10-29 2022-05-17 ソフトバンク株式会社 制御装置、プログラム、及び制御方法

Similar Documents

Publication Publication Date Title
US10643394B2 (en) Augmented reality
US20200366897A1 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
CN108351691B (zh) 用于虚拟图像的远程渲染
CN109146965B (zh) 信息处理装置、计算机可读介质和头戴式显示装置
CN110310329B (zh) 操作显示设备的方法、信息处理系统及非暂时性存储介质
JP6780642B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9165381B2 (en) Augmented books in a mixed reality environment
CN102591449B (zh) 虚拟内容和现实内容的低等待时间的融合
CN106489171B (zh) 立体图像显示器
EP3323111B1 (en) Communication system
US20140368537A1 (en) Shared and private holographic objects
WO2014105646A1 (en) Low-latency fusing of color image data in a color sequential display system
WO2012011044A1 (en) Interactive reality augmentation for natural interaction
EP3847530B1 (en) Display device sharing and interactivity in simulated reality (sr)
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
US11720996B2 (en) Camera-based transparent display
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
US11694352B1 (en) Scene camera retargeting
WO2021182124A1 (ja) 情報処理装置、及び情報処理方法
KR102542641B1 (ko) 핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21767434

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21767434

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP