WO2021246255A1 - 情報処理装置、情報処理方法、プログラム及びホログラム表示システム - Google Patents

情報処理装置、情報処理方法、プログラム及びホログラム表示システム Download PDF

Info

Publication number
WO2021246255A1
WO2021246255A1 PCT/JP2021/019938 JP2021019938W WO2021246255A1 WO 2021246255 A1 WO2021246255 A1 WO 2021246255A1 JP 2021019938 W JP2021019938 W JP 2021019938W WO 2021246255 A1 WO2021246255 A1 WO 2021246255A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
phase
groups
pixels
image data
Prior art date
Application number
PCT/JP2021/019938
Other languages
English (en)
French (fr)
Inventor
仕豪 温
雅人 赤尾
佳明 神山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/922,726 priority Critical patent/US20230350344A1/en
Priority to JP2022528768A priority patent/JPWO2021246255A1/ja
Priority to CN202180038466.9A priority patent/CN115698870A/zh
Publication of WO2021246255A1 publication Critical patent/WO2021246255A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/32—Systems for obtaining speckle elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0833—Look up table
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G03H2001/0883—Reconstruction aspect, e.g. numerical focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2284—Superimposing the holobject with other visual information
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/44—Digital representation
    • G03H2210/441—Numerical processing applied to the object data other than numerical propagation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object

Definitions

  • This disclosure relates to an information processing device, an information processing method, a program, and a hologram display system.
  • Hologram generated by a computer (hereinafter, also referred to as CGH) is a technology for generating a hologram only by calculation. Such techniques are often required because it is difficult to directly store holograms of the scene.
  • a random phase is given to an input pixel or voxel prior to the wave propagation process in which the information propagated by the pixel or voxel spreads over a wide area on the hologram.
  • the reproduced image has a shallower depth of field, and the robustness against artifacts and dust adhering to the lens of the optical system is improved.
  • speckle noise is generated substantially randomly on the reproduction field.
  • Many techniques for reducing speckle noise are based on time-consuming iterative algorithms that are detrimental to real-time performance.
  • the information processing apparatus is a group that groups a plurality of pixels constituting one or more objects included in one image data into one or more groups.
  • An information processing unit a phase adjustment unit that assigns a phase pattern having a different phase difference to each of the one or more groups to the plurality of pixels, and a calculation unit that generates hologram data from the image data to which the phase pattern is applied. And prepare.
  • FIG. 24 It is a figure which shows an example of the hologram displayed to the user which concerns on 5th Embodiment (when looking at the baby in the foreground). It is a figure which shows an example of the hologram displayed to the user which concerns on 5th Embodiment (when looking at the boy in the back). It is a block diagram which shows the hardware configuration example of the information processing apparatus which concerns on embodiment.
  • FIG. 1 is a schematic diagram for explaining an outline of the hologram display system according to the present embodiment.
  • (A) to (F) show the approximate position of each.
  • the present embodiment illustrates a hologram display system including a light source 101, a magnifying optical system composed of a plurality of lenses 102 and 103, a beam splitter 104, and a spatial light modulator 105. ..
  • the laser beam L1 from the light source 101 is converted into coherent light L2 having an enlarged beam diameter by a magnifying optical system composed of a plurality of lenses 102 and 103.
  • the coherent light L2 passes through the beam splitter 104 and is incident on the spatial light modulator 105.
  • a reflection type spatial light modulator is exemplified as the spatial light modulator 105.
  • the coherent light L2 is modulated by the spatial light modulator 105 to form a hologram at a point in a predetermined region in space.
  • the beam splitter 104 projects the hologram 106 reproduced by the spatial light modulator 105 at, for example, a position E in space so that the user 107 can observe it.
  • the user 107 existing at the position F can see the hologram 106 superimposed on the real space seen through the beam splitter 104 by observing the direction of the position E.
  • the hologram display system is a user who causes a virtual object or the like to appear in the real space, directs the object in the real space by special effects, or presents predetermined information to the user. It is possible to provide an experience.
  • the display device 50 may be, for example, an optical see-through type head-mounted display (hereinafter referred to as AR HMD).
  • the pre-processing unit 20, the CGH calculation unit 30, and the post-processing unit 40 may form an information processing device in the hologram display system.
  • a part or all of this information processing device may be arranged in the display device 50, that is, in the AR HMD, or the display device 50 and a predetermined network (for example, LAN (Local Area Network), the Internet, LTE). It may be placed on a server (including a cloud server) connected via (Long Term Evolution), WiFi (Wireless Fidelity), a mobile communication network including 4G, 5G, etc.).
  • FIG. 2 is a block diagram showing a schematic configuration example of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 1 includes a pre-processing unit 20, a CGH calculation unit 30, and a post-processing unit 40.
  • the pre-processing unit 20 includes a grouping unit 21 and a phase adjusting unit 22, and executes pre-processing described later on the input image data (input image data 10 described later).
  • the CGH calculation unit 30 calculates and generates hologram data to be input on the SLM plane from the input image data preprocessed by the preprocessing unit 20.
  • the post-processing unit 40 converts the hologram data generated by the CGH calculation unit 30 into a hologram signal that can be displayed by the display device 50.
  • Display device 50 The display device 50 outputs the hologram signal converted by the post-processing unit 40 to display the hologram of the object reproduced by the input image data in three dimensions to the user.
  • FIG. 3 is a flowchart showing an operation example of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 1 first inputs information about an image to be displayed as a hologram (hereinafter referred to as input image data).
  • the input image data 10 may be, for example, two-dimensional image data, 2.5-dimensional image data, three-dimensional image data, or the like.
  • the 2.5-dimensional image data is, for example, image data composed of color information of the three primary colors of RGB and depth information (also referred to as distance information) for each pixel or voxel (hereinafter, simply referred to as pixel). May be good.
  • the three-dimensional image data may be, for example, image data composed of color information of the three primary colors of RGB and three-dimensional information.
  • FIG. 4 shows image data (referred to as an object image) composed of RGB color information for each pixel in the input image data 10.
  • Reference numeral 5 indicates image data (hereinafter referred to as a depth image) composed of depth information for each pixel.
  • the object image G40 illustrated in FIG. 4 includes a boy object C41 located in the upper left, a baby object C42 located in the lower right, and a clock object C43 located in the lower left.
  • Objects displayed for objects in real space are called virtual objects (including effects for directing, hereinafter referred to as AR objects), and are displayed on a screen virtually set on a predetermined plane in real space.
  • the object is called an OSD object.
  • the white background area R41 indicates a transparent point having no color information, that is, an area in which no object exists.
  • the area C51 corresponding to the boy's AR object C41 located in the upper left, the area C52 corresponding to the baby's AR object C42 located in the lower right, and the area C52 located in the lower left are located.
  • the area D23 corresponding to the OSD object C43 of the clock is included.
  • the black-filled region R51 indicates a region to which depth information is not added or to which depth information of the farthest point is added.
  • the depth information given to each point represented as a pixel is the depth information corresponding to the actual distance from the position in the real space of the user 107 to the position in the real space corresponding to each pixel. It may be there.
  • depth information corresponding to a distance of 500 mm from the user 107 is added to the area C53 corresponding to the OSD object C43 of the clock located at the lower left.
  • the area C52 corresponding to the baby AR object C42 located in the lower right has depth information corresponding to a distance of 1000 mm from the user 107
  • the area C51 corresponding to the boy's AR object C41 located in the upper left has Depth information corresponding to a distance of 2000 mm from the user 107 is given.
  • the input image data 10 may include map information regarding the type of image reproduced as a hologram.
  • the input image data 10 may include label information regarding an object included in the object image.
  • label information may be added.
  • the image to which the regions C61 to C63 to which the label information is assigned is mapped is referred to as a label image G60.
  • the white area R61 indicates an area to which label information is not added.
  • the area C61 is the area to which the label information indicating the boy's AR object C41 is given
  • the area C62 is the information to which the label information indicating the baby's AR object C42 is given
  • the area C63 is This is information to which label information indicating the OSD object C43 of the clock is added.
  • the regions C61 and C62 corresponding to the objects C41 and C42 superimposed on the object in the real space are shown by hatching with diagonal lines, and the region C63 corresponding to the on-screen object C43 is shown in black. ing.
  • step S102 of FIG. 3 points (corresponding to pixels; hereinafter referred to as pixels) constituting the input image data 10 input in step S101 are grouped into one or more groups.
  • the algorithm for grouping the pixels may be variously changed according to the actual use case.
  • pixels requiring high resolution and pixels requiring shallow depth of field are grouped into different groups. However, each is treated differently.
  • the on-screen object such as the OSD object C43, which is a clock
  • the on-screen object has a high resolution and a deep depth of field.
  • AR objects such as AR objects C41 and C42 are displayed at a position close to the corresponding real-space object, and for that purpose, the field of view is similar to that of the real-space object. You need to have depth. That is, a shallow depth of field is important for AR objects.
  • each pixel of the input image data 10 is grouped into one or more groups based on the label information.
  • the input image data 10 is classified into a group of OSD objects (hereinafter referred to as OSD object group) and a group of AR objects (hereinafter referred to as AR object group).
  • OSD object group a group of OSD objects
  • AR object group a group of AR objects
  • the transparent area where the object does not exist can be omitted because it does not need to be grouped.
  • a phase value is given to all the pixels of the input image data 10 by the phase adjusting unit 22 of the preprocessing unit 20.
  • the pixels belonging to the AR object group and the pixels belonging to the OSD object group are given phase values of different characteristics so that the reproduced pixels have different characteristics.
  • a phase value may not be assigned to a pixel that does not belong to either the AR object group or the OSD object group.
  • a repeating random phase (RRP) method can be used as a method of assigning a phase value to each pixel.
  • RRP repeating random phase
  • the random phase pattern may be, for example, a pattern in which the difference between the phase values given to the adjacent pixels is not a fixed value but a random value.
  • FIG. 7 is a diagram showing an example of a random phase patch assigned to one cell when the cell size is 1 pixel ⁇ 32 pixels.
  • the horizontal axis shows the numbers (sample numbers) of the pixels arranged in the horizontal direction in the input image data
  • the vertical axis shows the phase value given to each pixel.
  • the 32-pixel random phase patch illustrated in FIG. 7 is repeated for the horizontal parallelism of the pixels of the input image data 10. This repetition is applied to all the rows of the input image data 10.
  • the input image data 10 is converted from a real numerical image to a complex numerical image having an amplitude according to the newly added phase information.
  • the random phase pattern can scatter the light so as to widen the region formed on the SLM plane by the light after wave propagation. That is, the high frequency phase information in the input image space scatters the light so as to widen the region of light formed on the SLM plane, and the low frequency phase information narrows the region of light formed on the SLM plane. It scatters light like this.
  • the high frequency phase contributes to making the depth of field shallower by more scattering the light pattern on the SLM plane. Therefore, it can be said that the high frequency phase patch is more suitable for the AR object group.
  • the low frequency phase contributes to deepening the depth of field by reducing the optical pattern on the SLM plane. Therefore, it can be said that the low frequency phase patch is more suitable for the OSD object group.
  • a method for reducing the frequency of the phase component includes a method of multiplying the phase component by a coefficient smaller than 1.0 (hereinafter referred to as a phase coefficient) that reduces the amplitude of the random phase patch, and a method of filtering the phase component with a low-pass filter. The method of doing this can be mentioned.
  • a phase coefficient smaller than 1.0
  • a method of filtering the phase component with a low-pass filter The method of doing this can be mentioned.
  • FIG. 8 by multiplying the random phase patch by the phase coefficient of 0.25, a random phase patch having a lower frequency than the random phase patch illustrated in FIG. 7 is newly generated. Illustrate the case.
  • the OSD object C43 can be reproduced with a clearer and deeper depth of field. Can be done.
  • the AR object C41 and the AR object C41 and the AR object C41 have a shallower depth of field and a lower resolution.
  • C42 can be reproduced.
  • step S104 of FIG. 3 the complex field generated by the phase adjusting unit 22 of the preprocessing unit 20 using the above-mentioned rule becomes the depth information of the regions C51 to C34 corresponding to each object described with reference to FIG. Based on, it is propagated to the SLM plane.
  • FIG. 9 is a diagram showing the positional relationship between the hologram reproduced in the present embodiment, the hologram display system, and the viewer (user).
  • the hologram 106a located at the position E1 corresponds to the OSD object C43 of the clock
  • the hologram 106b located at the position E2 corresponds to the AR object C42 of the baby.
  • the hologram 106c located at the position E3 corresponds to the boy's AR object C41.
  • Each point that appears as a pixel on the SLM plane is obtained by the CGH calculation unit 30 using a wave propagation equation.
  • a wave propagation equation for example, a Fresnel diffraction equation as shown in the following equation (1) can be used.
  • z indicates the distance from each of the image (hologram) planes to be reproduced to the spatial light modulator 105.
  • the image for displaying the hologram propagates from the position E3 to the position A.
  • the value of the distance z is 1000 mm.
  • the wave propagation function for generating a hologram on the SLM plane is not limited to the wave propagation equation exemplified in the equation (1).
  • Rayleigh Sommerfeld's diffraction formula or Fraunhofer's diffraction formula based on other hypotheses can be used.
  • Pixels of different depths propagate to the SLM plane separately from each other and accumulate in the same field on the SLM plane.
  • the simplest way to combine fields of different distances into one is to combine the fields.
  • step S105 of FIG. 3 the post-processing described above is executed for the integrated complex field generated in step S104.
  • the post-processing is different depending on the type of the spatial light modulator 105.
  • a process of directly displaying a complex field can be used.
  • the amplitude component is quantized in the range of 0 to 255, and the phase component in the range of 0 to 2 ⁇ is quantized into a discrete value of 255 steps.
  • the complex field is mapped to a signal that can be displayed by SLM and quantized.
  • the following equation (2) can be used. According to the equation (2), the field U generated by the CGH calculation unit 30 is converted into a signal that can be displayed by the SLM.
  • step S106 of FIG. 3 the signal that has passed through the spatial light modulator 105 is displayed.
  • the OSD object C43 of the clock is displayed as the hologram 106a of the position E1 located at a distance of 500 mm from the user 107 located at the position F
  • the baby AR object C42 is displayed from the user 107. It is displayed as a hologram 106b at position E2 located at a distance of 1000 mm
  • the boy's AR object C41 is displayed as a hologram 106c at position E3 located at a distance 2000 mm from the user 107.
  • FIGS. 10 and 11 are diagrams showing an example of a scene in which the user can see depending on where the user is looking, that is, where the focus position of the user is, and FIG. 10 shows the user looking at the baby in front.
  • FIG. 11 is a diagram showing a scene that the user can see when the user is looking at the boy
  • FIG. 11 is a diagram showing a scene that the user can see when the user is looking at the boy in the back.
  • FIGS. 10 and 11 for the regions R101 and R111 corresponding to the background other than the objects C41 to C43 exemplified in FIG. 4, the user directly looks at the real space through the optical see-through type AR HMD. It is assumed that there is.
  • a shallow depth of field is set by assigning a high frequency phase value to the AR objects C41 and C42. Therefore, as in the image G100 illustrated in FIG. 10, when the user 107 is looking at the baby in the foreground, the baby AR object C102 is clearly displayed, while the boy's AR object C101 located in the back is displayed. It is displayed blurry. On the other hand, when the user 107 is looking at the boy in the back as in the image G110 illustrated in FIG. 11, the boy's AR object C111 is clearly displayed, while the baby AR object located in the foreground is displayed. C112 is displayed blurry.
  • the user 107 can see the AR object with the same visual effect (for example, distance perception) as the object existing in the real space.
  • the AR object with the same visual effect (for example, distance perception) as the object existing in the real space.
  • a deep depth of field is set by assigning a low frequency phase value to the OSD object C43. Therefore, as illustrated in FIGS. 10 and 11, the OSD objects C103 and C113 of the clock are clearly displayed to the user 107 no matter where the user 107 is looking.
  • a high-resolution object and a shallow depth-of-field object can be simultaneously provided to the user. It will be possible to present. As a result, natural depth-of-field blurring is reproduced for objects with a shallow depth of field, and clear reproduction is possible for high-resolution objects, which makes it possible to improve the user experience provided to the user.
  • the above-mentioned embodiment is one flexible framework, and the AR developer can freely adjust the resolution and depth of field of the object according to the use case of the system he / she is developing. Needless to say, is possible. Further, in the above-described embodiment, a case where the depth of field for each object is adjusted by assigning a phase patch having a different maximum phase difference to each group to which the pixels are distributed has been illustrated, but the present invention is limited to this. is not it. For example, it is possible to make various modifications such as assigning a phase patch of a phase pattern having a different phase difference to each group, or assigning a phase patch having a different phase pattern.
  • FIG. 12 is a block diagram showing a schematic configuration example of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 2 according to the present embodiment has the same configuration as the information processing apparatus 1 described with reference to FIG. 2 in the first embodiment, and the preprocessing unit 20 has an image analysis unit 23. It is equipped with a configuration further equipped with.
  • the input image data 10 does not include the label image (see FIG. 6). Instead, in the present embodiment, the preprocessing unit 20 includes an image analysis unit 23.
  • the image analysis unit 23 analyzes the input input image data 10 by machine learning using a neural network such as a convolutional neural network (CNN), for example.
  • CNN convolutional neural network
  • the image analysis unit 23 classifies each pixel of the input image data 10 into a plurality of classes by classification, and labels the pixels classified into each class.
  • the label attached to the pixel in this way can be used as a substitute for the label information in the first embodiment.
  • PSPNet Pulid Scene Parsing Network
  • CNN convolutional neural network
  • PSPNet Pulid Scene Parsing Network
  • FIG. 13 is a block diagram showing a schematic configuration example of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 3 according to the present embodiment further includes a camera (imaging unit) 60 in the same configuration as the information processing apparatus 1 described with reference to FIG. 2 in the first embodiment.
  • the pretreatment unit 20 further includes a line-of-sight tracking unit 24.
  • the input image data 10 does not include the label image (see FIG. 6).
  • the camera 60 captures, for example, the user 107 who is a viewer.
  • the image data obtained by capturing the user 107 (hereinafter referred to as a user image) is input to the line-of-sight tracking unit 24 of the preprocessing unit 20.
  • the line-of-sight tracking unit 24 detects the user's line-of-sight direction by analyzing the input user image.
  • the grouping unit 21 groups each pixel of the input image data 10 based on the line-of-sight information input from the line-of-sight tracking unit 24. For example, the grouping unit 21 according to the present embodiment groups each pixel of the input image data 10 into two groups based on whether or not the pixel corresponds to the object currently viewed by the user 107.
  • One group is a group of objects currently viewed by user 107 (hereinafter referred to as a focus group), and the other group is a group of objects not included in the object currently viewed by user 107 (hereinafter referred to as out-of-focus group). It is called a group).
  • FIG. 14 is a diagram showing where the user is looking in the direction corresponding to the input image data
  • FIG. 15 is a diagram of, for example, an image corresponding to the label image exemplified in FIG. 6 (hereinafter referred to as a grouped image). It is a figure which shows an example, and is the figure for demonstrating an example of grouping of objects based on the line-of-sight direction shown in FIG.
  • the pixels belonging to the region C152 corresponding to the AR object C142 are grouped into the focal group.
  • the AR objects other than the AR object C142 in this example, the pixels belonging to the area C151 corresponding to the AR object C141 and the pixels belonging to the area C153 corresponding to the OSD object C143 are grouped into an out-of-focus group.
  • the phase values given to the pixels belonging to each group are assigned.
  • the AR object C142 is displayed clearly and with high resolution for the pixels corresponding to the AR object C142 (that is, the pixels belonging to the focal group). Therefore, a low frequency random phase patch is assigned.
  • a shallow field of view is used for the pixels corresponding to the AR object C141 and the pixels corresponding to the OSD object C143 grouped into the out-of-focus group.
  • a high frequency random phase patch is assigned to achieve depth.
  • the method of allocating the phase value to the pixels belonging to the focal group and the method of allocating the phase value to the pixels belonging to the out-of-focus group may be the same as the method described above with reference to FIG. 8, for example. A detailed description will be omitted here.
  • FIGS. 16 and 17 are diagrams showing an example of a scene in which the user can be seen depending on the line-of-sight direction of the user
  • FIG. 16 is a diagram showing a scene in which the user can be seen when the line-of-sight direction of the user is facing the baby in front
  • FIG. 17 is a diagram showing a scene in which the user can see when the user's line of sight is facing the boy in the back.
  • the user directly looks at the real space through the optical see-through type AR HMD. It is assumed that there is.
  • the frequency is low with respect to the pixels corresponding to the baby AR object C142 grouped in the focal group. Phase information is given. As a result, the baby AR object C162 viewed by the user 107 is clearly displayed at a deep depth of field.
  • the pixels corresponding to the boy's AR object C141 and the clock OSD object C143 grouped in the out-of-focus group are given high-frequency phase information, so that the depth of field is set shallow. Will be done.
  • the boy's AR object C161 and the clock OSD object C163 are displayed blurry.
  • the pixel corresponding to the boy's AR object C141 grouped in the focal group is referred to.
  • Low frequency phase information is added.
  • the boy's AR object C171 viewed by the user 107 is clearly displayed at a deep depth of field.
  • the pixels corresponding to the baby AR object C142 and the clock OSD object C143 grouped in the out-of-focus group are given high-frequency phase information, so that the depth of field is set to be shallow. Will be done.
  • the baby AR object C171 and the clock OSD object C173 are displayed blurry.
  • the OSD object C143 may always be displayed with a high resolution and a deep depth of field regardless of the line-of-sight direction of the user 107.
  • the region C153 corresponding to the OSD object C143 may be grouped into a group different from the focal group and the out-of-focus group (hereinafter referred to as OSD group).
  • FIG. 18 is a block diagram showing a schematic configuration example of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 4 according to the present embodiment further includes a camera 60 and preprocessing in the same configuration as the information processing apparatus 1 described with reference to FIG. 2 in the first embodiment.
  • the unit 20 further includes a characteristic detection unit 25. Also in this embodiment, as in the second embodiment, the input image data 10 does not include the label image (see FIG. 6).
  • the camera 60 captures, for example, the surroundings of the user 107 including the viewing angle of the user 107.
  • the characteristic detection unit 25 provides a characteristic map showing which region in the real space the user 107 is likely to see based on the image around the user 107 taken by the camera 60 (hereinafter referred to as a peripheral image). Generate.
  • the area that is likely to be seen by the user 107 is, for example, an area that easily attracts the attention of the user 107, and a high characteristic value can be set in this area in the characteristic map generated by the characteristic detection unit 25.
  • FIG. 19 is a diagram showing an example of a peripheral image acquired by a camera
  • FIG. 20 is a diagram showing an example of a characteristic map generated by the characteristic detection unit according to the present embodiment based on the ambient image.
  • the angle of view of the camera 60 includes, for example, the viewing angle of the user 107.
  • the angle of view of the camera 60 does not necessarily have to be wider than the viewing angle of the user 107.
  • the characteristic detection unit 25 generates a characteristic map as illustrated in FIG. 20 based on the surrounding image input from the camera 60.
  • the highest characteristic value is set for the baby region C192 and the corresponding region C202 in the peripheral image G190 shown in FIG. 19, and the female region C194 is set.
  • the next highest characteristic value is set for the region C204 corresponding to the above, and the next highest characteristic value is set for the region C191 corresponding to the boy and the male region C201.
  • the grouping unit 21 selects each AR object from the positional relationship between each area C201, C202 and C204 and each AR object in the input image data 10. Group. For example, as shown in FIG. 21, the grouping unit 21 groups the pixels corresponding to the baby AR object C212 corresponding to the region C202 of the characteristic map G200 into the group having the highest degree of attention (hereinafter referred to as the high attention group).
  • the high attention group the group having the highest degree of attention
  • the phase adjusting unit 22 describes the method described with reference to FIG. 8 for the pixels grouped in the high-attention group so that the high-attention AR object C202 is always clearly displayed at a high resolution. Gives a low frequency phase value.
  • the phase adjusting unit 22 uses FIG. 7 for the pixels grouped in the low attention group in order to display the AR object C201 having a low degree of attention in a blurred manner without discomfort in the normal state.
  • a high-frequency phase value is given by the method described above.
  • the abnormal state which is the opposite of the normal state, is a state in which the user 107 is gazing at the corresponding object in the real space by an AR object different from the AR object grouped in the high-profile group. good.
  • FIGS. 22 and 23 are diagrams showing an example of a scene in which the user can be seen depending on the line-of-sight direction of the user
  • FIG. 22 is a diagram showing a scene in which the user can be seen when the line-of-sight direction of the user is facing the baby in front
  • FIG. 23 is a diagram showing a scene in which the user can see when the user's line of sight is facing the boy in the back.
  • the user directly looks at the real space through the optical see-through type AR HMD. It is assumed that there is.
  • the high-profile baby AR objects C222 and C232 are assigned low-frequency random phase patches, so that no matter where the user 107 is looking, the baby AR object C222 And C232 are clearly displayed at a deep depth of field.
  • the boy's AR objects C221 and C231 which have low attention, are assigned high-frequency random phase patches, the boy's AR objects C222 and C232 are displayed with a shallow depth of field.
  • the boy's AR object C231 is clearly displayed, but the user 107 is not looking at the boy, for example, looking at the baby. If so, as shown in FIG. 22, the boy's AR object C231 is displayed blurry.
  • This embodiment is considered to be particularly effective when, for example, the user 107 always pays high attention to or needs to pay a specific object in the real space. Even in that case, since the AR object for the object that the user 107 is not paying attention to is displayed with the sharpness according to the focal position of the user 107 and the like, it is possible to provide a comfortable user experience.
  • the information processing device may have, for example, the same configuration as the information processing device 3 according to the third embodiment described above.
  • the information processing apparatus according to this embodiment executes the following operations.
  • FIG. 24 and 25 are diagrams for explaining the operation executed by the information processing apparatus according to the present embodiment, and FIG. 24 is a diagram showing where the user is looking in the corresponding direction in the input image data. 25 is a diagram for explaining an example of grouping of objects based on the line-of-sight direction shown in FIG. 24.
  • the line-of-sight tracking unit 24 detects the line-of-sight direction of the user 107 based on the image acquired by the camera 60, as in the third embodiment.
  • the grouping unit 21 groups the depth images in the input input image data 10 based on the depth information of each pixel.
  • the object image G240 includes the boy's AR object C241, the baby's AR object C242, and the clock OSD object C243, and the depth image F160 contains different depth information for each object. Is given.
  • the area C251 corresponding to the boy's AR object C241 is given depth information indicating that the distance from the user 107 is 2000 mm
  • the area C252 corresponding to the baby's AR object C242 is from the user 107.
  • Depth information indicating that the distance is 1000 mm is given
  • depth information indicating that the distance from the user 107 is 500 mm is given to the area C253 corresponding to the OSD object C243 of the clock.
  • the grouping unit 21 has a region C251 corresponding to the boy's AR object C241, a region C252 corresponding to the baby AR object C242, and a region C253 corresponding to the OSD object C243 of the clock in the depth image G250. Based on the above, the input image data 10 is grouped into the areas of each object.
  • the grouping unit 21 can easily group each pixel of the input image data 10.
  • the phase adjusting unit 22 assigns a phase value according to the line-of-sight direction V241 of the user 107 to the pixels belonging to each group based on the groups for each distance generated as described above. do.
  • a look-up table as shown in Table 1 below is used for setting the phase value for each grouped pixel.
  • the phase difference is specified.
  • the random phase patch assigned to the cell of a predetermined size is the random phase patch described above with reference to FIG. 8, or the random phase patch is adjusted based on the maximum phase difference specified from the lookup table. It may be a random phase patch (see, eg, FIG. 7).
  • the maximum phase difference in the patch is 0 ⁇ , that is, a constant phase value with no phase difference is assigned to the pixels belonging to the group corresponding to the baby AR object C242 viewed by the user 107.
  • FIGS. 26 and 27 are diagrams for explaining the user experience provided to the user by the present embodiment
  • FIG. 26 is a diagram showing a scene that the user can see when the user is looking at the baby in the foreground.
  • FIG. 27 is a diagram showing a scene that the user can see when the user is looking at the boy in the back.
  • the user directly looks at the real space through the optical see-through type AR HMD. It is assumed that there is.
  • the frequency is very low (in this example, the phase difference) with respect to the pixel corresponding to the baby AR object C242. No) random phase patch is assigned.
  • the baby AR object C262 viewed by the user 107 is clearly displayed at a deep depth of field.
  • the maximum phase difference in the patch is the baby (or the baby) of each object.
  • the depth of field is set shallow.
  • the pixel corresponding to the boy's AR object C241 is assigned a high-frequency random phase patch with a maximum phase difference of 1 ⁇ corresponding to the range to which the distance from the baby + 1000 mm belongs, based on the look-up table in Table 1.
  • the pixels corresponding to the OSD object C243 are assigned a high frequency random phase patch with a maximum phase difference of 1 / 4 ⁇ corresponding to the range to which the distance from the baby ⁇ 500 mm belongs, based on the look-up table in Table 1.
  • the objects for these objects (boy's AR object C261 and clock OSD object C263) are displayed blurry.
  • the maximum phase difference in the patch is the boy (or the boy) of each object.
  • the depth of field is set shallow.
  • the pixels corresponding to the baby AR object C242 are assigned a high frequency random phase patch with a maximum phase difference of 1 ⁇ corresponding to the range to which the distance from the boy -1000 mm belongs, based on the look-up table in Table 1.
  • the pixels corresponding to the OSD object C243 are assigned a high-frequency random phase patch having a maximum phase difference of 2 / 3 ⁇ corresponding to the range to which the distance -1500 mm from the boy belongs.
  • the objects for these objects (baby AR object C272 and clock OSD object C273) are displayed blurry.
  • FIG. 28 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing apparatus according to the above-described embodiment.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording a projection control program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 executes the program loaded on the RAM 1200, thereby executing the pre-processing unit 20, the CGH calculation unit 30, and the post-processing.
  • the function of the unit 40 is realized.
  • the program and the like related to the present disclosure are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • a grouping unit that groups a plurality of pixels constituting one or more objects included in one image data into one or more groups, and a grouping unit.
  • a phase adjusting unit that assigns a phase pattern having a different phase difference to each of the one or more groups for the plurality of pixels, and a phase adjusting unit.
  • a calculation unit that generates hologram data from the image data to which the phase pattern is added, and Information processing device equipped with.
  • the image data includes label information about the one or more objects.
  • the information processing apparatus according to (1) or (2), wherein the grouping unit groups the plurality of pixels into one or more groups based on the label information.
  • an image analysis unit for assigning a label to each pixel constituting the image data by analyzing the image data is provided.
  • the information processing apparatus according to (1), wherein the grouping unit groups the plurality of pixels into one or more groups based on the label given by the image analysis unit.
  • It also has a line-of-sight tracking unit that detects the user's line-of-sight direction.
  • the grouping unit groups the pixels constituting the object associated with the object located in the line-of-sight direction in the real space among the one or more objects into a first group, and does not position the object in the line-of-sight direction.
  • the information processing apparatus wherein the pixels constituting the object associated with the object are grouped into a second group.
  • An image pickup unit that captures the surroundings of the user, A characteristic detection unit that detects the characteristics of an object existing around the user by analyzing the image data acquired by the image pickup unit. Further prepare The grouping unit groups the plurality of pixels constituting the one or more objects associated with the object into the one or more groups based on the characteristics of the object detected by the characteristic detection unit.
  • the information processing apparatus which is divided into groups.
  • the image data includes depth information of each pixel constituting the image data.
  • the information processing apparatus wherein the grouping unit groups the plurality of pixels into one or more groups based on the depth information.
  • a line-of-sight tracking unit that detects the user's line-of-sight direction, A storage unit that stores a look-up table that holds the correspondence between distance and phase difference, Further prepare The phase adjusting unit looks up based on the distance between an object to which an object composed of pixels grouped in each of the one or more groups is associated and an object located in the line-of-sight direction in real space.
  • the information processing apparatus according to (7), wherein the phase difference of the phase pattern given to the pixels belonging to each of the one or more groups is determined by referring to the table.
  • the phase adjusting unit is A first phase pattern in which the phase difference is the first phase difference is assigned to the pixels grouped into the first group by the grouping unit.
  • the phase pattern has a predetermined pixel size and has a predetermined pixel size.
  • the information according to any one of (1) to (9), wherein the phase adjusting unit allocates the phase pattern in units of cells obtained by dividing the image data into the predetermined pixel sizes.
  • Processing device (11) The information processing apparatus according to any one of (1) to (10) above, wherein the phase pattern is a random phase pattern in which the difference between the phase values given to adjacent pixels is a random value.
  • the one or more objects include a first object associated with an object in the real space and a second object displayed on a virtual screen set in the real space.
  • the information processing apparatus according to any one of (11).
  • (13) The information processing apparatus according to (12), wherein the phase adjusting unit assigns a low-frequency phase pattern having a small phase difference to pixels corresponding to the second object.
  • (14) A plurality of pixels constituting one or more objects included in one image data are grouped into one or more groups.
  • a phase pattern having a different phase difference is assigned to each of the one or more groups to the plurality of pixels.
  • An information processing method including generating hologram data from the image data to which the phase pattern is applied.
  • (15) A program for operating a computer that generates hologram data for displaying holograms from image data.
  • the information processing device further includes a post-processing unit that converts the hologram data into a hologram signal that can be stereoscopically displayed on the display device.
  • the hologram display system according to (16) wherein the display device includes a spatial light modulator that displays the hologram to a user by modulating the light output based on the hologram signal.
  • the spatial light modulator is a reflection type spatial light modulator.
  • Information processing device 10
  • Input image data 20
  • Preprocessing unit 21 Grouping unit 22
  • Phase adjustment unit 23 Image analysis unit 24
  • Line-of-sight tracking unit 25
  • Characteristic detection unit 30
  • Post-processing unit 50 Display device 60
  • Camera 101 Light source 102, 103 Lens 104 Beam splitter 105
  • SLM Spatial light modulator

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ユーザエクスペリエンスの向上を図る。情報処理装置は、１つの画像データに含まれる１つ以上のオブジェクトを構成する複数の画素を１つ以上のグループにグループ分けするグループ化部（２１）と、前記複数の画素に対して前記１つ以上のグループごとに位相差が異なる位相パターンを割り当てる位相調整部（２２）と、前記位相パターンが付与された前記画像データからホログラムデータを生成する計算部（３０）とを備える。

Description

情報処理装置、情報処理方法、プログラム及びホログラム表示システム
　本開示は、情報処理装置、情報処理方法、プログラム及びホログラム表示システムに関する。
　コンピュータにより生成されたホログラム（以下、ＣＧＨともいう）は、計算のみによってホログラムを生成する技術である。このような技術は、多くの場合においてシーンのホログラムを直接的に保存しておくことが困難であるために必要とされる。
　従来では、ピクセル又はボクセルによって伝搬される情報がホログラム上で広範囲のエリアに拡大するという波動伝搬プロセスよりも前に、入力ピクセル又は入力ボクセルに対してランダム位相が付与される。ホログラム平面状の広範囲への情報の拡大によって、再生されたイメージがより浅い被写界深度となり、アーチファクトや光学系のレンズに付着した埃などに対するロバスト性が向上される。
　しかしながら、入力イメージにランダム位相を付与することは、再生フィールド上の他の種類のノイズを誘発することになる。このようなノイズは、スペックルノイズと呼ばれ、再生フィールド上に略ランダムに発生する。スペックルノイズを低減するための技術の多くは、リアルタイム性において不利となる時間のかかる反復アルゴリズムに基づいている。
　ランダム位相を用いないＣＧＨ計算アルゴリズムもまた発展し、これらのランダム位相を用いない手法を用いた再生イメージは、スペックルノイズのない非常に高い画質を実現することができる。ランダム位相を用いない場合、空間内の標本点からの情報を持つホログラムが狭いエリアに集中してしまう。そのため、再生イメージの光線が細くなり、それにより、再生イメージの被写界深度が深くなってしまう。そこで、これら２つの現象を緩和しようとする従来技術が開発されている。
特開２００５－１９５８０３号公報
　しかしながら、上述した２つの現象は常にトレードオフの関係を有している。そのため、従来技術では、悪い画像解像度と深い被写界深度との２つの課題を同一のイメージに対して同時に軽減することができず、ユーザエクスペリエンスの向上を図ることが困難である。
　そこで本開示では、ユーザエクスペリエンスの向上を図ることを可能にする情報処理装置、情報処理方法及びプログラムを提案する。
　上記の課題を解決するために、本開示の一形態に係る情報処理装置は、１つの画像データに含まれる１つ以上のオブジェクトを構成する複数の画素を１つ以上のグループにグループ分けするグループ化部と、前記複数の画素に対して前記１つ以上のグループごとに位相差が異なる位相パターンを割り当てる位相調整部と、前記位相パターンが付与された前記画像データからホログラムデータを生成する計算部とを備える。
第１の実施形態に係るホログラム表示システムの概要を説明するための模式図である。 第１の実施形態に係る情報処理装置の概略構成例を示すブロック図である。 第１の実施形態に係る情報処理装置の動作例を示すフローチャートである。 第１の実施形態に係る入力画像データを構成するオブジェクト画像の一例を示す図である。 第１の実施形態に係る入力画像データを構成するデプス画像の一例を示す図である。 第１の実施形態に係る入力画像データを構成するラベル画像の一例を示す図である。 第１の実施形態に係るランダム位相パッチの一例を示す図である。 第１の実施形態に係る低周波化されたランダム位相パッチの一例を示す図である。 第１の実施形態における再生されるホログラムとホログラム表示システムと視聴者（ユーザ）との位置関係を示す図である。 第１の実施形態に係るユーザに表示されるホログラムの一例を示す図である（手前の赤ん坊を見ている場合）。 第１の実施形態に係るユーザに表示されるホログラムの一例を示す図である（奥の男の子を見ている場合）。 第２の実施形態に係る情報処理装置の概略構成例を示すブロック図である。 第３の実施形態に係る情報処理装置の概略構成例を示すブロック図である。 第３の実施形態に係る視線追跡部により検出されるユーザの視線方向を説明するための図である。 図１４に示す視線方向に基づくオブジェクトのグループ化の一例を説明するための図である。 第３の実施形態に係るユーザに表示されるホログラムの一例を示す図である（手前の赤ん坊を見ている場合）。 第３の実施形態に係るユーザに表示されるホログラムの一例を示す図である（奥の男の子を見ている場合）。 第４の実施形態に係る情報処理装置の概略構成例を示すブロック図である。 第４の実施形態に係るカメラにより取得される周囲画像の一例を示す図である。 第４の実施形態に係る特性検出部が周囲画像に基づいて生成した特性マップの一例を示す図である。 第４の実施形態に係るオブジェクトのグループ化の一例を説明するための図である。 第４の実施形態に係るユーザに表示されるホログラムの一例を示す図である（手前の赤ん坊を見ている場合）。 第４の実施形態に係るユーザに表示されるホログラムの一例を示す図である（奥の男の子を見ている場合）。 第５の実施形態に係る視線追跡部により検出されるユーザの視線方向を説明するための図である。 図２４に示す視線方向に基づくオブジェクトのグループ化の一例を説明するための図である。 第５の実施形態に係るユーザに表示されるホログラムの一例を示す図である（手前の赤ん坊を見ている場合）。 第５の実施形態に係るユーザに表示されるホログラムの一例を示す図である（奥の男の子を見ている場合）。 実施形態に係る情報処理装置のハードウエア構成例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１．１　概要
　　　１．２　情報処理装置の概略構成例
　　　１．３　情報処理装置の動作例
　　　１．４　作用・効果
　　２．第２の実施形態
　　３．第３の実施形態
　　４．第４の実施形態
　　５．第５の実施形態
　　６．ハードウエア構成
　１．第１の実施形態
　以下、第１の実施形態に係る情報処理装置、情報処理方法及びプログラムについて、図面を参照して詳細に説明する。
　１．１　概要
　まず、本実施形態の概要について説明する。図１は、本実施形態に係るホログラム表示システムの概要を説明するための模式図である。なお、図１及び以下の図において、（Ａ）～（Ｆ）は、それぞれの概略的な位置を示している。
　図１に示すように、本実施形態では、光源１０１と、複数のレンズ１０２及び１０３で構成された拡大光学系と、ビームスプリッタ１０４と、空間光変調器１０５とを備えるホログラム表示システムを例示する。
　図１において、光源１０１からのレーザ光Ｌ１は、複数のレンズ１０２及び１０３で構成された拡大光学系により、ビーム径が拡大されたコヒーレント光Ｌ２に変換される。コヒーレント光Ｌ２は、ビームスプリッタ１０４を通過して空間光変調器１０５に入射する。
　本実施形態では、空間光変調器１０５として、反射型の空間光変調器を例示する。コヒーレント光Ｌ２は、空間光変調器１０５によって、空間上の所定の領域における点にホログラムを形成するように変調される。
　ビームスプリッタ１０４は、空間光変調器１０５によって再生されたホログラム１０６を、ユーザ１０７が観察可能なように、例えば、空間上の位置Ｅに映し出す。位置Ｆに存在するユーザ１０７は、位置Ｅの方向を観察することで、ビームスプリッタ１０４越しに見える実空間に重畳ざれたホログラム１０６を見ることができる。
　このように、本実施形態に係るホログラム表示システムは、実空間に仮想オブジェクト等を出現させたり、実空間の物体を特殊効果等によって演出したり、ユーザに所定の情報を提示したりなどのユーザエクスペリエンスを提供することが可能である。
　なお、上記構成のうち、表示装置５０は、例えば、光学シースルー型のヘッドマウントディスプレイ（以下、ＡＲ　ＨＭＤという）であってもよい。また、前処理部２０と、ＣＧＨ計算部３０と、後処理部４０とは、ホログラム表示システムにおける情報処理装置を構成してもよい。この情報処理装置は、その一部または全部が、表示装置５０内、すなわちＡＲ　ＨＭＤ内に配置されてもよいし、表示装置５０と所定のネットワーク（例えば、ＬＡＮ（Local　Area　Network）、インターネット、ＬＴＥ（Long　Term　Evolution）やＷｉＦｉ（Wireless　Fidelity）や４Ｇや５Ｇ等を含む移動体通信網など）を介して接続されたサーバ（クラウドサーバを含む）等に配置されてもよい。
　１．２　情報処理装置の概略構成例
　次に、本実施形態に係るホログラム表示システムが備える情報処理装置の概略構成例について、図面を参照して詳細に説明する。図２は、本実施形態に係る情報処理装置の概略構成例を示すブロック図である。図２に示すように、情報処理装置１は、前処理部２０と、ＣＧＨ計算部３０と、後処理部４０とを備える。
　（前処理部２０）
　前処理部２０は、グループ化部２１と、位相調整部２２とを備え、入力された画像データ（後述する入力画像データ１０）に対して後述する前処理を実行する。
　（ＣＧＨ計算部３０）
　ＣＧＨ計算部３０は、前処理部２０で前処理された入力画像データから、ＳＬＭ平面上に入力するホログラムデータを計算により生成する。
　（後処理部４０）
　後処理部４０は、ＣＧＨ計算部３０で生成されたホログラムデータを、表示装置５０で表示可能なホログラム信号に変換する。
　（表示装置５０）
　表示装置５０は、後処理部４０で変換されたホログラム信号を出力することで、入力画像データにより再現されるオブジェクトのホログラムをユーザに対して立体表示する。
　１．３　情報処理装置の動作例
　つづいて、本実施形態に係る情報処理装置１の動作例について、図面を参照して詳細に説明する。図３は、本実施形態に係る情報処理装置の動作例を示すフローチャートである。
　図３に示すように、本動作において、ステップＳ１０１では、まず、情報処理装置１は、ホログラムとして表示する画像に関する情報（以下、入力画像データという）を入力する。本実施形態において、入力画像データ１０は、例えば、２次元イメージデータ、２．５次元イメージデータ、３次元イメージデータなどであってよい。なお、２．５次元イメージデータは、例えば、ピクセル又はボクセル（以下、単に画素という）ごとの、ＲＧＢ三原色の色情報と、デプス情報（距離情報ともいう）とから構成されたイメージデータであってもよい。また、３次元イメージデータは、例えば、ＲＧＢ三原色の色情報と、３次元情報とから構成されたイメージデータであってもよい。
　以下の説明では、２．５次元イメージデータが入力画像データ１０として入力された場合について、例を挙げる。図４及び図５は、本実施形態に係る入力画像データの一例であり、図４は、入力画像データ１０のうち、画素ごとのＲＧＢ色情報からなる画像データ（オブジェクト画像という）を示し、図５は、画素ごとのデプス情報からなる画像データ（以下、デプス画像という）を示している。
　図４に例示するオブジェクト画像Ｇ４０には、左上に位置する男の子のオブジェクトＣ４１と、右下に位置する赤ん坊のオブジェクトＣ４２と、左下に位置する時計のオブジェクトＣ４３とが含まれている。以下の説明において、実空間上の物体に対して表示するオブジェクト（本例ではオブジェクトＣ４１及びＣ４２）と仮想的に設定したスクリーン上に表示するオブジェクト（本例ではオブジェクトＣ４３）とを区別する場合、実空間上の物体に対して表示するオブジェクトを仮想オブジェクト（演出用のエフェクト等を含む。以下、ＡＲオブジェクトという）と称し、実空間内の所定の平面に仮想的に設定したスクリーン上に表示するオブジェクトをＯＳＤオブジェクトと称する。なお、図４において、白抜きされた背景の領域Ｒ４１は、色情報を持たない透明な点、すなわち、オブジェクトが存在しない領域を示している。
　また、図５に例示するデプス画像Ｄ１０には、左上に位置する男の子のＡＲオブジェクトＣ４１に対応する領域Ｃ５１と、右下に位置する赤ん坊のＡＲオブジェクトＣ４２に対応する領域Ｃ５２と、左下に位置する時計のＯＳＤオブジェクトＣ４３に対応する領域Ｄ２３とが含まれている。図５において、黒く塗りつぶされた領域Ｒ５１は、デプス情報が付与されていないか、或いは、最遠点のデプス情報が付与された領域を示している。
　デプス画像において、画素として表現される各点に付与されているデプス情報は、ユーザ１０７の実空間上の位置から各画素が対応する実空間上の位置までの実際の距離に相当するデプス情報であってよい。
　本説明では、左下に位置する時計のＯＳＤオブジェクトＣ４３に相当する領域Ｃ５３に、ユーザ１０７から５００ｍｍの距離に相当するデプス情報が付与されている。右下に位置する赤ん坊のＡＲオブジェクトＣ４２に相当する領域Ｃ５２には、ユーザ１０７から１０００ｍｍの距離に相当するデプス情報が、また、左上に位置する男の子のＡＲオブジェクトＣ４１に相当する領域Ｃ５１には、ユーザ１０７から２０００ｍｍの距離に相当するデプス情報が付与されている。
　なお、入力画像データ１０には、ホログラムとして再生されるイメージの種類に関するマップ情報が含まれていてもよい。
　また、本実施形態では、入力画像データ１０は、オブジェクト画像に含まれるオブジェクトに関するラベル情報を含んでいてもよい。図４及び図５に示す例では、図６に示すように、男の子のＡＲオブジェクトＣ４１と、赤ん坊のＡＲオブジェクトＣ４２と、時計のＯＳＤオブジェクトＣ４３とのそれぞれに対応する領域Ｃ６１～Ｃ６３に対して、ラベル情報が付与されていてもよい。以下、ラベル情報が付与された領域Ｃ６１～Ｃ６３がマッピングされた画像をラベル画像Ｇ６０と称する。なお、図６において、白抜きされた領域Ｒ６１は、ラベル情報が付与されていない領域を示している。
　図６において、領域Ｃ６１は、男の子のＡＲオブジェクトＣ４１を示すラベル情報が付与された領域であり、領域Ｃ６２は、赤ん坊のＡＲオブジェクトＣ４２を示すラベル情報が付与された情報であり、領域Ｃ６３は、時計のＯＳＤオブジェクトＣ４３を示すラベル情報が付与された情報である。なお、図６において、実空間上の物体に重畳させるオブジェクトＣ４１及びＣ４２に対応する領域Ｃ６１及びＣ６２は斜線のハッチングで示されており、オンスクリーンのオブジェクトＣ４３に対応する領域Ｃ６３は黒で示されている。
　図３のステップＳ１０２では、ステップＳ１０１で入力された入力画像データ１０を構成するポイント（画素に相当。以下、画素として説明する）が、１つ以上のグループにグループ分けされる。画素をグループ分けする際のアルゴリズムは、実際のユースケースに応じて種々変更されてよい。本実施形態では、高い解像度及び浅い被写界深度を同時に達成することが困難であることから、高い解像度が要求される画素と浅い被写界深度が要求される画素とを異なるグループにグループ分けし、それぞれを異なる扱いとする。
　例えば、時計であるＯＳＤオブジェクトＣ４３などのオンスクリーンオブジェクトに関しては、ユーザは、視点をどの距離に合わせた状態でもクリアに見えることを望むと考えられる。したがって、オンスクリーンオブジェクトは、高い解像度且つ深い被写界深度を持っていることが望ましい。
　一方で、ＡＲオブジェクトＣ４１及びＣ４２などのＡＲオブジェクトは、それらが対応する実空間上の物体と近い位置に表示されることが望ましく、そのためには、実空間上の物体と同程度の被写界深度を持っている必要がある。すなわち、浅い被写界深度は、ＡＲオブジェクトにとって重要である。
　このように、ＯＳＤオブジェクトには、高い解像度と深い被写界深度が要求され、ＡＲオブジェクトには、解像度を犠牲にしてでも浅い被写界深度が要求される。そこで本実施形態では、ラベル情報に基づいて、入力画像データ１０の各画素を１つ以上のグループにグループ分けする。例えば、入力画像データ１０を、ＯＳＤオブジェクトのグループ（以下、ＯＳＤオブジェクトグループという）と、ＡＲオブジェクトのグループ（以下、ＡＲオブジェクトグループという）とに分類する。なお、オブジェクトの存在しない透明な領域については、グループ化の必要がないため、省略することができる。
　図３のステップＳ１０３では、前処理部２０の位相調整部２２によって、入力画像データ１０の全ての画素に対して位相値が付与される。その際、ＡＲオブジェクトグループに属する画素と、ＯＳＤオブジェクトグループに属する画素とには、再生された画素が異なる特徴となるように、異なる特徴の位相値が付与される。なお、ＡＲオブジェクトグループとＯＳＤオブジェクトグループとのいずれにも属さない画素には、位相値が付与されなくてもよい。
　各画素に位相値を付与する手法としては、例えば、繰り返しランダム位相（ＲＲＰ）手法を用いることができる。ＲＲＰ手法では、最初に、所定サイズ（例えば、ｍ画素×ｎ画素）のセルと呼ばれる領域に対して割り当てるランダム位相パターンのパッチ（以下、ランダム位相パッチという）が生成される。ランダム位相パターンとは、例えば、隣接画素に付与する位相値の差が固定の値ではないランダムな値であるパターンであってよい。
　本例では、１つのセルに含まれる複数の画素に対して、パッチ内の最大位相差がπであるランダム位相パッチが割り当てられる。このような、セル単位でのランダム位相パッチの割当ては、入力画像データ１０の全範囲に対して実行される。図７は、セルサイズが１画素×３２画素である場合に１つのセルに対して割り当てられるランダム位相パッチの一例を示す図である。図７において、横軸は、入力画像データにおいて水平方向に配列する画素の番号（サンプル番号）を示し、縦軸は、各画素に付与する位相値を示している。
　図７に例示される３２画素のランダム位相パッチは、入力画像データ１０の画素の水平行に対して繰り返される。この繰り返しは、入力画像データ１０の全ての行に対して適用される。
　図４に示すオブジェクト画像Ｇ４０における各画素の色強度の平方根を用いることで、入力画像データ１０が、実数値画像から、新たに付与された位相情報に則した振幅を持つ複素数値画像に変換される。
　ランダム位相パターンは、波動伝搬後の光がＳＬＭ平面上に形成する領域を広げるように、光を散乱させることができる。すなわち、入力画像空間における高周波の位相情報は、ＳＬＭ平面上に形成される光の領域を広げるように光を散乱し、低周波の位相情報は、ＳＬＭ平面上に形成される光の領域を狭めるように光を散乱する。
　高周波の位相は、ＳＬＭ平面上の光パターンをより散乱させることで被写界深度を浅くすることに寄与する。そのため、高周波の位相パッチは、ＡＲオブジェクトグループに対してより好適であると言える。
　それに対し、低周波の位相は、ＳＬＭ平面上の光パターンを縮小させることで被写界深度を深くすることに寄与する。そのため、低周波の位相パッチは、ＯＳＤオブジェクトグループに対してより好適であると言える。
　図７に示すランダム位相パッチからも分かるように、位相成分の周波数を低減又は増加させる手法は、種々存在する。位相成分の周波数を低減させる手法の例としては、ランダム位相パッチの振幅を縮小させる１．０より小さい係数（以下、位相係数という）を位相成分に乗算する手法や、ローパスフィルタで位相成分をフィルタリングする手法などを挙げることができる。本実施形態では、図８に例示するように、０．２５の位相係数をランダム位相パッチに乗算することで、図７に例示したランダム位相パッチよりも低周波のランダム位相パッチを新たに生成する場合を例示する。
　ＯＳＤオブジェクトグループに属する各画素に対し、図８に例示したような低周波のランダム位相パッチを用いて位相値を付与することで、より鮮明且つ深い被写界深度でＯＳＤオブジェクトＣ４３を再生することができる。
　同様に、ＡＲオブジェクトグループに属する各画素に対し、図７に例示したような高周波のランダム位相パッチを用いて位相値を付与することで、より浅い被写界深度且つ低解像度でＡＲオブジェクトＣ４１及びＣ４２を再生することができる。
　図３のステップＳ１０４では、前処理部２０の位相調整部２２により上述したルールを用いて生成された複素フィールドが、図５を用いて説明した各オブジェクトに対応する領域Ｃ５１～Ｃ３４のデプス情報に基づいて、ＳＬＭ平面に伝搬される。
　図９は、本実施形態における再生されるホログラムと、ホログラム表示システムと、視聴者（ユーザ）との位置関係を示す図である。図９において、再生される３つのホログラム１０６ａ～１０６ｃのうち、位置Ｅ１に位置するホログラム１０６ａは、時計のＯＳＤオブジェクトＣ４３に相当し、位置Ｅ２に位置するホログラム１０６ｂは、赤ん坊のＡＲオブジェクトＣ４２に相当し、位置Ｅ３に位置するホログラム１０６ｃは、男の子のＡＲオブジェクトＣ４１に相当する。
　ＳＬＭ平面上の画素として現れる各点は、ＣＧＨ計算部３０が波動伝搬式を用いることで求められる。このような波動伝搬式には、例えば、以下の式（１）に示すようなフレネルの回折式を用いることができる。式（１）において、ｚは再生されるイメージ（ホログラム）平面それぞれから空間光変調器１０５までの距離を示している。
Figure JPOXMLDOC01-appb-M000001
　例えば、図９において、位置Ａに位置する空間光変調器１０５から位置Ｅ３に位置するホログラム１０６ｃまでの距離を１０００ｍｍとすると、ホログラムを表示するためのイメージが位置Ｅ３から位置Ａまで伝搬するための距離ｚの値は、１０００ｍｍとなる。
　なお、ＳＬＭ平面にホログラムを生成するための波動伝搬関数は、式（１）に例示した波動伝搬式に限定されない。例えば、他の仮説に基づいたレーリー・ゾンマーフェルトの回折式やフラウンホーファーの回折式などを用いることも可能である。
　異なるデプスの画素は、互いに別々にＳＬＭ平面へ伝搬し、ＳＬＭ平面上の同じフィールドに累積される。異なる距離のフィールドを一つに統合する最も簡単な手法としては、フィールドを統合する手法が挙げられる。ただし、実際のユースケースに基づき、異なるデプスのフィールドを統合するより洗練された手法を本実施形態に適用することも可能である。
　図３のステップＳ１０５では、ステップＳ１０４で生成された統合された複素フィールドに対し、上述において説明した後処理が実行される。なお、後処理は、空間光変調器１０５の種類に応じて異なる処理が実行される。反射型の空間光変調器１０５を用いる本実施形態では、複素フィールドを直接表示する処理を用いることができる。
　複素数値ＳＬＭでは、振幅成分が０～２５５の範囲で量子化され、０～２πの範囲の位相成分が２５５段階の離散的な値に量子化される。本実施形態に係る後処理では、複素フィールドがＳＬＭで表示可能な信号にマッピングされて量子化される。
　振幅情報のマッピングでは、以下に示す式（２）を用いることができる。式（２）によれば、ＣＧＨ計算部３０で生成されたフィールドＵは、ＳＬＭで表示可能な信号に変換される。
Figure JPOXMLDOC01-appb-M000002
　図３のステップＳ１０６では、空間光変調器１０５を通過した信号が表示される。本例では、図９に例示したように、時計のＯＳＤオブジェクトＣ４３が位置Ｆに位置するユーザ１０７から５００ｍｍの距離に位置する位置Ｅ１のホログラム１０６ａとして表示され、赤ん坊のＡＲオブジェクトＣ４２がユーザ１０７から１０００ｍｍの距離に位置する位置Ｅ２のホログラム１０６ｂとして表示され、男の子のＡＲオブジェクトＣ４１がユーザ１０７から２０００ｍｍの距離に位置する位置Ｅ３のホログラム１０６ｃとして表示される。
　図１０及び図１１は、ユーザがどこを見ているか、すなわち、ユーザの焦点位置がどこであるかによって、ユーザが見えるシーンの例を示す図であり、図１０は、ユーザが手前の赤ん坊を見ている場合にユーザが見えるシーンを示す図であり、図１１は、ユーザが奥の男の子を見ている場合にユーザが見えるシーンを示す図である。なお、図１０及び図１１において、図４に例示したオブジェクトＣ４１～Ｃ４３以外の背景に相当する領域Ｒ１０１及びＲ１１１については、ユーザは、光学シースルー型であるＡＲ　ＨＭＤを介して直接実空間を見ているものとする。
　上述したように、本実施形態では、ＡＲオブジェクトＣ４１及びＣ４２には、高周波の位相値が付与されることで、浅い被写界深度が設定される。そのため、図１０に例示する画像Ｇ１００のように、ユーザ１０７が手前の赤ん坊を見ている場合には、赤ん坊のＡＲオブジェクトＣ１０２がクリアに表示される一方、奥に位置する男の子のＡＲオブジェクトＣ１０１はぼやけて表示される。これに対し、図１１に例示する画像Ｇ１１０のように、ユーザ１０７が奥の男の子を見ている場合には、男の子のＡＲオブジェクトＣ１１１がクリアに表示される一方、手前に位置する赤ん坊のＡＲオブジェクトＣ１１２はぼやけて表示される。
　このように、本実施形態によれば、ユーザ１０７は、実空間上に存在する物体と同様の視覚的効果（例えば、距離感当）にて、ＡＲオブジェクトを見ることが可能となる。それにより、ＡＲオブジェクトのリアリティを高めることが可能となるため、ユーザエクスペリエンスを向上させることが可能となる。
　一方、本実施形態では、ＯＳＤオブジェクトＣ４３には、低周波の位相値が付与されることで、深い被写界深度が設定される。そのため、図１０及び図１１に例示するように、時計のＯＳＤオブジェクトＣ１０３及びＣ１１３は、ユーザ１０７がどこを見ていたとしても、ユーザ１０７に対してクリアに表示される。
　１．４　作用・効果
　以上のように、本実施形態によれば、同一のイメージ上での異なる点に対して適切なパラメータを設定することが可能になるため、ユーザエクスペリエンスを向上させることが可能となる。
　具体的には、同一のイメージに含まれるオブジェクトごとに自由に解像度と被写界深度とを設定することが可能となるため、高解像度のオブジェクトと浅い被写界深度のオブジェクトとをユーザに同時に提示することが可能となる。それにより、浅い被写界深度のオブジェクトでは自然な奥行ボケを再現し、高解像度のオブジェクトでは見やすく鮮明な再生が可能となるため、ユーザに提供するユーザエクスペリエンスを向上させることが可能となる。
　なお、上述した実施形態は、一つのフレキシブルなフレームワークであり、ＡＲ開発者が自分の開発しているシステムのユースケースに合わせて、自由にオブジェクトの解像度と被写界深度とを調整することが可能であることは言うまでもない。また、上述した実施形態では、画素が振り分けられたグループごとに最大位相差が異なる位相パッチを割り当てることで、オブジェクトごとの被写界深度を調整する場合を例示したが、これに限定されるものではない。例えば、グループごとに位相差が異なる位相パターンの位相パッチを割り当てたり、位相パターンが異なる位相パッチを割り当てたりなど、種々変形することが可能である。
　２．第２の実施形態
　次に、第２の実施形態に係る情報処理装置、情報処理方法及びプログラムについて、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。
　図１２は、本実施形態に係る情報処理装置の概略構成例を示すブロック図である。図１２に示すように、本実施形態に係る情報処理装置２は、第１の実施形態において図２を用いて説明した情報処理装置１と同様の構成において、前処理部２０が画像解析部２３をさらに備えた構成を備える。
　本実施形態では、第１の実施形態と異なり、入力画像データ１０がラベル画像（図６参照）を含んでいない。代わりに、本実施形態では、前処理部２０が画像解析部２３を備える。
　画像解析部２３は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークを利用した機械学習により、入力された入力画像データ１０を解析する。例えば、画像解析部２３は、クラシフィケーションにより入力画像データ１０の各画素を複数のクラスに分類し、各クラスに分類された画素にラベル付けを行う。このように画素に付与されたラベルは、第１の実施形態におけるラベル情報の代わりとして用いることができる。
　畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークを利用した機械学習としては、例えば、ＰＳＰＮｅｔ（Pyramid　Scene　Parsing　Network）などを用いることができる。ＰＳＰＮｅｔは、第１の実施形態において図６を用いて説明した手法により、入力画像データ１０の各画素を複数のクラスに分類することが可能である。
　その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　３．第３の実施形態
　次に、第３の実施形態に係る情報処理装置、情報処理方法及びプログラムについて、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。
　図１３は、本実施形態に係る情報処理装置の概略構成例を示すブロック図である。図１３に示すように、本実施形態に係る情報処理装置３は、第１の実施形態において図２を用いて説明した情報処理装置１と同様の構成において、カメラ（撮像部）６０をさらに備えるとともに、前処理部２０が視線追跡部２４をさらに備えている。なお、本実施形態においても、第２の実施形態と同様に、入力画像データ１０は、ラベル画像（図６参照）を含んでいない。
　カメラ６０は、例えば、視聴者であるユーザ１０７を撮影する。ユーザ１０７を撮影した画像データ（以下、ユーザ画像という）は、前処理部２０の視線追跡部２４に入力される。これに対し、視線追跡部２４は、入力されたユーザ画像を解析することで、ユーザの視線方向を検出する。
　本実施形態では、グループ化部２１は、視線追跡部２４から入力された視線情報に基づいて、入力画像データ１０の各画素をグループ化する。例えば、本実施形態に係るグループ化部２１は、ユーザ１０７が現在見ているオブジェクトに相当する画素であるか否かに基づいて、入力画像データ１０の各画素を２つのグループにグループ分けする。一方のグループは、ユーザ１０７が現在見ているオブジェクトのグループ（以下、焦点グループという）であり、他方のグループは、ユーザ１０７が現在見ているオブジェクトに含まれないオブジェクトのグループ（以下、焦点外グループという）である。
　図１４は、ユーザが入力画像データにおけるどこに相当する方向を見ているかを示す図であり、図１５は、例えば、図６に例示したラベル画像に相当する画像（以下、グループ化画像という）の一例を示す図であり、図１４に示す視線方向に基づくオブジェクトのグループ化の一例を説明するための図である。
　図１４に示すように、ユーザ１０７の視線Ｖ１４１が赤ん坊のＡＲオブジェクトＣ１４２の方向を向いていた場合、図１５に示すように、ＡＲオブジェクトＣ１４２に相当する領域Ｃ１５２に属する画素が焦点グループにグループ化され、ＡＲオブジェクトＣ１４２以外のＡＲオブジェクト、本例では、ＡＲオブジェクトＣ１４１に相当する領域Ｃ１５１に属する画素、及び、ＯＳＤオブジェクトＣ１４３に相当する領域Ｃ１５３に属する画素が、焦点外グループにグループ化される。
　このように、ユーザ１０７の視線方向に基づいて各オブジェクトに相当する領域をグループ化すると、それぞれのグループに属する画素に対して付与する位相値が割り当てられる。本例では、ユーザ１０７が手前の赤ん坊を見ている場合であるため、ＡＲオブジェクトＣ１４２に相当する画素（すなわち、焦点グループに属する画素）に対して、ＡＲオブジェクトＣ１４２を鮮明且つ高解像度に表示するために、低周波のランダム位相パッチが割り当てられる。
　焦点外グループにグループ化されたＡＲオブジェクトＣ１４１に相当する画素及びＯＳＤオブジェクトＣ１４３に相当する画素に対しては、これらを実世界上の物体と同程度にぼやかして表示するために、浅い被写界深度を実現する高周波のランダム位相パッチが割り当てられる。
　なお、焦点グループに属する画素に対する位相値の割当て手法、及び、焦点外グループに属する画素に対する位相値の割当て手法は、例えば、上述において図８を用いて説明した手法と同様であってよいため、ここでは詳細な説明を省略する。
　図１６及び図１７は、ユーザの視線方向によって、ユーザが見えるシーンの例を示す図であり、図１６は、ユーザの視線方向が手前の赤ん坊を向いている場合にユーザが見えるシーンを示す図であり、図１７は、ユーザの視線方向が奥の男の子を向いている場合にユーザが見えるシーンを示す図である。なお、図１６及び図１７において、図１４に例示したオブジェクトＣ１４１～Ｃ１４３以外の背景に相当する領域Ｒ１６１及びＲ１７１については、ユーザは、光学シースルー型であるＡＲ　ＨＭＤを介して直接実空間を見ているものとする。
　図１６に例示する画像Ｇ１６０のように、ユーザ１０７の視線方向が手前の赤ん坊を向いている場合には、焦点グループにグループ化された赤ん坊のＡＲオブジェクトＣ１４２に対応する画素に対して、低周波の位相情報が付与される。これにより、ユーザ１０７が見ている赤ん坊のＡＲオブジェクトＣ１６２が、深い被写界深度でクリアに表示される。
　それに対して、焦点外グループにグループ化された男の子のＡＲオブジェクトＣ１４１及び時計のＯＳＤオブジェクトＣ１４３に対応する画素に対しては、高周波の位相情報が付与されることで、被写界深度が浅く設定される。これにより、男の子のＡＲオブジェクトＣ１６１及び時計のＯＳＤオブジェクトＣ１６３がぼやけて表示される。
　一方、図１７に例示する画像Ｇ１７０のように、ユーザ１０７の視線方向が奥の男の子を向いている場合には、焦点グループにグループ化された男の子のＡＲオブジェクトＣ１４１に対応する画素に対して、低周波の位相情報が付与される。これにより、ユーザ１０７が見ている男の子のＡＲオブジェクトＣ１７１が、深い被写界深度でクリアに表示される。
　それに対して、焦点外グループにグループ化された赤ん坊のＡＲオブジェクトＣ１４２及び時計のＯＳＤオブジェクトＣ１４３に対応する画素に対しては、高周波の位相情報が付与されることで、被写界深度が浅く設定される。これにより、赤ん坊のＡＲオブジェクトＣ１７１及び時計のＯＳＤオブジェクトＣ１７３がぼやけて表示される。
　なお、ＯＳＤオブジェクトＣ１４３については、ユーザ１０７の視線方向とは無関係に、常に高い解像度且つ深い被写界深度で表示されてもよい。その場合、ＯＳＤオブジェクトＣ１４３に相当する領域Ｃ１５３については、焦点グループ及び焦点外グループとは異なるグループ（以下、ＯＳＤグループという）にグループ化されてもよい。
　その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　４．第４の実施形態
　次に、第４の実施形態に係る情報処理装置、情報処理方法及びプログラムについて、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。
　図１８は、本実施形態に係る情報処理装置の概略構成例を示すブロック図である。図１８に示すように、本実施形態に係る情報処理装置４は、第１の実施形態において図２を用いて説明した情報処理装置１と同様の構成において、カメラ６０をさらに備えるとともに、前処理部２０が特性検出部２５をさらに備えている。なお、本実施形態においても、第２の実施形態と同様に、入力画像データ１０は、ラベル画像（図６参照）を含んでいない。
　カメラ６０は、例えば、例えばユーザ１０７の視角を含むユーザ１０７の周囲を撮影する。特性検出部２５は、カメラ６０で撮影されたユーザ１０７の周囲の画像（以下、周囲画像という）に基づいて、ユーザ１０７が実空間内のどの領域を見る可能性が高いかを示す特性マップを生成する。ユーザ１０７が見る可能性の高い領域とは、例えば、ユーザ１０７の注目を集めやすい領域であり、特性検出部２５が生成する特性マップにおいて、この領域には、高い特性値が設定され得る。
　図１９は、カメラにより取得される周囲画像の一例を示す図であり、図２０は、本実施形態に係る特性検出部が周囲画像に基づいて生成した特性マップの一例を示す図である。
　図１９に示すように、カメラ６０の画角内には、例えばユーザ１０７の視角が含まれている。カメラ６０の画角は、必ずしもユーザ１０７の視角よりも広範囲である必要はない。特性検出部２５は、カメラ６０から入力された周囲画像に基づき、図２０に例示するような特性マップを生成する。
　本例では、図２０に例示する特性マップＧ２００のように、例えば、図１９に示す周囲画像Ｇ１９０における赤ん坊の領域Ｃ１９２と対応する領域Ｃ２０２に対して最も高い特性値が設定され、女性の領域Ｃ１９４と対応する領域Ｃ２０４に対して次に高い特性値が設定され、男の子と男性との領域Ｃ１９１と対応する領域Ｃ２０１に対してさらに次に高い特性値が設定される。
　本実施形態に係るグループ化部２１は、以上のように生成された特性マップＧ２００に基づき、各領域Ｃ２０１、Ｃ２０２及びＣ２０４と入力画像データ１０における各ＡＲオブジェクトとの位置関係から、各ＡＲオブジェクトをグループ化する。例えば、図２１に示すように、グループ化部２１は、特性マップＧ２００の領域Ｃ２０２に対応する赤ん坊のＡＲオブジェクトＣ２１２に対応する画素を、注目度の最も高いグループ（以下、高注目グループという）にグループ化し、それ以外のオブジェクト、本例では男の子のＡＲオブジェクトＣ２１１及び時計のＯＳＤオブジェクトＣ２１３に対応する画素を、注目度の低いグループ（以下、低注目グループという）にグループ化してもよい。
　位相調整部２２は、注目度の高いＡＲオブジェクトＣ２０２が常に高い解像度で鮮明に表示されるようにするために、高注目グループにグループ化された画素に対して、図８を用いて説明した手法により、低周波の位相値を付与する。
　一方、位相調整部２２は、通常状態において、注目度の低いＡＲオブジェクトＣ２０１が違和感なくぼやけて表示されるようにするために、低注目グループにグループ化された画素に対して、図７を用いて説明した手法により、高周波の位相値を付与する。なお、通常状態に対義する非通常状態とは、ユーザ１０７が高注目グループにグループ化されたＡＲオブジェクトとは異なるＡＲオブジェクトが対応する実空間上の物体を注視している状態などであってよい。
　図２２及び図２３は、ユーザの視線方向によって、ユーザが見えるシーンの例を示す図であり、図２２は、ユーザの視線方向が手前の赤ん坊を向いている場合にユーザが見えるシーンを示す図であり、図２３は、ユーザの視線方向が奥の男の子を向いている場合にユーザが見えるシーンを示す図である。なお、図２２及び図２３において、図２１に例示したオブジェクトＣ２１１～Ｃ２１３以外の背景に相当する領域Ｒ２２１及びＲ２３１については、ユーザは、光学シースルー型であるＡＲ　ＨＭＤを介して直接実空間を見ているものとする。
　図２２及び図２３において、注目度の高い赤ん坊のＡＲオブジェクトＣ２２２及びＣ２３２には、低周波のランダム位相パッチが割り当てられているため、ユーザ１０７がどこを見ていたとしても、赤ん坊のＡＲオブジェクトＣ２２２及びＣ２３２は、深い被写界深度で鮮明に表示される。
　一方、注目度の低い男の子のＡＲオブジェクトＣ２２１及びＣ２３１には、高周波のランダム位相パッチが割り当てられているため、男の子のＡＲオブジェクトＣ２２２及びＣ２３２は、浅い被写界深度で表示される。それにより、ユーザ１０７が男の子を見ている場合には、図２３に示すように、男の子のＡＲオブジェクトＣ２３１が鮮明に表示されるものの、ユーザ１０７が男の子を見ていない、例えば、赤ん坊を見ている場合には、図２２に示すように、男の子のＡＲオブジェクトＣ２３１はぼやけて表示される。
　本実施形態は、例えば、ユーザ１０７が実空間上の特定の物体に対して常に高い注意を払っている場合や払う必要がある場合などに特に有効であると考えられる。その場合でも、ユーザ１０７が注意を払っていない物体に対するＡＲオブジェクトがユーザ１０７の焦点位置等に応じた鮮明度で表示されるため、違和感のないユーザエクスペリエンスを提供することができる。
　その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　５．第５の実施形態
　次に、第５の実施形態に係る情報処理装置、情報処理方法及びプログラムについて、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。
　本実施形態に係る情報処理装置は、例えば、上述した第３の実施形態に係る情報処理装置３と同様の構成であってよい。ただし、本実施形態に係る情報処理装置は、以下のような動作を実行する。
　図２４及び図２５は、本実施形態に係る情報処理装置が実行する動作を説明するための図であり、図２４は、ユーザが入力画像データにおけるどこに相当する方向を見ているかを示す図であり、図２５は、図２４に示す視線方向に基づくオブジェクトのグループ化の一例を説明するための図である。
　図２４に示すように、本実施形態において、視線追跡部２４は、第３の実施形態と同様に、カメラ６０で取得された画像に基づいて、ユーザ１０７の視線方向を検出する。
　一方、本実施形態に係るグループ化部２１は、図２５に示すように、入力された入力画像データ１０におけるデプス画像を、各画素のデプス情報に基づいてグループ分けする。本例では、上述した例と同様に、オブジェクト画像Ｇ２４０に男の子のＡＲオブジェクトＣ２４１と赤ん坊のＡＲオブジェクトＣ２４２と時計のＯＳＤオブジェクトＣ２４３とが含まれ、デプス画像Ｆ１６０においてそれぞれのオブジェクトに対して異なるデプス情報が付与されている。例えば、男の子のＡＲオブジェクトＣ２４１に対応する領域Ｃ２５１には、ユーザ１０７からの距離が２０００ｍｍであることを示すデプス情報が付与され、赤ん坊のＡＲオブジェクトＣ２４２に対応する領域Ｃ２５２には、ユーザ１０７からの距離が１０００ｍｍであることを示すデプス情報が付与され、時計のＯＳＤオブジェクトＣ２４３に対応する領域Ｃ２５３には、ユーザ１０７からの距離が５００ｍｍであることを示すデプス情報が付与されている。
　そのような場合、グループ化部２１は、デプス画像Ｇ２５０における、男の子のＡＲオブジェクトＣ２４１に対応する領域Ｃ２５１と、赤ん坊のＡＲオブジェクトＣ２４２に対応する領域Ｃ２５２と、時計のＯＳＤオブジェクトＣ２４３に対応する領域Ｃ２５３とに基づき、入力画像データ１０を各オブジェクトの領域をグループ化する。
　このように、入力画像データ１０に含まれるデプス情報を用いることで、グループ化部２１は、入力画像データ１０の各画素を容易にグループ分けすることが可能である。
　位相調整部２２は、上述した実施形態と同様に、以上のように生成された距離ごとのグループに基づき、各グループに属する画素に対して、ユーザ１０７の視線方向Ｖ２４１に応じた位相値を付与する。
　なお、本実施形態では、グループ分けされた各画素に対する位相値の設定に、以下の表１に示すようなルックアップテーブルが用いられる。
Figure JPOXMLDOC01-appb-T000003
　表１に示すように、ルックアップテーブルでは、ユーザ１０７の視線方向Ｖ２４１に位置する物体、すなわち、ユーザ１０７が見ている物体を基準とした、当該物体からの距離ごとに、パッチ内の最大位相差が規定されている。なお、所定サイズのセルに対して割り当てられるランダム位相パッチは、上述において図８を用いて説明したものをランダム位相パッチ又はこのランダム位相パッチをルックアップテーブルから特定した最大位相差に基づいて調整したランダム位相パッチであってよい（例えば、図７参照）。
　したがって、図２４に示すように、ユーザ１０７が自身から１０００ｍｍの距離に位置する赤ん坊を見ている場合、赤ん坊より１０００ｍｍ遠方に位置する男の子のＡＲオブジェクトＣ２４１に対応するグループに属する画素に対しては、パッチ内の最大位相差が１πに設定されたランダム位相パッチ（例えば、図７参照）が割り当てられ、赤ん坊より５００ｍｍ近傍に位置する時計のＯＳＤオブジェクトＣ２４３に対応するグループに属する画素に対しては、パッチ内の最大位相差が１／４πに設定されたランダム位相パッチ（例えば、図８参照）が割り当てられる。
　なお、ユーザ１０７が見ている赤ん坊のＡＲオブジェクトＣ２４２に対応するグループに属する画素に対しては、パッチ内の最大位相差が０π、すなわち、位相差の無い一定の位相値が割り当てられる。
　このように、各オブジェクトに対し、ユーザ１０７が見ている物体からの距離に応じた位相差をルックアップテーブルに基づいて与える構成とすることで、以下のようなユーザエクスペリエンスを提供することが可能となる。
　図２６及び図２７は、本実施形態によりユーザに提供されるユーザエクスペリエンスを説明するための図であり、図２６は、ユーザが手前の赤ん坊を見ている場合にユーザが見えるシーンを示す図であり、図２７は、ユーザが奥の男の子を見ている場合にユーザが見えるシーンを示す図である。なお、図２６及び図２７において、図２４に例示したオブジェクトＣ２４１～Ｃ２４３以外の背景に相当する領域Ｒ２６１及びＲ２７１については、ユーザは、光学シースルー型であるＡＲ　ＨＭＤを介して直接実空間を見ているものとする。
　図２６に例示する画像Ｇ２６０のように、ユーザ１０７の視線方向が手前の赤ん坊を向いている場合、赤ん坊のＡＲオブジェクトＣ２４２に対応する画素に対しては、非常に低周波（本例では位相差無し）のランダム位相パッチが割り当てられる。これにより、ユーザ１０７が見ている赤ん坊のＡＲオブジェクトＣ２６２が、深い被写界深度でクリアに表示される。
　それに対して、ユーザ１０７からの距離が赤ん坊とは異なる物体（本例では男の子及び時計）のオブジェクトＣ２４１及びＣ２４３に対応する画素に対しては、パッチ内の最大位相差が各物体の赤ん坊（もしくはユーザ１０７）からの距離に応じた高周波のランダム位相パッチが割り当てられることで、被写界深度が浅く設定される。例えば、男の子のＡＲオブジェクトＣ２４１に対応する画素には、表１のルックアップテーブルに基づき、赤ん坊からの距離＋１０００ｍｍが属する範囲に対応する最大位相差１πの高周波のランダム位相パッチが割り当てられ、時計のＯＳＤオブジェクトＣ２４３に対応する画素には、表１のルックアップテーブルに基づき、赤ん坊からの距離－５００ｍｍが属する範囲に対応する最大位相差１／４πの高周波のランダム位相パッチが割り当てられる。これにより、これらの物体に対するオブジェクト（男の子のＡＲオブジェクトＣ２６１及び時計のＯＳＤオブジェクトＣ２６３）がぼやけて表示される。
　一方、図２７に例示する画像Ｇ２７０のように、ユーザ１０７の視線方向が奥の男の子を向いている場合、男の子のＡＲオブジェクトＣ２４２に対応する画素に対しては、非常に低周波（本例では位相差無し）のランダム位相パッチが割り当てられる。これにより、ユーザ１０７が見ている男の子のＡＲオブジェクトＣ２７２が、深い被写界深度でクリアに表示される。
　それに対して、ユーザ１０７からの距離が男の子とは異なる物体（本例では赤ん坊及び時計）のオブジェクトＣ２４１及びＣ２４３に対応する画素に対しては、パッチ内の最大位相差が各物体の男の子（もしくはユーザ１０７）からの距離に応じた高周波のランダム位相パッチが割り当てられることで、被写界深度が浅く設定される。例えば、赤ん坊のＡＲオブジェクトＣ２４２に対応する画素には、表１のルックアップテーブルに基づき、男の子からの距離－１０００ｍｍが属する範囲に対応する最大位相差１πの高周波のランダム位相パッチが割り当てられ、時計のＯＳＤオブジェクトＣ２４３に対応する画素には、表１のルックアップテーブルに基づき、男の子からの距離－１５００ｍｍが属する範囲に対応する最大位相差２／３πの高周波の位ランダム位相パッチが割り当てられる。これにより、これらの物体に対するオブジェクト（赤ん坊のＡＲオブジェクトＣ２７２及び時計のＯＳＤオブジェクトＣ２７３）がぼやけて表示される。
　その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　６．ハードウエア構成
　上述してきた実施形態及びその変形例並びに応用例に係る情報処理装置は、例えば図２８に示すような構成のコンピュータ１０００によって実現され得る。図２８は、上述した実施形態に係る情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウエア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウエアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る投影制御プログラムを記録する記録媒体である。
　通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が上述の実施形態に係る情報処理装置として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、前処理部２０、ＣＧＨ計算部３０及び後処理部４０の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　１つの画像データに含まれる１つ以上のオブジェクトを構成する複数の画素を１つ以上のグループにグループ分けするグループ化部と、
　前記複数の画素に対して前記１つ以上のグループごとに位相差が異なる位相パターンを割り当てる位相調整部と、
　前記位相パターンが付与された前記画像データからホログラムデータを生成する計算部と、
　を備える情報処理装置。
（２）
　前記位相調整部は、前記複数の画素に対して前記１つ以上のグループごとに最大位相差が異なる前記位相パターンを割り当てる前記（１）に記載の情報処理装置。
（３）
　前記画像データは、前記１つ以上のオブジェクトに関するラベル情報を含み、
　前記グループ化部は、前記ラベル情報に基づいて、前記複数の画素を前記１つ以上のグループにグループ分けする
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記画像データを解析することで前記画像データを構成する各画素にラベルを付与する画像解析部をさらに備え、
　前記グループ化部は、前記画像解析部により付与された前記ラベルに基づいて、前記複数の画素を前記１つ以上のグループにグループ分けする
　前記（１）に記載の情報処理装置。
（５）
　ユーザの視線方向を検出する視線追跡部をさらに備え、
　前記グループ化部は、前記１つ以上のオブジェクトのうち、実空間内において前記視線方向に位置する物体に対応付けられるオブジェクトを構成する画素を第１グループにグループ分けし、前記視線方向に位置しない物体に対応付けられるオブジェクトを構成する画素を第２グループにグループ分けする
　前記（１）に記載の情報処理装置。
（６）
　ユーザの周囲を撮像する撮像部と、
　前記撮像部で取得された画像データを解析することで、前記ユーザの周囲に存在する物体の特性を検出する特性検出部と、
　をさらに備え、
　前記グループ化部は、前記特性検出部により検出された前記物体の前記特性に基づいて、前記物体に対応付けられる前記１つ以上のオブジェクトを構成する前記複数の画素を前記１つ以上のグループにグループ分けする
　前記（１）に記載の情報処理装置。
（７）
　前記画像データは、前記画像データを構成する各画素のデプス情報を含み、
　前記グループ化部は、前記デプス情報に基づいて前記複数の画素を前記１つ以上のグループにグループ分けする
　前記（１）に記載の情報処理装置。
（８）
　ユーザの視線方向を検出する視線追跡部と、
　距離と位相差との対応関係を保持するルックアップテーブルを記憶する記憶部と、
　をさらに備え、
　前記位相調整部は、前記１つ以上のグループそれぞれにグループ分けされた画素が構成するオブジェクトが対応付けられる物体と、実空間内において前記視線方向に位置する物体との距離に基づいて前記ルックアップテーブルを参照することで、前記１つ以上のグループそれぞれに属する画素に対して付与する前記位相パターンの前記位相差を決定する
　前記（７）に記載の情報処理装置。
（９）
　前記位相調整部は、
　　前記グループ化部により第１のグループにグループ分けされた画素に対して前記位相差が第１の位相差である第１の位相パターンを割り当て、
　　第２のグループにグループ分けされた画素に対して前記位相差が前記第１の位相差よりも大きい第２の位相差である第２の位相パターンを割り当てる
　前記（１）～（７）の何れか１つに記載の情報処理装置。
（１０）
　前記位相パターンは、所定の画素サイズを有し、
　前記位相調整部は、前記画像データを前記所定の画素サイズに分割することで得られたセルを単位として、前記位相パターンを割り当てる
　前記（１）～（９）の何れか１つに記載の情報処理装置。
（１１）
　前記位相パターンは、隣接画素に付与する位相値の差がランダムな値であるランダム位相パターンである前記（１）～（１０）の何れか１つに記載の情報処理装置。
（１２）
　前記１つ以上のオブジェクトは、実空間内の物体に対応付けられる第１オブジェクトと、前記実空間内に設定された仮想的なスクリーン上に表示される第２オブジェクトとを含む前記（１）～（１１）の何れか１つに記載の情報処理装置。
（１３）
　前記位相調整部は、前記第２オブジェクトに対応する画素に対して、前記位相差が小さい低周波の位相パターンを割り当てる前記（１２）に記載の情報処理装置。
（１４）
　１つの画像データに含まれる１つ以上のオブジェクトを構成する複数の画素を１つ以上のグループにグループ分けし、
　前記複数の画素に対して前記１つ以上のグループごとに位相差が異なる位相パターンを割り当て、
　前記位相パターンが付与された前記画像データからホログラムデータを生成する
　ことを含む情報処理方法。
（１５）
　画像データからホログラムを表示するためのホログラムデータを生成するコンピュータを機能させるためのプログラムであって、
　１つの画像データに含まれる１つ以上のオブジェクトを構成する複数の画素を１つ以上のグループにグループ分けする工程と、
　前記複数の画素に対して前記１つ以上のグループごとに位相差が異なる位相パターンを割り当てる工程と、
　前記位相パターンが付与された前記画像データからホログラムデータを生成する工程と、
　を前記コンピュータに実行させるためのプログラム。
（１６）
　前記（１）～（１３）の何れか１つに記載の情報処理装置と、
　前記情報処理装置で生成された前記ホログラムデータに基づいて、ユーザに対してホログラムを表示する表示装置と、
　を備えるホログラム表示システム。
（１７）
　前記情報処理装置は、前記ホログラムデータを前記表示装置で立体表示可能なホログラム信号に変換する後処理部をさらに備え、
　前記表示装置は、前記ホログラム信号に基づいて出力された光を変調することで前記ホログラムをユーザに対して表示する空間光変調器を備える
　前記（１６）に記載のホログラム表示システム。
（１８）
　前記空間光変調器は、反射型の空間光変調器である前記（１７）に記載のホログラム表示システム。
　１、２、３、４　情報処理装置
　１０　入力画像データ
　２０　前処理部
　２１　グループ化部
　２２　位相調整部
　２３　画像解析部
　２４　視線追跡部
　２５　特性検出部
　３０　ＣＧＨ計算部
　４０　後処理部
　５０　表示装置
　６０　カメラ
　１０１　光源
　１０２、１０３　レンズ
　１０４　ビームスプリッタ
　１０５　空間光変調器（ＳＬＭ）
　１０６、１０６ａ、１０６ｂ、１０６ｃ　ホログラム
　１０７　ユーザ

Claims (18)

  1. 　１つの画像データに含まれる１つ以上のオブジェクトを構成する複数の画素を１つ以上のグループにグループ分けするグループ化部と、
    　前記複数の画素に対して前記１つ以上のグループごとに位相差が異なる位相パターンを割り当てる位相調整部と、
    　前記位相パターンが付与された前記画像データからホログラムデータを生成する計算部と、
    　を備える情報処理装置。
  2. 　前記位相調整部は、前記複数の画素に対して前記１つ以上のグループごとに最大位相差が異なる前記位相パターンを割り当てる請求項１に記載の情報処理装置。
  3. 　前記画像データは、前記１つ以上のオブジェクトに関するラベル情報を含み、
    　前記グループ化部は、前記ラベル情報に基づいて、前記複数の画素を前記１つ以上のグループにグループ分けする
    　請求項１に記載の情報処理装置。
  4. 　前記画像データを解析することで前記画像データを構成する各画素にラベルを付与する画像解析部をさらに備え、
    　前記グループ化部は、前記画像解析部により付与された前記ラベルに基づいて、前記複数の画素を前記１つ以上のグループにグループ分けする
    　請求項１に記載の情報処理装置。
  5. 　ユーザの視線方向を検出する視線追跡部をさらに備え、
    　前記グループ化部は、前記１つ以上のオブジェクトのうち、実空間内において前記視線方向に位置する物体に対応付けられるオブジェクトを構成する画素を第１グループにグループ分けし、前記視線方向に位置しない物体に対応付けられるオブジェクトを構成する画素を第２グループにグループ分けする
    　請求項１に記載の情報処理装置。
  6. 　ユーザの周囲を撮像する撮像部と、
    　前記撮像部で取得された画像データを解析することで、前記ユーザの周囲に存在する物体の特性を検出する特性検出部と、
    　をさらに備え、
    　前記グループ化部は、前記特性検出部により検出された前記物体の前記特性に基づいて、前記物体に対応付けられる前記１つ以上のオブジェクトを構成する前記複数の画素を前記１つ以上のグループにグループ分けする
    　請求項１に記載の情報処理装置。
  7. 　前記画像データは、前記画像データを構成する各画素のデプス情報を含み、
    　前記グループ化部は、前記デプス情報に基づいて前記複数の画素を前記１つ以上のグループにグループ分けする
    　請求項１に記載の情報処理装置。
  8. 　ユーザの視線方向を検出する視線追跡部と、
    　距離と位相差との対応関係を保持するルックアップテーブルを記憶する記憶部と、
    　をさらに備え、
    　前記位相調整部は、前記１つ以上のグループそれぞれにグループ分けされた画素が構成するオブジェクトが対応付けられる物体と、実空間内において前記視線方向に位置する物体との距離に基づいて前記ルックアップテーブルを参照することで、前記１つ以上のグループそれぞれに属する画素に対して付与する前記位相パターンの前記位相差を決定する
    　請求項７に記載の情報処理装置。
  9. 　前記位相調整部は、
    　　前記グループ化部により第１のグループにグループ分けされた画素に対して前記位相差が第１の位相差である第１の位相パターンを割り当て、
    　　第２のグループにグループ分けされた画素に対して前記位相差が前記第１の位相差よりも大きい第２の位相差である第２の位相パターンを割り当てる
    　請求項１に記載の情報処理装置。
  10. 　前記位相パターンは、所定の画素サイズを有し、
    　前記位相調整部は、前記画像データを前記所定の画素サイズに分割することで得られたセルを単位として、前記位相パターンを割り当てる
    　請求項１に記載の情報処理装置。
  11. 　前記位相パターンは、隣接画素に付与する位相値の差がランダムな値であるランダム位相パターンである請求項１に記載の情報処理装置。
  12. 　前記１つ以上のオブジェクトは、実空間内の物体に対応付けられる第１オブジェクトと、前記実空間内に設定された仮想的なスクリーン上に表示される第２オブジェクトとを含む請求項１に記載の情報処理装置。
  13. 　前記位相調整部は、前記第２オブジェクトに対応する画素に対して、前記位相差が小さい低周波の位相パターンを割り当てる請求項１２に記載の情報処理装置。
  14. 　１つの画像データに含まれる１つ以上のオブジェクトを構成する複数の画素を１つ以上のグループにグループ分けし、
    　前記複数の画素に対して前記１つ以上のグループごとに位相差が異なる位相パターンを割り当て、
    　前記位相パターンが付与された前記画像データからホログラムデータを生成する
    　ことを含む情報処理方法。
  15. 　画像データからホログラムを表示するためのホログラムデータを生成するコンピュータを機能させるためのプログラムであって、
    　１つの画像データに含まれる１つ以上のオブジェクトを構成する複数の画素を１つ以上のグループにグループ分けする工程と、
    　前記複数の画素に対して前記１つ以上のグループごとに位相差が異なる位相パターンを割り当てる工程と、
    　前記位相パターンが付与された前記画像データからホログラムデータを生成する工程と、
    　を前記コンピュータに実行させるためのプログラム。
  16. 　請求項１に記載の情報処理装置と、
    　前記情報処理装置で生成された前記ホログラムデータに基づいて、ユーザに対してホログラムを表示する表示装置と、
    　を備えるホログラム表示システム。
  17. 　前記情報処理装置は、前記ホログラムデータを前記表示装置で立体表示可能なホログラム信号に変換する後処理部をさらに備え、
    　前記表示装置は、前記ホログラム信号に基づいて出力された光を変調することで前記ホログラムをユーザに対して表示する空間光変調器を備える
    　請求項１６に記載のホログラム表示システム。
  18. 　前記空間光変調器は、反射型の空間光変調器である請求項１７に記載のホログラム表示システム。
PCT/JP2021/019938 2020-06-02 2021-05-26 情報処理装置、情報処理方法、プログラム及びホログラム表示システム WO2021246255A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/922,726 US20230350344A1 (en) 2020-06-02 2021-05-26 Information processing device, information processing method, program, and hologram display system
JP2022528768A JPWO2021246255A1 (ja) 2020-06-02 2021-05-26
CN202180038466.9A CN115698870A (zh) 2020-06-02 2021-05-26 信息处理装置、信息处理方法、程序和全息图显示系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020096399 2020-06-02
JP2020-096399 2020-06-02

Publications (1)

Publication Number Publication Date
WO2021246255A1 true WO2021246255A1 (ja) 2021-12-09

Family

ID=78831070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019938 WO2021246255A1 (ja) 2020-06-02 2021-05-26 情報処理装置、情報処理方法、プログラム及びホログラム表示システム

Country Status (4)

Country Link
US (1) US20230350344A1 (ja)
JP (1) JPWO2021246255A1 (ja)
CN (1) CN115698870A (ja)
WO (1) WO2021246255A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110371A (ja) * 1992-09-30 1994-04-22 Fujitsu Ltd 立体表示方法及び装置
JP2000322594A (ja) * 1999-05-14 2000-11-24 Taito Corp 画像表示装置、画像表示方法、及び表示プログラムが記憶された記憶媒体
JP2008525832A (ja) * 2004-12-23 2008-07-17 シーリアル、テクノロジーズ、ゲーエムベーハー ホログラムを計算する方法
JP2010501903A (ja) * 2006-09-01 2010-01-21 シーリアル テクノロジーズ ソシエテ アノニム サブホログラムを使用してビデオホログラムをリアルタイムに生成する方法
JP2011528132A (ja) * 2008-07-16 2011-11-10 ライト、ブルー、オプティクス、リミテッド ホログラフィ画像表示システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110371A (ja) * 1992-09-30 1994-04-22 Fujitsu Ltd 立体表示方法及び装置
JP2000322594A (ja) * 1999-05-14 2000-11-24 Taito Corp 画像表示装置、画像表示方法、及び表示プログラムが記憶された記憶媒体
JP2008525832A (ja) * 2004-12-23 2008-07-17 シーリアル、テクノロジーズ、ゲーエムベーハー ホログラムを計算する方法
JP2010501903A (ja) * 2006-09-01 2010-01-21 シーリアル テクノロジーズ ソシエテ アノニム サブホログラムを使用してビデオホログラムをリアルタイムに生成する方法
JP2011528132A (ja) * 2008-07-16 2011-11-10 ライト、ブルー、オプティクス、リミテッド ホログラフィ画像表示システム

Also Published As

Publication number Publication date
US20230350344A1 (en) 2023-11-02
JPWO2021246255A1 (ja) 2021-12-09
CN115698870A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
Kruijff et al. Perceptual issues in augmented reality revisited
JP6873096B2 (ja) イメージ形成における及びイメージ形成に関する改良
JP4125252B2 (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
US20180365906A1 (en) Image Compensation for an Occluding Direct-View Augmented Reality System
US20160171704A1 (en) Image processing method and apparatus
US20120068996A1 (en) Safe mode transition in 3d content rendering
Ledda et al. A wide field, high dynamic range, stereographic viewer
JP2014059691A (ja) 画像処理装置および方法、並びにプログラム
Banterle et al. Multidimensional image retargeting
EP3712711B1 (en) Method and apparatus for processing holographic image
JP2021012338A (ja) ホログラム生成装置およびホログラム生成方法
CN114616587A (zh) 基于学习的镜头眩光移除
Narwaria et al. Effect of tone mapping operators on visual attention deployment
WO2021246255A1 (ja) 情報処理装置、情報処理方法、プログラム及びホログラム表示システム
JP4924194B2 (ja) 媒体、媒体作製装置、媒体作製方法及びそのプログラム
CN112802170A (zh) 光照图像生成方法、装置、设备和介质
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
Kara et al. On the use-case-specific quality degradations of light field visualization
JP7267967B2 (ja) 計算機合成ホログラム生成装置、方法およびプログラム
US20240169496A1 (en) Extended depth-of-field correction using reconstructed image
US20240169494A1 (en) Extended depth-of-field correction using reconstructed depth map
Rathinavel et al. Optical calibration and distortion correction for a volumetric augmented reality display
Thatte Cinematic virtual reality with head-motion parallax
AU2008283765A1 (en) Method and software for transforming images
Guindy et al. Analysis of high dynamic range light field images in practical utilization contexts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21818951

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022528768

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21818951

Country of ref document: EP

Kind code of ref document: A1