WO2019150668A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2019150668A1
WO2019150668A1 PCT/JP2018/039217 JP2018039217W WO2019150668A1 WO 2019150668 A1 WO2019150668 A1 WO 2019150668A1 JP 2018039217 W JP2018039217 W JP 2018039217W WO 2019150668 A1 WO2019150668 A1 WO 2019150668A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
image processing
user
depth value
Prior art date
Application number
PCT/JP2018/039217
Other languages
English (en)
French (fr)
Inventor
哲也 菊川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/963,689 priority Critical patent/US11386527B2/en
Priority to CN201880087573.9A priority patent/CN111656776B/zh
Publication of WO2019150668A1 publication Critical patent/WO2019150668A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program.
  • an HMD Head Mounted Display
  • a head tracking sensor to display an image generated (rendered) from a viewpoint according to the position and posture of the user's head
  • the technology that enables the user to view content while freely changing the viewpoint in this way is also called a free viewpoint image technology, and can give the user an immersive feeling as if in a different space.
  • An image processing unit that performs blurring processing, and the image processing unit performs the blurring process based on the visual recognition pixel information and the depth information for a predetermined period after the visual recognition pixel information is acquired.
  • An image processing apparatus is provided.
  • the visual recognition pixel information regarding the pixel that the user is viewing in the image is acquired. Applying a blurring process to a pixel that the user is viewing in the image based on the visual pixel information and the depth information for a predetermined period after the visual pixel information is acquired.
  • An image processing method is provided in which blur processing is performed.
  • the computer is configured to acquire the viewing pixel information related to the pixel that the user is viewing in the image, and based on the depth information indicating the depth value corresponding to each pixel of the image,
  • An image processing unit that performs a blurring process on an image, and the image processing unit is based on the visual pixel information and the depth information for a predetermined period after the visual pixel information is acquired.
  • a program is provided that performs blurring processing and functions as an image processing apparatus.
  • FIG. 6 is an explanatory diagram illustrating an outline of processing according to the first embodiment of the present disclosure. It is a block diagram which shows an example of a structure of the display system concerning the embodiment. It is explanatory drawing for demonstrating the mechanism of the blur produced in the imaging of a camera. It is explanatory drawing for demonstrating the intensity
  • FIG. It is a figure which shows the example of a blurring filter. It is a flowchart figure which shows the flow of a process of the display system 1000 concerning this embodiment. It is a flowchart figure which shows the detailed flow of a process of step S160. It is a block diagram showing an example of composition of a display system concerning a 2nd embodiment of this indication.
  • FIG. 12 is a block diagram illustrating an example of a configuration of a display system 3000 according to Modification 1.
  • FIG. It is explanatory drawing which specifies an example of the visual recognition pixel using the information which shows a dominant eye. It is explanatory drawing which shows the hardware structural example.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
  • a focusing mechanism in the human eye is achieved. It is thought that the effect of enhancing the feeling of immersion is obtained by making it feel as if it is reproduced.
  • depth information for example, a depth map
  • the depth value corresponding to the viewing pixel is acquired, and blurring processing is performed on an area having a depth value that has a large difference from the depth value corresponding to the viewing pixel.
  • the first embodiment of the present disclosure has been created with the above circumstances in mind.
  • the depth value corresponding to the user's visual pixel is delayed, and the blurring process is performed based on the delayed depth value (hereinafter also referred to as the delayed depth value), so that the immersion is given to the user. It is possible to enhance the feeling.
  • the delayed depth value hereinafter also referred to as the delayed depth value
  • FIG. 1 is an explanatory diagram showing an outline of processing according to the present embodiment.
  • the input image shown in FIG. 1 is an image generated by a free viewpoint image technique according to, for example, the position and posture of the user's head.
  • the depth information shown in FIG. 1 is information indicating a depth value corresponding to each pixel of the input image, and may be a depth map, for example.
  • the visual pixel information shown in FIG. 1 may be information indicating the position of the visual pixel in the input image, for example.
  • processing for referring to depth information is performed based on visual pixel information (S1), and a depth value corresponding to the visual pixel is output. Subsequently, a delay process for delaying the depth value corresponding to the visible pixel is performed (S2), and the delayed depth value is output. Based on the delay depth value, the input image is subjected to blurring processing (S3), and an output image is output.
  • S1 visual pixel information
  • S2 a delay process for delaying the depth value corresponding to the visible pixel
  • S3 blurring processing
  • the outline of the processing of this embodiment has been described above.
  • the output image output by the process shown in FIG. 1 is displayed on, for example, an HMD attached to the user's head, and the user feels as if the mechanism of focusing in the human eye is reproduced.
  • an HMD attached to the user's head
  • FIG. 2 is a block diagram showing an example of the configuration of the display system according to the present embodiment.
  • the display system 1000 according to the present embodiment includes an HMD 1 and an image processing device 2-1.
  • the HMD 1 is a display device worn on the user's head. As shown in FIG. 2, the HMD 1 includes a sensor unit 12, a display unit 14, and a communication unit 16.
  • the sensor unit 12 acquires information on the user and the surrounding environment through sensing.
  • the sensor unit 12 includes, for example, an acceleration sensor, a gyro sensor, and the like for acquiring information indicating the position and posture of the user's head.
  • the sensor unit 12 may include a line-of-sight sensor that can acquire visual pixel information regarding the visual pixel that the user is viewing in the image displayed on the display unit 14.
  • the display unit 14 displays the output image received by the communication unit 16 from the image processing device 2-1.
  • the display unit 14 may be configured to be able to display different images for the user's left eye and right eye. With such a configuration, for example, by displaying a so-called stereo image having binocular parallax on the display unit 14, the user can perform binocular stereoscopic vision.
  • the display unit 14 may include a left-eye display and a right-eye display separately, or displays a left-eye image on the left side of one display and a right-eye image on the right side. May be.
  • the communication unit 16 is a communication module for transmitting / receiving data to / from other devices by wire / wireless.
  • the communication unit 16 is a system such as wired LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity, registered trademark), infrared communication, Bluetooth (registered trademark), short-range / non-contact communication, etc. Wirelessly or directly with a network access point.
  • the communication unit 16 transmits information indicating the position and posture of the user's head acquired by the sensor unit 12 and the user's visual pixel information to the image processing device 2-1, and outputs an output image as an image. Received from the processing device 2-1.
  • the image processing apparatus 2-1 includes a communication unit 22, a control unit 24-1, and a storage unit 26.
  • the communication unit 22 is a communication module for transmitting and receiving data to and from other devices by wire / wireless.
  • the communication unit 22 is, for example, a wired LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity, registered trademark), infrared communication, Bluetooth (registered trademark), short-range / non-contact communication, etc. Wirelessly or directly with a network access point.
  • the communication unit 22 functions as an acquisition unit, and receives (acquires) information indicating the position and posture of the user's head and the user's visual pixel information from the HMD 1. In addition, the communication unit 22 transmits an output image output from the control unit 24-1 described later to the HMD1.
  • the control unit 24-1 functions as an arithmetic processing device and a control device, and controls the overall operation in the image processing device 2-1 according to various programs. Also, the control unit 24-1 according to the present embodiment functions as a communication control unit 241, an input image generation unit 243, a depth value acquisition unit 245, a delay control unit 247, and an image processing unit 249, as shown in FIG. .
  • the communication control unit 241 controls communication by the communication unit 22.
  • the communication control unit 241 displays the output image on the HMD 1 by controlling the communication unit 22 to transmit the output image output from the image processing unit 249 to the HMD 1.
  • the input image generation unit 243 generates an input image based on the information indicating the position and posture of the user's head received by the communication unit 22 from the HMD 1 and the content data stored in the storage unit 26, and performs image processing. Part 249. As described above, the input image generated by the input image generation unit 243 may be an image generated (rendered) at a viewpoint according to the position and posture of the user's head. In addition, the input image generation unit 243 may generate an input image for the left eye and an input image for the right eye for stereoscopic display on the HMD 1.
  • the processing described below to be performed on the input image is independently performed on the left
  • the present invention can also be applied to an input image for the eye and an input image for the right eye.
  • the input image generation unit 243 generates depth information (for example, a depth map indicating the depth at each pixel of the input image) corresponding to the generated input image based on the content data stored in the storage unit 26, and the depth This is provided to the value acquisition unit 245 and the image processing unit 249.
  • depth information for example, a depth map indicating the depth at each pixel of the input image
  • the depth value acquisition unit 245 acquires the depth value corresponding to the user's visual pixel based on the visual pixel information received from the HMD 1 by the communication unit 22 and the depth information provided from the input image generation unit 243, and the delay value is acquired. Output to the control unit 247.
  • the depth information and the input image are associated with each other.
  • the viewing pixel information is information indicating the viewing pixel in the display unit 14 of the HMD 1.
  • the correspondence between the input image and the display unit 14 can be specified in advance. Therefore, for example, the depth value acquisition unit 245 identifies the position of the visible pixel in the input image from the visible pixel information, refers to the depth information using the correspondence between the depth information and the input image, and corresponds to the visible pixel.
  • the depth value to be acquired can be acquired.
  • the delay control unit 247 delays the depth value corresponding to the visual pixel acquired by the depth value acquisition unit 245, and outputs the delayed delay depth value to the image processing unit 249.
  • the delay process by the delay control unit 247 is expressed by the following equation (1), for example.
  • D n kD n ⁇ 1 + (1 ⁇ k) d n (1)
  • k Delay parameter
  • the delay control unit 247 outputs the delay depth value D n to the image processing unit 249 and stores it in the storage unit 26. Then, when performing delay processing in the next frame, the delay control unit 247 reads the delay depth value output last time from the storage unit 26 and uses it as the past delay depth value D n ⁇ 1 of Equation (1). Delay processing.
  • the delay parameter k is a parameter for adjusting the degree of delay.
  • the delay depth value to the image processing unit 249 described later, the reflection of the visible pixel in the blurring process by the image processing unit 249 is delayed. And since the user feels as if the mechanism of focusing in the human eye is reproduced, an effect that the immersive feeling is further enhanced can be obtained.
  • the delay parameter k may be preset, for example, and stored in the storage unit 26 described later.
  • the image processing unit 249 blurs the input image generated by the input image generation unit 243 based on the delay depth value output from the delay control unit 247 and the depth information provided from the input image generation unit 243. Processing is performed to generate an output image.
  • the delay depth value used by the image processing unit 249 for the blurring process described below is output as a delay by the delay control unit 247 as described above. Therefore, the image processing unit 249 also applies blurring processing to the visual recognition pixel for a predetermined period after the visual pixel information regarding the visual recognition pixel viewed by the user in the image is acquired (received). As a result, the feature that it takes a certain amount of time for the human eye to focus is reproduced, and the immersive feeling given to the user can be further enhanced.
  • the blurring process performed on the input image by the image processing unit 249 may be, for example, a process that reproduces a blur that occurs in an image acquired by imaging with a camera. Therefore, with reference to FIG. 3, the mechanism of blurring that occurs in the imaging of the camera will be described.
  • FIG. 3 is an explanatory diagram for explaining the mechanism of blurring that occurs in the imaging of the camera.
  • FIG. 3 forms an image at a position of the image is a point l the object O is a subject, an image of the object O n is shown to be imaged at the position of the point l n.
  • the distance a between the points A and B shown in FIG. 3 is the aperture diameter of the lens (the diameter of the surface on which light enters).
  • the distance c between the A 'and point B' points shown in FIG. 3, from the object O back and front of the object (in the example shown in FIG. 3 the object O n) is the scattering circle is a blurring of the image making Is the diameter.
  • a distance d O shown in FIG. 3 is a distance between the lens and the object O.
  • the distance between the distance d n is the lens shown in FIG. 3, the object O n closer to the lens than the object O.
  • d i shown in FIG. 3 is a distance between the lens and the image sensor.
  • D c shown in FIG. 3 is the distance between the image of the lens and the
  • Equation (3) can be modified as follows.
  • the F value which is an index indicating the brightness of the lens
  • the F value is a value obtained by dividing the focal length f by the aperture diameter
  • the magnitude of the distance c is the diameter of the scattering circle, that is, the size of the blur, when the distance d O between the lens and the object O is sufficiently larger than the focal length f, the focal length It can be seen that it is proportional to the square of f and inversely proportional to the F value.
  • the image processing unit 249 blurs with an intensity corresponding to the difference between the delay depth value output from the delay control unit 247 and the depth value corresponding to each pixel. Apply processing. For example, when the difference between the delay depth value and the depth value corresponding to a certain pixel is large, the image processing unit 249 is more effective than when the difference between the delay depth value and the depth value corresponding to the pixel is small. You may perform a blurring process with respect to the said pixel with strong intensity
  • FIG. 4 is an explanatory diagram for explaining the strength of the blurring process performed by the image processing unit 249.
  • FIG. 4 shows three objects OBJ1 to OBJ3.
  • the image processing unit 249 performs the blurring process as if the point P is in focus. It is desirable to apply to.
  • the image processing unit 249 desirably performs a blurring process on the input image so that the object OBJ2 is included in the depth of field.
  • the object OBJ3 is larger than the pixel of the object OBJ1. It is desirable to perform the blurring process with higher intensity on the pixels.
  • the image processing unit 249 may perform blurring processing by applying a blurring filter such as a Gaussian filter to each pixel.
  • a blurring filter such as a Gaussian filter
  • the image processing unit 249 can control the intensity of the blurring process using the tap length (filter size) of the blurring filter.
  • the image processing unit 249 may set the tap length of the blur filter applied to each pixel according to the difference between the delay depth value and the depth value corresponding to each pixel.
  • a larger tap length may be set as the difference from the depth value corresponding to is larger.
  • FIG. 5 is a diagram illustrating an example of a blur filter.
  • the blur filter F1 shown in FIG. 5 is a Gaussian filter with a tap length set to 3 ⁇ 3, and is applied to the pixel of the object OBJ1 shown in FIG.
  • the blur filter F2 shown in FIG. 5 is a Gaussian filter with a tap length set to 1 ⁇ 1, and is applied to the pixel of the object OBJ2 shown in FIG.
  • the blur filter F3 shown in FIG. 5 is a Gaussian filter with a tap length set to 5 ⁇ 5, and is applied to the pixel of the object OBJ3 shown in FIG.
  • an output image is output so that the pixels of the object OBJ2 can be clearly seen.
  • the object OBJ1 slightly away from the object OBJ2 appears to be more blurred than the object OBJ2, and the object OBJ3 further away from the object OBJ2 appears to be more blurred than the object OBJ1.
  • the user feels as if the mechanism of focusing in the human eye is reproduced, so that an effect of increasing the immersive feeling can be obtained.
  • the blurring process performed by the image processing unit 249 is not limited to this example.
  • the image processing unit 249 may perform the blurring process using a blurring filter other than the Gaussian filter. Further, the image processing unit 249 may perform known image processing other than the blurring process.
  • the storage unit 26 stores programs and parameters for functioning each component of the image processing apparatus 2-1.
  • the storage unit 26 may store content data for the input image generation unit 243 to generate an input image and depth information corresponding to the input image.
  • the content data stored in the storage unit 26 may be, for example, a combination of image and depth information, or a combination of mesh polygon data and texture.
  • FIG. 6 is a flowchart showing a processing flow of the display system 1000 according to the present embodiment.
  • the sensor unit 12 of the HMD 1 acquires the position and orientation of the user's head by sensing (S120).
  • the sensor part 12 of HMD1 acquires a user's visual recognition pixel by sensing (S140). Note that the user's head position and posture information acquired in step S120 and the visual pixel information regarding the visual pixels of the user acquired in step S140 are transmitted from the HMD 1 to the image processing device 2-1 as needed. .
  • the image processing device 2-1 generates an output image based on the information received from the HMD 1 (S160). Details of the processing in step S160 will be described later with reference to FIG. Subsequently, the output image generated in step S160 is transmitted from the image processing apparatus 2-1 to the HMD1 and displayed on the display unit 14 of the HMD1 (S180).
  • FIG. 7 is a flowchart showing a detailed flow of the process of step S160 shown in FIG.
  • the input image generation unit 243 first inputs the input image based on the information indicating the position and posture of the user's head acquired in step S ⁇ b> 120 and the content data stored in the storage unit 26. And depth information corresponding to the input image is generated (S161).
  • the depth value acquisition unit 245 refers to the depth information corresponding to the input image generated in step S161, and acquires the depth value corresponding to the visual pixel acquired in step S140 (S161).
  • the delay control unit 247 reads the depth value used in the previous blurring process from the storage unit 26 (S163). Further, the delay control unit 247 delays the depth value corresponding to the visually recognized pixel based on the depth value used in the previous blurring process read in step S163, and outputs the delayed depth value (S164).
  • the delayed depth value output in step S164 is stored in the storage unit 26 as a depth value used for the current blurring process (S165). Then, the image processing unit 249 performs a blurring process on the input image based on the delay depth value output in step S164, and generates an output image (S166).
  • the reflection of the user's line-of-sight movement is delayed, and the blurring process based on the viewing pixel information is performed, thereby suppressing a sense of discomfort given to the user. It is possible to increase the immersive feeling.
  • the delay parameter k for adjusting the delay degree is set in advance.
  • the second embodiment of the present disclosure detects the trigger based on a predetermined condition, and controls the delay degree of the depth value by changing the delay parameter k based on the detection result of the trigger. To do. With this configuration, it is possible to provide more comfortable viewing for the user and to further reduce the sense of discomfort given to the user.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the display system according to the present embodiment.
  • the display system 2000 according to the present embodiment includes an HMD 1 and an image processing device 2-2. 8 that are substantially the same as those described with reference to FIG. 2 are denoted by the same reference numerals.
  • the image processing apparatus 2-2 includes a communication unit 22, a control unit 24-2, and a storage unit 26.
  • the configurations of the communication unit 22 and the storage unit 26 illustrated in FIG. 8 are substantially the same as the configurations of the communication unit 22 and the storage unit 26 described with reference to FIG. .
  • control unit 24-2 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the image processing unit 2-2 according to various programs. .
  • control unit 24-2 according to the present embodiment also functions as a detection unit 246, and the function of the delay control unit 248 is partially different from the function of the delay control unit 247. Different from the control unit 24-1 described with reference to FIG.
  • the detecting unit 246 detects a trigger based on a predetermined condition.
  • the predetermined condition is a condition related to the control of the degree of delay of the depth value by the delay control unit 248 described later. For example, when a trigger is not detected, the delay parameter k may be set to a predetermined reference value. Then, the detection unit 246 detects a trigger for which it is desirable to set the delay parameter k to a value smaller than or larger than the reference value.
  • the detection unit 246 may detect a trigger related to the user state.
  • the detection unit 246 may detect a trigger related to the speed of movement of the user or a trigger related to a predetermined operation.
  • the user's movement may include not only the movement of the user's head but also the movement of the user's line of sight.
  • the detection unit 246 may detect a trigger related to an object included in the input image. For example, the detection unit 246 may detect a trigger related to the distance from the user to the object. Or you may detect the trigger of whether the said object should be emphasized. Note that the distance from the user to the object is specified from the depth information corresponding to the input image.
  • the objects used for trigger detection may be all objects included in the input image, or among objects included in the input image, the object is viewed by the user or in the vicinity of the user's visual recognition pixel. It may be an existing object.
  • the detection unit 246 may detect a trigger related to the content type of the input image.
  • the content type may include a content genre, for example.
  • the content type may include a type indicating whether or not an object to be noticed is clear.
  • the content type may include a type indicating whether the content includes a moving object.
  • the detection unit 246 detects the trigger as described above, information about the position / posture of the user's head received from the HMD 1, visual pixel information, information about the content stored in the storage unit 26, etc. May be used.
  • the trigger detection performed by the detection unit 246 may be various and is not limited to the above-described example.
  • the delay control unit 248 delays the depth value corresponding to the visual pixel acquired by the depth value acquisition unit 245 and displays the delayed delay depth value as an image.
  • the data is output to the processing unit 249.
  • the delay control unit 248 according to the present embodiment is different from the delay control unit 247 in that the delay degree of the depth value is controlled based on the detection result of the trigger by the detection unit 246 described above.
  • the delay control unit 248 sets the delay parameter k to a predetermined reference value, and performs the delay process according to the above equation (1).
  • the reference value is preferably a value at which focusing is performed at a speed as when a person usually looks at an object.
  • the reference value may be 0.92.
  • the delay control unit 248 has a value smaller than the reference value (a value close to 0) or a larger value (to 1) depending on the type of the detected trigger.
  • the delay parameter k is set to a close value. Note that if the value of the delay parameter is set to a value smaller than the reference value, the delay becomes small, and if the value of the delay parameter is set to a value larger than the reference value, the delay becomes large.
  • the delay control unit 248 may set the value of the delay parameter k to a value smaller than the reference value so that the movement of the visible pixel can be followed.
  • the delay control unit 248 may set the value of the delay parameter k to a value smaller than the reference value so that the focus is felt smoothly.
  • the delay control unit 248 may set the value of the delay parameter k to a value larger than the reference value so that the user pays attention to the object to be emphasized.
  • FIG. 9 is a flowchart showing a detailed flow of the process of step S160 in the present embodiment.
  • the processing in steps S171 to S173 shown in FIG. 9 is the same as the processing in steps S161 to S163 described with reference to FIG. 7, and thus description thereof is omitted here.
  • the detection unit 246 detects the trigger, and the delay control unit 248 sets the delay parameter k based on the detection result of the trigger. Further, the delay control unit 248 delays the depth value corresponding to the visible pixel based on the depth value used in the previous blurring process read in step S173 according to the delay parameter k set in step S174. The delay depth value is output (S175).
  • the display is basically performed based on the delay depth value set with the reference value as the delay parameter k.
  • the detection unit 246 detects a rising part of music as a trigger, a delay parameter k larger than the reference value is set so that the delay increases when the visible pixel moves in addition to the singer.
  • a delay parameter k larger than the reference value is set so that the delay increases when the detection unit 246 moves to an unimportant position.
  • the detection part 246 detects the operation
  • the delay parameter k smaller than a reference value is set.
  • the display is performed based on the delayed depth value set with the reference value as the delay parameter k. For example, it is more effective when viewing a moving image that captures nature in three dimensions.
  • the predetermined period during which the blurring process is performed on the visually recognized pixels may be shorter than when the user stops and is viewing the image. With this configuration, even when the user is moving, the image can be clearly shown to the user.
  • the present invention is not limited to this example, and when the user is viewing the image while moving, the predetermined period during which the blurring process is applied to the visible pixels is longer than when the user stops and is viewing the image. May be.
  • a user is detected by detecting a trigger based on a predetermined condition and controlling the delay degree of the depth value based on the detection result of the trigger. Therefore, it is possible to provide more comfortable viewing for the user and to further reduce the uncomfortable feeling given to the user.
  • the display system is configured by two devices, the HMD and the image processing device.
  • the present technology is not limited to such an example.
  • the HMD and the image processing apparatus may be an integrated apparatus.
  • the display system includes another device that provides the content data from the viewpoint of the data amount.
  • the display system includes another device that provides content data in addition to the HMD and the image processing device will be described as a first modification.
  • FIG. 10 is a block diagram illustrating an example of the configuration of the display system 3000 according to the first modification.
  • the display system 3000 according to the present embodiment includes an HMD 1, an image processing device 2-3, a server 4, and a communication network 5.
  • the image processing apparatus 2-3 and the server 4 are connected via a communication network 5 and can communicate information with each other.
  • the image processing apparatus 2-3 includes a communication unit 23, a control unit 24-3, and a storage unit 27.
  • the communication unit 23 has a function of communicating with the server 4 via the communication network 5 in addition to the function of the communication unit 22 described with reference to FIG.
  • the communication unit 23 transmits, for example, information indicating the position and posture of the user's head received from the HMD 1 to the server 4 and receives mesh polygon data and texture data from the server 4.
  • the control unit 24-3 is different in that the functions of the communication control unit 242 and the input image generation unit 244 are partially different from the functions of the communication control unit 241 and the input image generation unit 243 described with reference to FIG. This is different from the control unit 24-1 shown in FIG.
  • the communication control unit 242 controls the communication unit 23 to transmit information indicating the position and posture of the user's head to the server 4 and to receive mesh polygon data and texture data from the server 4. And different.
  • the input image generation unit 244 is different from the input image generation unit 243 in that the communication unit 23 generates an input image and depth information corresponding to the input image using mesh polygon data and texture data received from the server 4.
  • the storage unit 27 is different from the storage unit 26 described with reference to FIG. 2 in that the content data may not be stored in advance.
  • the server 4 is an information processing apparatus including a communication unit 42, a control unit 44, and a storage unit 46 as shown in FIG.
  • the communication unit 42 is a communication module for transmitting / receiving data to / from other devices by wire / wireless.
  • the communication unit 16 is a system such as wired LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity, registered trademark), infrared communication, Bluetooth (registered trademark), short-range / non-contact communication, etc. Wirelessly or directly with a network access point.
  • the communication unit 42 communicates with the image processing apparatus 2-3 via the communication network 5, receives information indicating the position and posture of the user's head from the image processing apparatus 2-3, and receives mesh polygon data and The texture data is transmitted to the image processing apparatus 2-3.
  • the control unit 44 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the server 4 according to various programs. In addition, the control unit 44 selects a texture corresponding to the viewpoint corresponding to the position and posture of the user's head from the plurality of textures stored in the storage unit 46, and causes the image processing apparatus 2 to communicate with the communication unit 42. -3.
  • the storage unit 46 stores content data including mesh polygon data and a plurality of texture data.
  • the modification 1 has been described above. According to Modification 1, for example, even when the storage capacity of the storage unit 27 included in the image processing device 2-3 is small or when the processing performance is low, by receiving appropriate texture data from the server 4, It is possible to display smoothly.
  • the sensor unit 12 of the HMD 1 includes a line-of-sight sensor and acquires visual pixel information by sensing in the above embodiment
  • the present technology is not limited to this example.
  • the HMD 1 does not include a line-of-sight sensor, it is possible to specify a visual recognition pixel. Such an example will be described as a second modification.
  • the viewing pixel information may be specified based on information indicating the user's dominant eye.
  • the position in the input image corresponding to the front position of the user's dominant eye can be specified as the viewing pixel.
  • the dominant eye is an eye on a side that is used more frequently by a user or an eye on a side that is more preferably used by a user.
  • Information indicating the dominant eye may be given in advance or may be input by the user.
  • the identification of the viewing pixel based on the information indicating the dominant eye may be performed by the HMD or may be performed by the image processing apparatus.
  • FIG. 11 is an explanatory diagram of an example of identifying a visually recognized pixel using information indicating dominant eyes.
  • FIG. 11 shows a left-eye display 14L and a right-eye display 14R included in the display unit 14 of the HMD1. If the user's dominant eye is the left eye E L, viewing pixel is identified as the point G L in the display 14L for the left eye, if dominant eye of the user is the right eye E R, viewing pixel is for the right eye it is specified as the point G R in the display 14R.
  • the association between the position on each display and the input image can be realized by a well-known technique, and thus the description thereof is omitted here.
  • the modification 2 has been described above. According to the modified example 2, even if the HMD 1 does not include a line-of-sight sensor, it is possible to specify a visible pixel.
  • the HMD is used as the display device.
  • the present technology is not limited to such an example, and the present technology can be applied to display of images on various display devices. For example, even when the present technology is applied to a display device having a display unit that covers most of the user's field of view, such as a dome-shaped display, the user can obtain a higher immersive feeling. , Considered effective.
  • FIG. 12 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing apparatus 900 illustrated in FIG. 12 can implement, for example, the HMD 1, the image processing apparatuses 2-1 to 2-3, and the server 4 illustrated in FIGS. 2, 8, and 10, respectively.
  • Information processing by the HMD 1, the image processing apparatuses 2-1 to 2-3, and the server 4 according to an embodiment of the present disclosure is realized by cooperation of software and hardware described below.
  • the information processing device 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form, for example, the control units 24-1 to 24-3 and the control unit 44.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900. Specifically, the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the output device 907 can form the display unit 14, for example.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form the storage unit 26, the storage unit 27, and the storage unit 46, for example.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication apparatus 913 can form the communication part 22, the communication part 23, and the communication part 42, for example.
  • the sensor 915 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 900 itself, such as the posture and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900.
  • Sensor 915 may also include a GPS sensor that receives GPS signals and measures the latitude, longitude, and altitude of the device.
  • the sensor 915 can form the sensor unit 12, for example.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at the time of implementing the embodiment of the present disclosure.
  • a computer program for realizing each function of the information processing apparatus 900 according to the embodiment of the present disclosure as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • each step in the above embodiment does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the flowchart diagram or may be processed in parallel.
  • An acquisition unit that acquires visual pixel information relating to a pixel that the user is viewing in the image;
  • An image processing unit that performs a blurring process on the image based on depth information indicating a depth value corresponding to each pixel of the image, The image processing device, wherein the image processing unit performs the blurring process based on the visual pixel information and the depth information for a predetermined period after the visual pixel information is acquired.
  • the image processing apparatus includes a detection unit that detects a trigger based on a predetermined condition; A delay control unit that delays the depth value corresponding to the pixel that the user is viewing and outputs the delayed depth value; The image processing apparatus according to any one of (2) to (5), wherein the delay control unit controls a delay degree of the depth value based on a detection result of the trigger by the detection unit. (7) The image processing apparatus according to (6), wherein the detection unit detects a trigger related to the state of the user. (8) The image processing apparatus according to (7), wherein the detection unit detects a trigger related to a speed of movement of the user.
  • the image processing device according to any one of (1) to (12), wherein a pixel viewed by the user in the image is specified based on information indicating a dominant eye of the user.
  • the image processing apparatus according to any one of (1) to (13), wherein the image is rendered at a viewpoint according to the position or posture of the user.
  • Computer An acquisition unit that acquires visual pixel information relating to a pixel that the user is viewing in the image;
  • An image processing unit that performs a blurring process on the image based on depth information indicating a depth value corresponding to each pixel of the image,
  • the image processing unit functions as an image processing device that performs the blurring process based on the visual pixel information and the depth information for a predetermined period after the visual pixel information is acquired.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

画像内でユーザが見ている画素に関する視認画素情報を取得し、前記視認画素情報が取得された後の所定期間、前記視認画素情報と、前記画像の各画素に対応する奥行き値を示す奥行き情報とに基づいて、ぼかし処理を施すことで、別空間にいるかのような没入感をより高める画像処理装置、画像処理方法、及びプログラムを提供する。

Description

画像処理装置、画像処理方法、及びプログラム
　本開示は、画像処理装置、画像処理方法、及びプログラムに関する。
　近年、ＨＭＤ(Head　Mounted　Display)にヘッドトラッキング用のセンサを搭載し、ユーザの頭部の位置、及び姿勢に応じた視点で生成（レンダリング）された画像を表示する技術が各種提案されている（例えば下記特許文献１）。
　このようにユーザが自由に視点を変更しながらコンテンツを視聴することを可能にする技術は、自由視点画像技術とも呼ばれ、別空間にいるかのような没入感をユーザに与えることができる。
特開２０１６－０２５６３３号公報
　上記のような技術においては、別空間にいるかのような没入感をより高めることが望まれていた。
　本開示によれば、画像内でユーザが見ている画素に関する視認画素情報を取得する取得部と、前記画像の各画素に対応する奥行き値を示す奥行き情報に基づいて、前記画像に対して、ぼかし処理を施す画像処理部と、を備え、前記画像処理部は、前記視認画素情報が取得された後の所定期間、前記視認画素情報と前記奥行き情報とに基づいて、前記ぼかし処理を施す、画像処理装置が提供される。
　また、本開示によれば、画像内でユーザが見ている画素に関する視認画素情報を取得することと、前記画像の各画素に対応する奥行き値を示す奥行き情報に基づいて、前記画像に対して、プロセッサがぼかし処理を施すことと、を含み、前記視認画素情報が取得された後の所定期間、前記視認画素情報と前記奥行き情報とに基づいて、前記画像内でユーザが見ている画素にぼかし処理が施される、画像処理方法が提供される。
　また、本開示によれば、コンピュータを、画像内でユーザが見ている画素に関する視認画素情報を取得する取得部と、前記画像の各画素に対応する奥行き値を示す奥行き情報に基づいて、前記画像に対して、ぼかし処理を施す画像処理部と、を備え、前記画像処理部は、前記視認画素情報が取得された後の所定期間、前記視認画素情報と前記奥行き情報とに基づいて、前記ぼかし処理を施す、画像処理装置として機能させる、プログラムが提供される。
　以上説明したように本開示によれば、別空間にいるかのような没入感をより高めることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態にかかる処理の概略を示す説明図である。 同実施形態にかかる表示システムの構成の一例を示すブロック図である。 カメラの撮像において生じるボケの仕組みについて説明するための説明図である。 画像処理部２４９によるぼかし処理の強度について説明するための説明図である。 ぼかしフィルタの例を示す図である。 本実施形態にかかる表示システム１０００の処理の流れを示すフローチャート図である。 ステップＳ１６０の処理の詳細な流れを示すフローチャート図である。 本開示の第２の実施形態にかかる表示システムの構成の一例を示すブロック図である。 同実施形態におけるステップＳ１６０の処理の詳細な流れを示すフローチャート図である。 変形例１にかかる表示システム３０００の構成の一例を示すブロック図である。 利き眼を示す情報を用いた視認画素の特定の一例を説明図である。 ハードウェア構成例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．第１の実施形態＞＞
　　＜１－１．概要＞
　　＜１－２．構成＞
　　＜１－３．動作＞
　　＜１－４．効果＞
　＜＜２．第２の実施形態＞＞
　　＜２－１．構成＞
　　＜２－２．動作＞
　　＜２－３．具体例＞
　　＜２－４．効果＞
　＜＜３．変形例＞＞
　　＜３－１．変形例１＞
　　＜３－２．変形例２＞
　　＜３－３．変形例３＞
　＜＜４．ハードウェア構成例＞＞
　＜＜５．むすび＞＞
　＜＜１．第１の実施形態＞＞
　　＜１－１．概要＞
　本開示の第１の実施形態にかかる表示システムについて説明する前に、まず、本実施形態による表示システムの創作に至った背景を説明する。
　ゲームや映画等におけるリアルな表現、あるいは特定の物体を目立たせる表現のために、一部の領域に対してぼかし処理を施して表示することが行われている。このような映像表現は、自由視点画像技術においても有効であると考えられる。
　特に、ユーザの頭部に装着され、ユーザの視界を覆うＨＭＤに画像を表示する場合において、このような映像表現は、人間の眼における焦点合わせの仕組みを再現しているかのように感じさせる効果が見込まれると考えられる。つまり、ぼかし処理が施された領域は、ユーザにとって焦点が合っていない領域であるように見え、ぼかし処理が施されていない領域は、ユーザにとって焦点が合っている領域であるように見えると考えられる。
　そこで、例えば画像内でユーザが見ている画素（以下、視認画素と呼ぶ）に関する視認画素情報を取得し、視認画素情報に基づいてぼかし処理を施すことにより、人間の眼における焦点合わせの仕組みを再現しているかのように感じさせ、没入感を高める効果が得られると考えられる。自由視点画像技術では、生成された画像と対応した奥行き情報（例えば奥行きマップ）を取得することが可能である。そこで、例えば視認画素情報を用いて奥行き情報を参照して、視認画素に対応する奥行き値を取得し、視認画素に対応する奥行き値との差が大きい奥行き値を有する領域にぼかし処理を施すことで、上記のような効果が得られると考えられる。
　ところで、人間の眼には、焦点を合わせるまでにある程度の時間を要するという特徴がある。そのため、上述した視認画素情報に基づくぼかし処理に、ユーザの視線移動が直ちに反映されてしまうと、ユーザに違和感を与えてしまい、没入感が低下する恐れがある。
　そこで、上記事情を一着眼点にして本開示の第１の実施形態を創作するに至った。本実施形態によれば、ユーザの視認画素に対応する奥行き値を遅延させ、遅延させられた奥行き値（以下、遅延奥行き値とも呼ぶ）に基づいて、ぼかし処理を行うことで、ユーザに与える没入感をより高めることが可能である。以下、このような効果を有する本実施形態の処理の概略について説明する。
　図１は、本実施形態にかかる処理の概略を示す説明図である。図１に示す入力画像は、例えばユーザの頭部の位置、及び姿勢に応じて自由視点画像技術により生成された画像である。また、図１に示す奥行き情報は、当該入力画像の各画素に対応する奥行き値を示す情報であり、例えば奥行きマップであってもよい。また、図１に示す視認画素情報は、例えば入力画像における視認画素の位置を示す情報であってもよい。
　図１に示すように、まず視認画素情報に基づいて奥行き情報を参照する処理が行われ（Ｓ１）、視認画素に対応する奥行き値が出力される。続いて、視認画素に対応する奥行き値を遅延させる遅延処理が行われ（Ｓ２）、遅延奥行き値が出力される。そして、遅延奥行き値に基づいて、入力画像に対してぼかし処理が施され（Ｓ３）、出力画像が出力される。
　以上、本実施形態の処理の概略について説明した。図１に示した処理により出力された出力画像は、例えばユーザの頭部に装着されたＨＭＤに表示され、ユーザは人間の眼における焦点合わせの仕組みを再現しているかのように感じられる。以下、このような処理、及び効果を実現するための本実施形態にかかる表示システムの構成例、及び動作例について順次に説明する。
　　＜１－２．構成＞
　図２は、本実施形態にかかる表示システムの構成の一例を示すブロック図である。図２に示すように、本実施形態にかかる表示システム１０００は、ＨＭＤ１と、画像処理装置２－１とを含む。
　（ＨＭＤ）
　ＨＭＤ１は、ユーザの頭部に装着される表示装置である。ＨＭＤ１は、図２に示すように、センサ部１２、表示部１４、及び通信部１６を備える。
　センサ部１２は、ユーザ、及び周囲の環境に関する情報をセンシングにより取得する。センサ部１２は、例えばユーザの頭部の位置、及び姿勢を示す情報を取得するための加速度センサ、ジャイロセンサ等を含む。また、センサ部１２は、表示部１４に表示された画像内でユーザが見ている視認画素に関する視認画素情報を取得可能な視線センサを含んでもよい。
　表示部１４は、通信部１６が画像処理装置２－１から受信した出力画像を表示する。表示部１４は、ユーザの左眼と右眼とに別々の画像を表示することが可能な構成であってもよい。かかる構成により、例えば両眼視差を有する所謂ステレオ画像を表示部１４に表示させることで、ユーザは両眼立体視を行うことが可能である。なお、表示部１４は、左眼用のディスプレイと右眼用のディスプレイを別々に含んでもよいし、一つのディスプレイの左側に左眼用の画像を表示し、右側に右眼用の画像を表示してもよい。
　通信部１６は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１６は、例えば有線ＬＡＮ（Local　Area　Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless　Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
　例えば、通信部１６は、センサ部１２により取得されたユーザの頭部の位置、及び姿勢を示す情報と、ユーザの視認画素情報とを、画像処理装置２－１へ送信し、出力画像を画像処理装置２－１から受信する。
　（画像処理装置）
　画像処理装置２－１は、図２に示すように、通信部２２、制御部２４－１、及び記憶部２６を備える。
　通信部２２は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部２２は、例えば有線ＬＡＮ（Local　Area　Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless　Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
　例えば、通信部２２は取得部として機能し、ＨＭＤ１から、ユーザの頭部の位置、及び姿勢を示す情報と、ユーザの視認画素情報とを受信（取得）する。また、通信部２２は、後述する制御部２４－１から出力される出力画像をＨＭＤ１へ送信する。
　制御部２４－１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置２－１内の動作全般を制御する。また、本実施形態による制御部２４－１は、図２に示すように、通信制御部２４１、入力画像生成部２４３、奥行き値取得部２４５、遅延制御部２４７、及び画像処理部２４９として機能する。
　通信制御部２４１は、通信部２２による通信を制御する。例えば、通信制御部２４１は、通信部２２を制御して、画像処理部２４９から出力される出力画像をＨＭＤ１へ送信させることにより、ＨＭＤ１に出力画像を表示させる。
　入力画像生成部２４３は、通信部２２がＨＭＤ１から受信したユーザの頭部の位置、及び姿勢を示す情報と、記憶部２６に記憶されたコンテンツデータに基づいて、入力画像を生成し、画像処理部２４９へ提供する。入力画像生成部２４３により生成される入力画像は、上述したように、ユーザの頭部の位置、及び姿勢に応じた視点において生成（レンダリング）された画像であってよい。また、入力画像生成部２４３は、ＨＭＤ１に立体表示させるため、左眼用の入力画像と右眼用の入力画像を生成してもよい。ただし、以下に説明する処理において、左眼用の入力画像と右眼用の入力画像には特別の差はないため、以下において入力画像に対して行われると説明する処理が、各々独立に左眼用の入力画像と右眼用の入力画像に対しても適用され得る。
　また、入力画像生成部２４３は、記憶部２６に記憶されたコンテンツデータに基づいて、生成した入力画像に対応した奥行き情報（例えば入力画像の各画素における奥行きを示す奥行きマップ）を生成し、奥行き値取得部２４５と画像処理部２４９へ提供する。
　奥行き値取得部２４５は、通信部２２がＨＭＤ１から受信した視認画素情報と、入力画像生成部２４３から提供された奥行き情報とに基づいて、ユーザの視認画素に対応する奥行き値を取得し、遅延制御部２４７へ出力する。
　上述したように、奥行き情報と入力画像とは対応付けられている。また、視認画素情報は、ＨＭＤ１の表示部１４における視認画素を示す情報である。入力画像と表示部１４との対応関係は、予め特定され得る。そこで、奥行き値取得部２４５は、例えば、視認画素情報から、入力画像における視認画素の位置を特定し、奥行き情報と入力画像との対応を用いて奥行き情報を参照して、当該視認画素に対応する奥行き値を取得することができる。
　遅延制御部２４７は、奥行き値取得部２４５により取得された視認画素に対応する奥行き値を遅延させ、遅延させた遅延奥行き値を画像処理部２４９へ出力する。遅延制御部２４７による遅延処理は、例えば、次の式（１）により表される。
　Ｄｎ＝ｋＤｎ－１＋（１－ｋ）ｄｎ　・・・（１）
　ｄｎ：フレームｔ＝ｎにおける視認画素に対応する奥行き値
　Ｄｎ：フレームｔ＝ｎにおいてぼかし処理に用いられる奥行き値（遅延奥行き値）
　Ｄｎ－１：フレームｔ＝ｎ－１においてぼかし処理に用いられた奥行き値（過去の遅延奥行き値）
　ｋ：遅延パラメータ
　遅延制御部２４７は、遅延奥行き値Ｄｎを、画像処理部２４９へ出力すると共に記憶部２６に記憶させる。そして、遅延制御部２４７は、次のフレームにおいて遅延処理を行う際に、前回出力された遅延奥行き値を記憶部２６から読み込んで、式（１）の過去の遅延奥行き値Ｄｎ－１として用いて遅延処理を行う。
　また、式（１）において、遅延パラメータｋは、遅延度合を調整するためのパラメータであり、遅延パラメータｋが小さい程遅延が小さい。例えば、遅延パラメータｋ＝０とすると、遅延することなく、視認画素に対応する奥行き値が直ちに出力される。また、例えば遅延パラメータｋ＝０．９２とすると、ユーザの視認画素が移動しない場合、遅延奥行き値Ｄｎは、４４フレームで視認画素に対応する奥行き値の約９５％に達し、例えば９０ｆｐｓで表示される場合、この所要時間は約０．５秒である。
　このように、遅延奥行き値を後述する画像処理部２４９へ提供することで、画像処理部２４９によるぼかし処理への視認画素の反映が遅延される。そして、ユーザは人間の眼における焦点合わせの仕組みを再現しているかのように感じられるため、没入感がより高まるという効果が得られる。
　なお、本実施形態において、遅延パラメータｋは、例えば予め設定されて、後述する記憶部２６に記憶されていてもよい。
　画像処理部２４９は、遅延制御部２４７から出力された遅延奥行き値と、入力画像生成部２４３から提供された奥行き情報に基づいて、入力画像生成部２４３により生成された入力画像に対して、ぼかし処理を施し出力画像を生成する。画像処理部２４９が以下に説明するぼかし処理に用いる遅延奥行き値は、上述したように遅延制御部２４７により遅延出力されている。そのため、画像処理部２４９は、画像内でユーザが見ている視認画素に関する視認画素情報が取得（受信）された後の所定期間、当該視認画素に対しても、ぼかし処理をかける。その結果、人間の眼が焦点を合わせるまでにある程度の時間を要するという特徴が再現され、ユーザに与える没入感をより高めることが可能である。
　画像処理部２４９が入力画像に対して施すぼかし処理は、例えばカメラの撮像により取得される画像において生じるボケを再現するような処理であってもよい。そこで、図３を参照して、カメラの撮像において生じるボケの仕組みについて説明する。図３は、カメラの撮像において生じるボケの仕組みについて説明するための説明図である。
　図３では、被写体である物体Ｏの像が点ｌの位置で結像し、物体Ｏｎの像が点ｌｎの位置で結像する様子が示されている。図３に示す点Ａと点Ｂとの間の距離ａは、レンズの開口径（光が入る面の直径）である。また、図３に示す点Ａ’と点Ｂ’との間の距離ｃは、物体Ｏより奥や手前の物体（図３に示す例では物体Ｏｎ）が作る像のボケである散乱円の直径である。また、図３に示す距離ｄＯはレンズと物体Ｏとの間の距離である。また、図３に示す距離ｄｎはレンズと、物体Ｏよりもレンズに近い物体Ｏｎとの間の距離である。また、図３に示すｄｉは、レンズとイメージセンサとの間の距離である。図３に示すｄｃは、レンズと物体Ｏｎの像との間の距離である。
　ここで、図３に示す点ｌｎ、点Ａ’、及び点Ｂ’が作る三角形と、点ｌｎ、点Ａ、及び点Ｂが作る三角形とは相似するため、次の式（２）、（３）が成り立つ。
　ａ：ｃ＝ｄｃ：ｄｃ－ｄｉ・・・（２）
　ｃｄｃ＝ａ（ｄｃ－ｄｉ）・・・（３）
　さらに、レンズの焦点距離をｆとすると、レンズの公式より、
Figure JPOXMLDOC01-appb-M000001
　であるから、式（３）は、以下のように変形可能である。
Figure JPOXMLDOC01-appb-M000002
　さらに、レンズの明るさを示す指標であるＦ値は焦点距離ｆを開口径で割った値であるため、以下の式（４）が得られる。
Figure JPOXMLDOC01-appb-M000003
　式（４）より、散乱円の直径である距離ｃの大きさ、つまり、ボケの大きさは、レンズと物体Ｏとの間の距離ｄＯが焦点距離ｆよりも十分に大きい場合、焦点距離ｆの二乗に比例し、Ｆ値に反比例することがわかる。
　上記のカメラにおけるボケの仕組みを踏まえ、本実施形態にかかる画像処理部２４９は、遅延制御部２４７から出力された遅延奥行き値と、各画素に対応する奥行き値との差に応じた強度でぼかし処理を施す。例えば、画像処理部２４９は、遅延奥行き値と、ある画素に対応する奥行き値との差が大きい場合に、遅延奥行き値と当該画素に対応する奥行き値との差が小さい場合に比べて、より強い強度で当該画素に対してぼかし処理を施してもよい。かかる構成により、図３を参照して上述したようなカメラのボケの仕組みと同様の効果が再現され得る。
　図４は、画像処理部２４９によるぼかし処理の強度について説明するための説明図である。図４には、３つの物体ＯＢＪ１～ＯＢＪ３が示されている。ここで、物体ＯＢＪ２上の点Ｐが、ぼかし処理に用いられる遅延奥行き値に対応する点であるとすると、画像処理部２４９は、点Ｐに焦点が合っているかのようなぼかし処理を入力画像に対して施すことが望ましい。例えば、画像処理部２４９は、物体ＯＢＪ２が被写界深度に含まれるようなぼかし処理を入力画像に対して施すことが望ましい。また、物体ＯＢＪ１と物体ＯＢＪ２との間の奥行きＺ方向の距離Ｄ１２よりも、物体ＯＢＪ２と物体ＯＢＪ３との間の奥行きＺ方向の距離Ｄ２３の方が大きいため、物体ＯＢＪ１の画素よりも、物体ＯＢＪ３の画素に対してより強い強度でぼかし処理を施すことが望ましい。
　例えば、画像処理部２４９は、各画素に対して、Ｇａｕｓｓｉａｎ　ｆｉｌｔｅｒ等のぼかしフィルタを適用することで、ぼかし処理を施してもよい。また、かかる場合、画像処理部２４９は、ぼかしフィルタのタップ長（フィルタサイズ）により、ぼかし処理の強度を制御することが可能である。
　例えば、画像処理部２４９は、遅延奥行き値と各画素に対応する奥行き値との差に応じて、各画素に適用されるぼかしフィルタのタップ長を設定してもよく、遅延奥行き値と各画素に対応する奥行き値との差がより大きい程、より大きいタップ長を設定してもよい。
　図５は、ぼかしフィルタの例を示す図である。図５に示すぼかしフィルタＦ１は、タップ長が３×３に設定されたガウシアンフィルタであり、図４に示した物体ＯＢＪ１の画素に適用される。また、図５に示すぼかしフィルタＦ２は、タップ長が１×１に設定されたガウシアンフィルタであり、図４に示した物体ＯＢＪ２の画素に適用される。また、図５に示すぼかしフィルタＦ３は、タップ長が５×５に設定されたガウシアンフィルタであり、図４に示した物体ＯＢＪ３の画素に適用される。
　このように、タップ長の異なるぼかしフィルタＦ１～Ｆ３を適用することで、物体ＯＢＪ２の画素は明瞭に見えるような出力画像が出力される。そして、当該出力画像では、物体ＯＢＪ２から少し離れた物体ＯＢＪ１は、物体ＯＢＪ２よりもぼけて見え、物体ＯＢＪ２からさらに離れた物体ＯＢＪ３は、物体ＯＢＪ１よりもさらにぼけて見える。その結果、ユーザは人間の眼における焦点合わせの仕組みを再現しているかのように感じられるため、没入感がより高まるという効果が得られる。
　なお、画像処理部２４９が施すぼかし処理は、かかる例に限定されない。例えば画像処理部２４９は、Ｇａｕｓｓｉａｎ　ｆｉｌｔｅｒ以外のぼかしフィルタを用いてぼかし処理を施してもよい。また、画像処理部２４９は、ぼかし処理以外の周知の画像処理を施してもよい。
　図２に戻って画像処理装置２－１の構成についての説明を続ける。記憶部２６は、画像処理装置２－１の各構成が機能するためのプログラムやパラメータを記憶する。また、記憶部２６は、入力画像生成部２４３が、入力画像、及び入力画像に対応した奥行き情報を生成するためのコンテンツデータを記憶していてもよい。記憶部２６に記憶されたコンテンツデータは、例えば画像と奥行き情報の組み合わせであってもよいし、メッシュポリゴンデータとテクスチャの組み合わせであってもよい。
　　＜１－３．動作＞
　以上、本実施形態にかかる表示システム１０００の構成例について説明した。続いて、図６、図７を参照して、本実施形態にかかる表示システム１０００の動作例を説明する。
　図６は、本実施形態にかかる表示システム１０００の処理の流れを示すフローチャート図である。図６に示すように、まず、ＨＭＤ１のセンサ部１２がユーザの頭部の位置、及び姿勢をセンシングにより取得する（Ｓ１２０）。続いて、ＨＭＤ１のセンサ部１２が、センシングによりユーザの視認画素を取得する（Ｓ１４０）。なお、ステップＳ１２０で取得されたユーザの頭部の位置、及び姿勢の情報、並びにステップＳ１４０で取得されたユーザの視認画素に関する視認画素情報は、随時ＨＭＤ１から画像処理装置２－１へ送信される。
　画像処理装置２－１は、ＨＭＤ１から受信した情報に基づいて、出力画像を生成する（Ｓ１６０）。ステップＳ１６０の処理の詳細については、図７を参照して後述する。続いて、ステップＳ１６０で生成された出力画像は、画像処理装置２－１からＨＭＤ１へ送信されて、ＨＭＤ１の表示部１４に表示される（Ｓ１８０）。
　図７は、図６に示したステップＳ１６０の処理の詳細な流れを示すフローチャート図である。図７に示すように、まず入力画像生成部２４３が、ステップＳ１２０で取得されたユーザの頭部の位置、及び姿勢を示す情報と、記憶部２６に記憶されたコンテンツデータに基づいて、入力画像、及び入力画像に対応する奥行き情報を生成する（Ｓ１６１）。
　続いて、奥行き値取得部２４５が、ステップＳ１６１で生成された入力画像に対応する奥行き情報を参照して、ステップＳ１４０で取得された視認画素に対応する奥行き値を取得する（Ｓ１６１）。
　続いて、遅延制御部２４７が、前回のぼかし処理に用いられた奥行き値を記憶部２６から読み込む（Ｓ１６３）。さらに、遅延制御部２４７は、ステップＳ１６３で読み込まれた前回のぼかし処理に用いられた奥行き値に基づいて、視認画素に対応する奥行き値を遅延させて、遅延奥行き値を出力する（Ｓ１６４）。
　ステップＳ１６４で出力された遅延奥行き値は、今回のぼかし処理に用いられる奥行き値として、記憶部２６に記憶される（Ｓ１６５）。そして、画像処理部２４９が、ステップＳ１６４で出力された遅延奥行き値に基づいて、入力画像に対してぼかし処理を施し、出力画像を生成する（Ｓ１６６）。
　　＜１－４．効果＞
　以上説明したように、本開示の第１の実施形態によれば、ユーザの視線移動の反映を遅延させて、視認画素情報に基づくぼかし処理を行うことにより、ユーザに与える違和感を抑制しつつ、没入感をより高めることが可能である。
　＜＜２．第２の実施形態＞＞
　以上、本開示の第１の実施形態を説明した。続いて、本開示の第２の実施形態を説明する。上述した第１の実施形態では、遅延度合を調整するための遅延パラメータｋは予め設定されていた。これに対し、本開示の第２の実施形態は、所定の条件に基づいてトリガを検知し、トリガの検知の結果に基づいて、遅延パラメータｋを変化させることにより、奥行き値の遅延度合を制御する。かかる構成により、ユーザにとってより快適な視聴を提供したり、ユーザに与える違和感をより低減させることが可能となる。
　以下、上記のような効果を実現するための本開示の第２の実施形態の構成例について説明する。なお、以下の説明においては、主に第１の実施形態との差異について説明し、第１の実施形態と共通する構成や動作については適宜説明を省略する。
　　＜２－１．構成＞
　図８は、本実施形態にかかる表示システムの構成の一例を示すブロック図である。図８に示すように、本実施形態にかかる表示システム２０００は、ＨＭＤ１と、画像処理装置２－２とを含む。なお、図８に示す構成のうち、図２を参照して説明した構成と実質的に同一の構成については、同一の符号を付してある。
　図８に示すように、画像処理装置２－２は、通信部２２、制御部２４－２、及び記憶部２６を備える。図８に示す通信部２２、及び記憶部２６の構成は、図２を参照して説明した通信部２２、及び記憶部２６の構成と実質的に同一であるため、ここでの説明は省略する。
　制御部２４－２は、図２を参照して説明した制御部２４－１と同様に、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置２－２内の動作全般を制御する。ただし、本実施形態による制御部２４－２は、図８に示すように、検知部２４６としても機能する点、及び遅延制御部２４８の機能が遅延制御部２４７の機能と一部異なる点において、図２を参照して説明した制御部２４－１と異なる。
　検知部２４６は、所定の条件に基づいてトリガの検知を行う。所定の条件は、後述する遅延制御部２４８による奥行き値の遅延度合の制御に関する条件である。例えば、トリガが検知されない場合には、予め定められた基準値に遅延パラメータｋが設定されてよい。して、検知部２４６は、基準値よりも小さな値、または大きな値に遅延パラメータｋを設定することが望ましいようなトリガを検知する。
　例えば、検知部２４６は、ユーザの状態に関するトリガの検知を行ってもよい。検知されるユーザの状態は多様であり得るが、例えば、検知部２４６は、ユーザの動きの速さに関するトリガの検知や、所定の動作に関するトリガの検知を行ってもよい。なお、ここでユーザの動きは、ユーザの頭部の動きだけでなく、ユーザの視線の動きを含んでもよい。
　また、検知部２４６は、入力画像に含まれる物体に関するトリガの検知を行ってもよい。例えば、検知部２４６は、ユーザから当該物体までの距離に関するトリガの検知を行ってもよい。あるいは、当該物体を強調すべきか否かというトリガの検知を行ってもよい。なお、ユーザから当該物体までの距離は、入力画像に対応する奥行き情報から特定される。また、トリガの検知に用いられる物体は、入力画像に含まれるすべての物体であってもよいし、入力画像に含まれる物体のうち、ユーザに見られている、あるいはユーザの視認画素の付近に存在する物体であってもよい。
　また、検知部２４６は、入力画像のコンテンツ種別に関するトリガの検知を行ってもよい。コンテンツ種別は、例えばコンテンツのジャンルを含んでもよい。あるいは、コンテンツ種別は、注目すべき物体が明確であるか否かという種別を含んでもよい。あるいは、コンテンツ種別は、動きの物体を含むコンテンツであるか否かという種別を含んでもよい。
　なお、検知部２４６は上記のようなトリガの検知を行うため、ＨＭＤ１から受信されたユーザの頭部の位置・姿勢に関する情報、及び視認画素情報、並びに記憶部２６に記憶されたコンテンツに関する情報等を用いてもよい。また、検知部２４６が行うトリガの検知は、多様であってよく、上述した例に限定されない。
　遅延制御部２４８は、図２を参照して説明した遅延制御部２４７と同様に、奥行き値取得部２４５により取得された視認画素に対応する奥行き値を遅延させ、遅延させた遅延奥行き値を画像処理部２４９へ出力する。ただし、本実施形態にかかる遅延制御部２４８は、上述した検知部２４６によるトリガの検知の結果に基づいて、奥行き値の遅延度合を制御する点において、遅延制御部２４７と異なる。
　本実施形態にかかる遅延制御部２４８は、検知部２４６によりトリガが検知されない場合には、予め定められた基準値に遅延パラメータｋを設定し、上述した式（１）に従って遅延処理を行う。基準値は、例えば、人が普段物を見るときのような速度で焦点合わせが行われるような値であることが望ましく、ＨＭＤ１のフレームレート等にもよるが、例えば９０ｆｐｓで表示される場合、基準値は０．９２であってもよい。
　また、遅延制御部２４８は、検知部２４６によりトリガが検知された場合には、検知されたトリガの種類に応じて、基準値よりも小さな値（０に近い値）、または大きな値（１に近い値）に遅延パラメータｋを設定する。なお、遅延パラメータの値を基準値よりも小さな値に設定すると、遅延は小さくなり、遅延パラメータの値を基準値よりも大きな値に設定すると、遅延は大きくなる。
　例えば、検知部２４６により、ユーザの動きが所定の閾値よりも速いことがトリガとして検知された場合、あるいはユーザが歩き回っている、ユーザが首を振っている等の所定の動作がトリガとして検知された場合、視認画素の位置が高速で変化する可能性が高い。そこで、このようなトリガが検知された場合、視認画素の移動に追従可能なように、遅延制御部２４８は、遅延パラメータｋの値を基準値よりも小さな値に設定してもよい。
　また、検知部２４６により、入力画像に含まれる物体がユーザから遠いことがトリガとして検知された場合、視認画素に対応する奥行き値の変化が小さい可能性が高い。そこで、このようなトリガが検知された場合、スムーズに焦点が合うと感じられるように、遅延制御部２４８は、遅延パラメータｋの値を基準値よりも小さな値に設定してもよい。
　また、検知部２４６により、強調すべき物体をユーザが見ていることがトリガとして検知された場合、その後当該物体から視認画素が離れたとしても、当該物体にユーザが注目するように強調することが望ましい。そこで、このようなトリガが検知された場合、強調すべき物体にユーザが注目するように、遅延制御部２４８は、遅延パラメータｋの値を基準値よりも大きな値に設定してもよい。
　　＜２－２．動作＞
　以上、本実施形態にかかる表示システム２０００の構成例について説明した。続いて、本実施形態にかかる表示システム２０００の動作例を説明する。ただし、本実施形態にかかる表示システム２０００の処理の流れは、図６に示したステップＳ１６０の処理が一部異なる点を除いて、図６を参照して説明した表示システム１０００の処理の流れと同様である。そこで、図９を参照して、本実施形態におけるステップＳ１６０の処理の詳細な流れについて説明する。
　図９は、本実施形態におけるステップＳ１６０の処理の詳細な流れを示すフローチャート図である。図９に示すステップＳ１７１～Ｓ１７３の処理は、図７を参照して説明したステップＳ１６１～Ｓ１６３の処理と同様であるため、ここでの説明は省略する。
　続くステップＳ１７４において、検知部２４６がトリガの検知を行い、遅延制御部２４８がトリガの検知結果に基づいて、遅延パラメータｋを設定する。さらに、遅延制御部２４８は、ステップＳ１７４で設定された遅延パラメータｋに従い、ステップＳ１７３で読み込まれた前回のぼかし処理に用いられた奥行き値に基づいて、視認画素に対応する奥行き値を遅延させて、遅延奥行き値を出力する（Ｓ１７５）。
　図９に示す以降のステップＳ１７６～Ｓ１７７の処理は、図７を参照して説明したステップＳ１６５～Ｓ１６６の処理と同様であるため、ここでの説明は省略する。
　　＜２－３．具体例＞
　以上、本実施形態の構成例、及び動作例について説明した。以下では、本実施形態の具体的な適用例についていくつか説明する。
　（具体例１）
　注目すべき対象がはっきりしているコンテンツを視聴する場合について、具体例１として説明する。
　例えば、音楽ライブで歌手が一人でステージに居るコンテンツを視聴する場合、基本的には基準値を遅延パラメータｋとして設定して遅延された遅延奥行き値に基づいて表示が行われる。ただし、検知部２４６が、音楽の盛り上がり部分をトリガとして検知した場合、歌手以外に視認画素が移動すると、遅延が大きくなるように基準値よりも大きな遅延パラメータｋが設定される。かかる構成により、歌手を注目すべきことをユーザに提示することができる。
　また、例えばサッカー等のスポーツコンテンツを視聴する場合も、基本的には基準値を遅延パラメータｋとして設定して遅延された遅延奥行き値に基づいて表示が行われる。ただし、検知部２４６が、ゴールシーン等の盛り上がりシーンをトリガとして検知した場合、重要ではない位置に移動すると、遅延が大きくなるように、基準値よりも大きな遅延パラメータｋが設定される。かかる構成により、重要なシーンを注目すべきことをユーザに提示することができる。あるいは、検知部２４６がユーザが首を振っている動作をトリガとして検知した場合、基準値よりも小さな遅延パラメータｋが設定される。かかる構成により、はっきりとユーザに見せることで、全体を眺めやすいようにすることが可能となる。
　（具体例２）
　ユーザが自由に動き回って視点を変えながらコンテンツを視聴することが可能な場合について、具体例２として説明する。
　例えば、ユーザがあまり動かずに見渡している場合、よりリアルに表現するため、基準値を遅延パラメータｋとして設定して遅延された遅延奥行き値に基づいて表示が行われる。例えば、自然を撮影した動画像を立体的に視聴する場合などにより効果的である。
　一方、ＦＰＳ（First　Person　Shooting）ゲーム等で、検知部２４６が、ユーザが高速に動き回っていることをトリガとして検知した場合、視覚的な情報から素早く状況を判断させるため、基準値よりも小さな遅延パラメータｋが設定される。
　また、ユーザが移動しながら画像を見ている場合は、ユーザが止まって画像を見ている場合に比べて、視認画素に対してぼかし処理がかけられる所定期間を短くしてもよい。かかる構成により、ユーザが移動している場合であっても、画像をはっきりとユーザに見せることが可能となる。ただし、かかる例に限定されず、ユーザが移動しながら画像を見ている場合は、ユーザが止まって画像を見ている場合に比べて、視認画素に対してぼかし処理がかけられる所定期間を長くしてもよい。
　　＜２－４．効果＞
　以上説明したように、本開示の第２の実施形態によれば、所定の条件に基づいてトリガを検知し、トリガの検知の結果に基づいて、奥行き値の遅延度合を制御することで、ユーザにとってより快適な視聴を提供したり、ユーザに与える違和感をより低減させることが可能となる。
　＜＜３．変形例＞＞
　以上、本開示の実施形態を説明した。以下では、本開示にかかる幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で各実施形態に適用されてもよいし、組み合わせで各実施形態に適用されてもよい。また、各変形例は、上記実施形態で説明した構成に代えて適用されてもよいし、上記実施形態で説明した構成に対して追加的に適用されてもよい。
　＜３－１．変形例１＞
　上記実施形態では、表示システムがＨＭＤと画像処理装置の２つの装置によって構成される例を説明した。ただし、本技術はかかる例に限定されない。例えば、ＨＭＤと画像処理装置とは一体の装置であってもよい。あるいは、コンテンツデータを提供する他の装置が存在してもよい。特に、コンテンツデータがメッシュポリゴンデータとテクスチャデータを含む場合、表示システムは、データ量の観点からコンテンツデータを提供する他の装置を含むことが望ましい。以下、表示システムが、ＨＭＤ，画像処理装置に加えてコンテンツデータを提供する他の装置を含む例について、変形例１として説明を行う。
　図１０は、変形例１にかかる表示システム３０００の構成の一例を示すブロック図である。図１０に示すように、本実施形態にかかる表示システム３０００は、ＨＭＤ１と、画像処理装置２－３と、サーバ４と、通信網５とを含む。画像処理装置２－３と、サーバ４とは通信網５で接続され、相互に情報を通信することが可能である。
　なお、図１０に示す構成のうち、図２を参照して説明した構成と実質的に同一の構成については、同一の符号を付してある。
　図１９に示すように、画像処理装置２－３は、通信部２３、制御部２４－３、及び記憶部２７を備える。
　通信部２３は、図２を参照して説明した通信部２２の機能に加えて、通信網５を介してサーバ４と通信する機能を有する。通信部２３は、例えばＨＭＤ１から受信したユーザの頭部の位置、及び姿勢を示す情報をサーバ４へ送信し、サーバ４からメッシュポリゴンデータとテクスチャデータを受信する。
　制御部２４－３は、通信制御部２４２、及び入力画像生成部２４４の機能が図２を参照して説明した通信制御部２４１、及び入力画像生成部２４３の機能と一部異なる点において、図２に示した制御部２４－１と異なる。
　通信制御部２４２は、通信部２３を制御し、ユーザの頭部の位置、及び姿勢を示す情報をサーバ４へ送信させ、サーバ４からメッシュポリゴンデータとテクスチャデータを受信させる点において通信制御部２４１と異なる。
　入力画像生成部２４４は、通信部２３がサーバ４から受信したメッシュポリゴンデータとテクスチャデータを用いて入力画像、及び入力画像に対応する奥行き情報を生成する点において入力画像生成部２４３と異なる。
　記憶部２７は、コンテンツデータを予め記憶していなくてもよい点において、図２を参照して説明した記憶部２６と異なる。
　サーバ４は、図１０に示すように通信部４２、制御部４４、及び記憶部４６を備える情報処理装置である。
　通信部４２は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１６は、例えば有線ＬＡＮ（Local　Area　Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless　Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
　例えば、通信部４２は、通信網５を介して画像処理装置２－３と通信し、ユーザの頭部の位置、及び姿勢を示す情報を画像処理装置２－３から受信し、メッシュポリゴンデータとテクスチャデータとを画像処理装置２－３へ送信する。
　制御部４４は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ４内の動作全般を制御する。また、制御部４４は、記憶部４６に記憶された複数のテクスチャの中から、ユーザの頭部の位置、及び姿勢に応じた視点に対応するテクスチャを選択し、通信部４２に画像処理装置２－３へ送信させる。
　記憶部４６は、メッシュポリゴンデータと複数のテクスチャデータとを含むコンテンツデータを記憶する。
　以上、変形例１について説明した。変形例１によれば、例えば画像処理装置２－３の備える記憶部２７の記憶容量が小さい場合や、処理性能が低い場合であっても、サーバ４から適切なテクスチャデータを受信することで、スムーズに表示することが可能となる。
　　＜３－２．変形例２＞
　上記実施形態では、ＨＭＤ１のセンサ部１２が、視線センサを含み、センシングにより視認画素情報を取得する例を説明したが、本技術はかかる例に限定されない。例えば、ＨＭＤ１が視線センサを含まない場合であっても、視認画素を特定することが可能である。かかる例について、変形例２として説明を行う。
　例えば、ユーザの利き眼を示す情報に基づいて、視認画素情報が特定されてもよい。例えば、ユーザの利き眼の正面位置に対応する入力画像における位置を視認画素であると特定することが可能である。なお、本明細書において、利き眼とは、ユーザがよりよく使う側の眼、あるいはユーザがより好んで使う側の眼のことである。利き眼を示す情報は、予め与えられてもよいし、ユーザにより入力されてもよい。利き眼を示す情報に基づく視認画素の特定は、ＨＭＤにより行われてもよいし、画像処理装置により行われてもよい。
　図１１は、利き眼を示す情報を用いた視認画素の特定の一例を説明図である。図１１には、ＨＭＤ１の表示部１４に含まれる左眼用ディスプレイ１４Ｌと右眼用ディスプレイ１４Ｒが示されている。ユーザの利き眼が左眼ＥＬである場合、視認画素は左眼用ディスプレイ１４Ｌにおける点ＧＬであると特定され、ユーザの利き眼が右眼ＥＲである場合、視認画素は右眼用ディスプレイ１４Ｒにおける点ＧＲであると特定される。なお、各ディスプレイにおける位置と入力画像との対応付けは周知の技術により実現可能であるため、ここでの説明は省略する。
　以上、変形例２について説明した。変形例２によれば、ＨＭＤ１が視線センサを含まない場合であっても、視認画素を特定することが可能である。
　　＜３－３．変形例３＞
　上記実施形態では、表示装置としてＨＭＤが用いられていたが、本技術はかかる例に限定されず、多様な表示装置への画像の表示に本技術を適用することが可能である。例えば、ドーム型のディスプレイのように、ユーザの視界の大部分を覆うような表示部を有する表示装置に本技術が適用される場合にも、ユーザはより高い没入感を得ることが可能であり、効果的であると考えられる。
　＜＜４．ハードウェア構成例＞＞
　以上、本開示の実施形態を説明した。最後に、図１２を参照して、本開示の実施形態にかかる情報処理装置のハードウェア構成について説明する。図１２は、本開示の実施形態にかかる情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１２に示す情報処理装置９００は、例えば、図２、図８、図１０にそれぞれ示したＨＭＤ１、画像処理装置２－１～２－３、及びサーバ４を実現し得る。本開示の実施形態にかかるＨＭＤ１、画像処理装置２－１～２－３、及びサーバ４による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図１２に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部２４－１～２４－３、制御部４４を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部１４形成し得る。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部２６、記憶部２７、記憶部４６を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部２２、通信部２３、通信部４２を形成し得る。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部１２を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本開示の実施形態にかかる情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本開示の実施形態にかかる情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜５．むすび＞＞
　以上説明したように、本開示の実施形態によれば、別空間にいるかのような没入感をより高めることが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　画像内でユーザが見ている画素に関する視認画素情報を取得する取得部と、
　前記画像の各画素に対応する奥行き値を示す奥行き情報に基づいて、前記画像に対して、ぼかし処理を施す画像処理部と、を備え、
　前記画像処理部は、前記視認画素情報が取得された後の所定期間、前記視認画素情報と前記奥行き情報とに基づいて、前記ぼかし処理を施す、画像処理装置。
（２）
　前記画像処理部は、前記ユーザが見ている画素に対応する奥行き値を遅延させた遅延奥行き値と、前記奥行き情報と、に基づいて、前記ぼかし処理を施す、前記（１）に記載の画像処理装置。
（３）
　前記画像処理部は、前記遅延奥行き値と前記各画素に対応する奥行き値との差に応じて前記各画素に対して前記ぼかし処理を施す、前記（２）に記載の画像処理装置。
（４）
　前記画像処理部は、前記遅延奥行き値と画素に対応する奥行き値との差が大きい場合には、前記遅延奥行き値と画素に対応する奥行き値との差が小さい場合に比べて、より強い強度で、前記画素に対してぼかし処理を施す、前記（３）に記載の画像処理装置。
（５）
　前記画像処理部は、前記各画素に対してぼかしフィルタを適用することで前記ぼかし処理を施し、前記遅延奥行き値と前記各画素に対応する奥行き値との差に応じて、前記ぼかしフィルタのタップ長を設定する、前記（３）または（４）に記載の画像処理装置。
（６）
　前記画像処理装置は、所定の条件に基づいてトリガの検知を行う検知部と、
　前記ユーザが見ている画素に対応する奥行き値と遅延させて前記遅延奥行き値を出力させる遅延制御部をさらに備え、
　前記遅延制御部は、前記検知部による前記トリガの検知の結果に基づいて、前記奥行き値の遅延度合を制御する、前記（２）～（５）のいずれか一項に記載の画像処理装置。
（７）
　前記検知部は、前記ユーザの状態に関するトリガの検知を行う、前記（６）に記載の画像処理装置。
（８）
　前記検知部は、前記ユーザの動きの速さに関するトリガの検知を行う、前記（７）に記載の画像処理装置。
（９）
　前記検知部は、前記画像に含まれる物体に関するトリガの検知を行う、前記（６）～（８）のいずれか一項に記載の画像処理装置。
（１０）
　前記検知部は、前記ユーザと前記物体との距離に関するトリガの検知を行う、前記（９）に記載の画像処理装置。
（１１）
　前記検知部は、前記画像のコンテンツ種別に関するトリガの検知を行う、前記（６）～（１０）のいずれか一項に記載の画像処理装置。
（１２）
　前記視認画素情報と、前記奥行き情報とに基づいて、前記画像内でユーザが見ている画素に対応する奥行き値を取得する奥行き値取得部をさらに備える、前記（１）～（１１）のいずれか一項に記載の画像処理装置。
（１３）
　前記画像内でユーザが見ている画素は、前記ユーザの利き眼を示す情報に基づいて特定される、前記（１）～（１２）のいずれか一項に記載の画像処理装置。
（１４）
　前記画像は、前記ユーザの位置、または姿勢に応じた視点においてレンダリングされる、前記（１）～（１３）のいずれか一項に記載の画像処理装置。
（１５）
　前記ユーザが移動しながら画像を見ている場合は、前記ユーザが止まって画像を見ている場合に比べて前記所定期間を短くする、前記（１）～（１４）のいずれか一項に記載の画像処理装置。
（１６）
　画像内でユーザが見ている画素に関する視認画素情報を取得することと、
　前記画像の各画素に対応する奥行き値を示す奥行き情報に基づいて、前記画像に対して、プロセッサがぼかし処理を施すことと、を含み、
　前記視認画素情報が取得された後の所定期間、前記視認画素情報と前記奥行き情報とに基づいて、前記画像内でユーザが見ている画素にぼかし処理が施される、画像処理方法。
（１７）
　コンピュータを、
　画像内でユーザが見ている画素に関する視認画素情報を取得する取得部と、
　前記画像の各画素に対応する奥行き値を示す奥行き情報に基づいて、前記画像に対して、ぼかし処理を施す画像処理部と、を備え、
　前記画像処理部は、前記視認画素情報が取得された後の所定期間、前記視認画素情報と前記奥行き情報とに基づいて、前記ぼかし処理を施す、画像処理装置として機能させる、プログラム。
　１　ＨＭＤ
　２－１　画像処理装置
　４　サーバ
　５　通信網
　２４－１　制御部
　２６　記憶部
　２４３　入力画像生成部
　２４５　奥行き値取得部
　２４６　検知部
　２４７　遅延制御部
　２４９　画像処理部

Claims (17)

  1. 　画像内でユーザが見ている画素に関する視認画素情報を取得する取得部と、
    　前記画像の各画素に対応する奥行き値を示す奥行き情報に基づいて、前記画像に対して、ぼかし処理を施す画像処理部と、を備え、
    　前記画像処理部は、前記視認画素情報が取得された後の所定期間、前記視認画素情報と前記奥行き情報とに基づいて、前記画像内でユーザが見ている画素にぼかし処理を施す、画像処理装置。
  2. 　前記画像処理部は、前記ユーザが見ている画素に対応する奥行き値を遅延させた遅延奥行き値と、前記奥行き情報と、に基づいて、前記ぼかし処理を施す、請求項１に記載の画像処理装置。
  3. 　前記画像処理部は、前記遅延奥行き値と前記各画素に対応する奥行き値との差に応じて前記各画素に対して前記ぼかし処理を施す、請求項２に記載の画像処理装置。
  4. 　前記画像処理部は、前記遅延奥行き値と画素に対応する奥行き値との差が大きい場合には、前記遅延奥行き値と画素に対応する奥行き値との差が小さい場合に比べて、より強い強度で、前記画素に対してぼかし処理を施す、請求項３に記載の画像処理装置。
  5. 　前記画像処理部は、前記各画素に対してぼかしフィルタを適用することで前記ぼかし処理を施し、前記遅延奥行き値と前記各画素に対応する奥行き値との差に応じて、前記ぼかしフィルタのタップ長を設定する、請求項３に記載の画像処理装置。
  6. 　前記画像処理装置は、所定の条件に基づいてトリガの検知を行う検知部と、
    　前記ユーザが見ている画素に対応する奥行き値と遅延させて前記遅延奥行き値を出力させる遅延制御部をさらに備え、
    　前記遅延制御部は、前記検知部による前記トリガの検知の結果に基づいて、前記奥行き値の遅延度合を制御する、請求項２に記載の画像処理装置。
  7. 　前記検知部は、前記ユーザの状態に関するトリガの検知を行う、請求項６に記載の画像処理装置。
  8. 　前記検知部は、前記ユーザの動きの速さに関するトリガの検知を行う、請求項７に記載の画像処理装置。
  9. 　前記検知部は、前記画像に含まれる物体に関するトリガの検知を行う、請求項６に記載の画像処理装置。
  10. 　前記検知部は、前記ユーザと前記物体との距離に関するトリガの検知を行う、請求項９に記載の画像処理装置。
  11. 　前記検知部は、前記画像のコンテンツ種別に関するトリガの検知を行う、請求項６に記載の画像処理装置。
  12. 　前記視認画素情報と、前記奥行き情報とに基づいて、前記画像内でユーザが見ている画素に対応する奥行き値を取得する奥行き値取得部をさらに備える、請求項１に記載の画像処理装置。
  13. 　前記画像内でユーザが見ている画素は、前記ユーザの利き眼を示す情報に基づいて特定される、請求項１に記載の画像処理装置。
  14. 　前記画像は、前記ユーザの位置、または姿勢に応じた視点においてレンダリングされる、請求項１に記載の画像処理装置。
  15. 　前記ユーザが移動しながら画像を見ている場合は、前記ユーザが止まって画像を見ている場合に比べて前記所定期間を短くする、請求項１に記載の画像処理装置。
  16. 　画像内でユーザが見ている画素に関する視認画素情報を取得することと、
    　前記画像の各画素に対応する奥行き値を示す奥行き情報に基づいて、前記画像に対して、プロセッサがぼかし処理を施すことと、を含み、
    　前記視認画素情報が取得された後の所定期間、前記視認画素情報と前記奥行き情報とに基づいて、前記画像内でユーザが見ている画素にぼかし処理が施される、画像処理方法。
  17. 　コンピュータを、
    　画像内でユーザが見ている画素に関する視認画素情報を取得する取得部と、
    　前記画像の各画素に対応する奥行き値を示す奥行き情報に基づいて、前記画像に対して、ぼかし処理を施す画像処理部と、を備え、
    　前記画像処理部は、前記視認画素情報が取得された後の所定期間、前記視認画素情報と前記奥行き情報とに基づいて、前記ぼかし処理を施す、画像処理装置として機能させる、プログラム。
PCT/JP2018/039217 2018-01-30 2018-10-22 画像処理装置、画像処理方法、及びプログラム WO2019150668A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/963,689 US11386527B2 (en) 2018-01-30 2018-10-22 Image processor and imaging processing method
CN201880087573.9A CN111656776B (zh) 2018-01-30 2018-10-22 图像处理器、图像处理方法和计算机可读记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-013617 2018-01-30
JP2018013617 2018-01-30

Publications (1)

Publication Number Publication Date
WO2019150668A1 true WO2019150668A1 (ja) 2019-08-08

Family

ID=67478161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039217 WO2019150668A1 (ja) 2018-01-30 2018-10-22 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11386527B2 (ja)
CN (1) CN111656776B (ja)
WO (1) WO2019150668A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386527B2 (en) 2018-01-30 2022-07-12 Sony Corporation Image processor and imaging processing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11375180B2 (en) * 2019-12-10 2022-06-28 Yousseff El Moumni Video engine for generating an enhanced impression of depth based upon two-dimensioned video content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111877A (ja) * 1994-10-12 1996-04-30 Canon Inc 立体画像表示方法および装置
JPH11155154A (ja) * 1997-11-19 1999-06-08 Toshiba Corp 立体映像処理装置
JP2012178688A (ja) * 2011-02-25 2012-09-13 Olympus Corp 立体画像撮影装置
JP2012227685A (ja) * 2011-04-19 2012-11-15 Jvc Kenwood Corp ３ｄ画像処理装置、３ｄ画像撮像装置、及びプログラム
JP2017091190A (ja) * 2015-11-10 2017-05-25 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584219B1 (en) * 1997-09-18 2003-06-24 Sanyo Electric Co., Ltd. 2D/3D image conversion system
JP3893983B2 (ja) * 2002-01-17 2007-03-14 ソニー株式会社 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
US10109315B2 (en) * 2005-03-01 2018-10-23 Eyesmatch Ltd Devices, systems and methods for auto-delay video presentation
US7869649B2 (en) * 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
JP5255789B2 (ja) * 2007-06-27 2013-08-07 任天堂株式会社 画像処理プログラムおよび画像処理装置
US8131098B2 (en) * 2007-07-06 2012-03-06 Panasonic Corporation Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit
JP5242667B2 (ja) 2010-12-22 2013-07-24 株式会社東芝 マップ変換方法、マップ変換装置及びマップ変換プログラム
JP2013012820A (ja) 2011-06-28 2013-01-17 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
JP5857567B2 (ja) 2011-09-15 2016-02-10 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2013090031A (ja) 2011-10-14 2013-05-13 Sony Corp 画像処理装置、画像処理方法およびプログラム
KR20140043264A (ko) 2012-09-26 2014-04-09 삼성전자주식회사 다시점 영상 처리 장치 및 방법
US9239661B2 (en) 2013-03-15 2016-01-19 Qualcomm Incorporated Methods and apparatus for displaying images on a head mounted display
CN104253939A (zh) 2013-06-27 2014-12-31 聚晶半导体股份有限公司 调整对焦位置的方法及电子装置
CN104660900B (zh) * 2013-10-30 2018-03-02 株式会社摩如富 图像处理装置及图像处理方法
JP2016025633A (ja) 2014-07-24 2016-02-08 ソニー株式会社 情報処理装置、管理装置、情報処理方法、およびプログラム
CN105516579B (zh) 2014-09-25 2019-02-05 联想(北京)有限公司 一种图像处理方法、装置和电子设备
WO2016202837A1 (en) 2015-06-16 2016-12-22 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
US10178381B2 (en) * 2015-07-14 2019-01-08 Microsoft Technology Licensing, Llc Depth-spatial frequency-response assessment
CN105100772B (zh) 2015-07-16 2017-03-15 深圳市华星光电技术有限公司 一种三维图像处理方法及装置
CN106530241B (zh) * 2016-10-31 2020-08-11 努比亚技术有限公司 一种图像虚化处理方法和装置
US10209360B2 (en) * 2017-02-01 2019-02-19 Microsoft Technology Licensing, Llc Reduced phase sampling for high speed depth sensing
US10425628B2 (en) * 2017-02-01 2019-09-24 Microsoft Technology Licensing, Llc Alternating frequency captures for time of flight depth sensing
CN111656776B (zh) 2018-01-30 2022-08-09 索尼公司 图像处理器、图像处理方法和计算机可读记录介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111877A (ja) * 1994-10-12 1996-04-30 Canon Inc 立体画像表示方法および装置
JPH11155154A (ja) * 1997-11-19 1999-06-08 Toshiba Corp 立体映像処理装置
JP2012178688A (ja) * 2011-02-25 2012-09-13 Olympus Corp 立体画像撮影装置
JP2012227685A (ja) * 2011-04-19 2012-11-15 Jvc Kenwood Corp ３ｄ画像処理装置、３ｄ画像撮像装置、及びプログラム
JP2017091190A (ja) * 2015-11-10 2017-05-25 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386527B2 (en) 2018-01-30 2022-07-12 Sony Corporation Image processor and imaging processing method

Also Published As

Publication number Publication date
US11386527B2 (en) 2022-07-12
CN111656776A (zh) 2020-09-11
US20210082088A1 (en) 2021-03-18
CN111656776B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN110413105B (zh) 虚拟环境内的虚拟对象的有形可视化
CN109074681B (zh) 信息处理装置、信息处理方法和程序
US9916517B2 (en) Image processing method and apparatus
WO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6094190B2 (ja) 情報処理装置および記録媒体
US20200202161A1 (en) Information processing apparatus, information processing method, and program
US11709370B2 (en) Presentation of an enriched view of a physical setting
WO2019150668A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JPWO2019044188A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019021573A1 (ja) 情報処理装置、情報処理方法、及びプログラム
TW202405617A (zh) 針對擴展現實的使用者注意力決定
KR20090078085A (ko) 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
WO2019044135A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20190089899A1 (en) Image processing device
CN109313823B (zh) 信息处理装置、信息处理方法和计算机可读介质
CN116194792A (zh) 连接评估系统
US20200057493A1 (en) Rendering content
WO2024125379A1 (zh) 一种图像处理方法、头戴式显示设备及介质
US20240078743A1 (en) Stereo Depth Markers
US20240251154A1 (en) Image capture apparatus, image processing apparatus, and method
JP2021068296A (ja) 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法
WO2020243212A1 (en) Presenting communication data based on environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18903247

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18903247

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP