WO2018173445A1 - 情報処理装置、情報処理方法、情報処理システム、及びプログラム - Google Patents

情報処理装置、情報処理方法、情報処理システム、及びプログラム Download PDF

Info

Publication number
WO2018173445A1
WO2018173445A1 PCT/JP2018/001658 JP2018001658W WO2018173445A1 WO 2018173445 A1 WO2018173445 A1 WO 2018173445A1 JP 2018001658 W JP2018001658 W JP 2018001658W WO 2018173445 A1 WO2018173445 A1 WO 2018173445A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
correction
image
user
information processing
Prior art date
Application number
PCT/JP2018/001658
Other languages
English (en)
French (fr)
Inventor
圭祐 千田
健一郎 細川
拓郎 川合
幸司 西田
孝文 森藤
隆浩 永野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2018173445A1 publication Critical patent/WO2018173445A1/ja

Links

Images

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, an information processing system, and a program.
  • Japanese Patent Application Laid-Open Publication No. 2004-228561 describes an imaging apparatus having a blur correction function that suppresses the swing of a captured image based on a swing detection signal output by a sensor that detects the swing.
  • an image in which the viewpoint moves according to the movement of a user wearing a wearable device such as an HMD (Head Mounted Display) (hereinafter sometimes referred to as a wearable user) is displayed on the wearable device.
  • HMD Head Mounted Display
  • Technology is spreading.
  • an image is displayed on the HMD and also displayed on another display. ing.
  • An image in which the viewpoint moves according to the movement of the wearing user as described above may be difficult to see comfortably for the shared user due to, for example, the influence of the viewpoint movement that occurs according to the movement not intended by the wearing user. Therefore, in order to improve visibility, it is also conceivable to perform blur correction on the image and present it to the sharing user.
  • the present disclosure proposes an information processing apparatus, an information processing method, an information processing system, and a program capable of performing shake correction that more reflects the user's intention related to viewpoint movement.
  • the image processing apparatus includes a correction information specifying unit that specifies a shake correction parameter related to shake correction for an image corresponding to the user's movement based on the user's movement information and the gaze information about the user's gaze.
  • a correction information specifying unit that specifies a shake correction parameter related to shake correction for an image corresponding to the user's movement based on the user's movement information and the gaze information about the user's gaze.
  • the processor specifies a blur correction parameter related to blur correction for an image corresponding to the user's movement based on the user's movement information and the gaze information regarding the user's gaze.
  • An information processing method is provided.
  • the information processing device includes a first display device worn by a user, and a second display device different from the first display device, and the information processing device Based on the information and gaze information related to the user's gaze, a correction information specifying unit is provided that specifies a shake correction parameter related to shake correction for an image corresponding to the user's movement, and the first display device includes: An information processing system is provided in which an image corresponding to the user's movement is displayed, and the second display device displays the image subjected to the blur correction.
  • the computer has a function of specifying a blur correction parameter related to blur correction for an image corresponding to the user's movement based on the user's movement information and the gaze information regarding the user's gaze.
  • a program is provided to achieve this.
  • FIG. 2 is a block diagram illustrating a configuration example of an information processing device 1 according to a first embodiment of the present disclosure.
  • FIG. It is explanatory drawing for demonstrating the example of a basic parameter. It is explanatory drawing for demonstrating the example of a basic parameter. It is explanatory drawing for demonstrating specification of the image quality correction area
  • FIG. 6 is a block diagram illustrating a configuration example of an information processing device 1-2 according to a second embodiment of the present disclosure.
  • FIG. It is a schematic diagram which shows typically the example of the area
  • It is explanatory drawing which shows the example of attracting degree estimation.
  • It is explanatory drawing which shows the example of attracting degree estimation.
  • It is explanatory drawing which shows the example of attracting degree estimation.
  • FIG. 7 is a flowchart showing an operation example of the information processing apparatus 1-2 according to the embodiment.
  • FIG. 13 is a block diagram illustrating a configuration example of an information processing device 1-3 according to a third embodiment of the present disclosure.
  • FIG. 6 is a flowchart showing an operation example of the information processing apparatus 1-3 according to the embodiment.
  • FIG. 16 is a block diagram illustrating a configuration example of an information processing device 1-4 according to a fourth embodiment of the present disclosure.
  • FIG. 6 is a flowchart showing an operation example of the information processing apparatus 1-4 according to the embodiment. It is explanatory drawing which shows the hardware structural example.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
  • FIG. 1 is an explanatory diagram for explaining a schematic configuration of the information processing system 10.
  • the information processing system 10 includes an information processing device 1, an HMD 3 that is a first display device, and a stationary display device 5 that is a second display device.
  • the information processing apparatus 1 outputs an image to the HMD 3 and the stationary display apparatus 5.
  • FIG. 1 shows an example in which the information processing apparatus 1 is a PC (Personal Computer), the information processing apparatus 1 is not limited to such an example, and may be, for example, a game machine or a smartphone.
  • the HMD 3 is a display device worn by the wearing user 7 and displays, for example, an image output from the information processing device 1. Further, the HMD 3 may include a sensor that acquires the head movement (an example of movement information) and line-of-sight information of the wearing user 7.
  • the stationary display device 5 is, for example, a large-screen display device, and displays an image output from the information processing device 1. 1 illustrates an example in which the information processing device 1 and the HMD 3 and the information processing device 1 and the installation display device 5 are directly connected. However, the present invention is not limited to such an example, and these devices are not illustrated. You may connect via a communication network.
  • the information processing apparatus 1 generates a VR (Virtual Reality) image and outputs it to the HMD 3.
  • a VR image is an image generated (rendered) from a viewpoint according to a user's movement.
  • the VR image may be a virtual image such as CG (computer graphics) or an image based on imaging.
  • the VR image may be an image generated from the viewpoint in a 3DCG space such as a game, or an image generated from the viewpoint in an omnidirectional image captured using an omnidirectional camera or the like. There may be.
  • an image is not limited to a still image, but is used as an expression including a moving image.
  • an image generated from a viewpoint according to the head movement of the wearing user 7 wearing the HMD 3 is a VR image.
  • the head movement of the wearing user 7 is acquired by, for example, an acceleration sensor or a gyro sensor included in the HMD 3 and provided to the information processing apparatus 1.
  • the information processing apparatus 1 outputs an image based on the VR image to the stationary display apparatus 5 in order to share the field of view of the wearing user 7 with the shared users 9A to 9D by users other than the wearing user 7.
  • an image based on a VR image output to the stationary display device 5 is referred to as a shared image.
  • the shared image may be the same image as the VR image, or may be an image obtained by performing image processing or the like on the VR image.
  • the VR image is generated on the premise that it is displayed on the HMD 3 so as to be provided to the wearing user 7, it may not be suitable for display on the stationary display device 5 as it is.
  • the viewpoint for generating the VR image is moved according to the movement of the head of the wearing user 7 and image blurring is likely to occur, it is difficult to visually recognize the VR image as it is displayed on the stationary display device 5. There is a risk of motion sickness.
  • the wearing user 7 when the wearing user 7 is gazing at characters in the VR image, if the shared image is blurred due to an unintended movement of the head of the wearing user 7 (for example, vibration due to a shake in posture), Can be difficult to recognize, and video sickness may occur. Therefore, it is desirable to perform shake correction when a movement of the head unintended by the wearing user 7 occurs.
  • the wearing user 7 intentionally moves the viewpoint, in view of the purpose of sharing the field of view of the wearing user 7, it is desirable not to perform the blur correction.
  • each embodiment according to the present disclosure has been created with the above circumstances in mind.
  • blur amendment given to VR picture is controlled based on movement information on wearing user 7, and gaze information about gaze of wearing user 7. For example, when the wearing user 7 is gazing at a point or an object in the VR image displayed on the HMD 3, a stronger blur correction is performed and the wearing user 7 is not gazing.
  • the blur correction is controlled such that no blur correction is performed or weaker blur correction is performed. Therefore, according to each embodiment according to the present disclosure, it is possible to perform shake correction that more reflects the intention of the wearing user 7 related to viewpoint movement.
  • achieves said effect is demonstrated in detail sequentially.
  • FIG. 2 is a block diagram illustrating a configuration example of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 illustrated in FIG. 2 corresponds to the information processing apparatus 1 illustrated in FIG.
  • the information processing apparatus 1 according to the present embodiment includes a head movement acquisition unit 102, a viewpoint movement command value calculation unit 104, a VR image generation unit 106, an optical distortion correction unit 108, and a line-of-sight information acquisition unit 110.
  • a correction information specifying unit 112 and a blur / image quality correction unit 114 is a block diagram illustrating a configuration example of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 illustrated in FIG. 2 corresponds to the information processing apparatus 1 illustrated in FIG.
  • the information processing apparatus 1 according to the present embodiment includes a head movement acquisition unit 102, a viewpoint movement command value calculation unit 104, a VR image generation unit 106, an optical distortion correction unit 108, and a line-of-sight information acquisition unit 110.
  • the head movement acquisition unit 102 acquires the head movement (an example of movement information) of the wearing user 7 wearing the HMD 3 described with reference to FIG.
  • the head movement includes, for example, information on the magnitude (movement amount) and direction of the head movement.
  • the head movement acquisition unit 102 may acquire head movement based on a signal input from, for example, an acceleration sensor or a gyro sensor included in the HMD 3.
  • the present technology is not limited to such an example, and the head movement may be acquired by a sensor worn by the wearing user 7 separately from the HMD 3 or may be obtained by a camera (not illustrated) that photographs the wearing user 7. It may be specified based on the image.
  • the viewpoint movement command value calculation unit 104 calculates a command value (viewpoint movement command value) for moving the viewpoint for VR image generation based on the head movement acquired by the head movement acquisition unit 102.
  • a viewpoint is an expression including parameters such as position, direction, and angle of view for VR image generation in a three-dimensional space where VR images are generated.
  • the viewpoint movement command value calculation unit 104 controls each parameter.
  • a command value to be calculated may be calculated.
  • the VR image generation unit 106 generates a VR image based on the viewpoint movement command value calculated by the viewpoint movement command value calculation unit 104.
  • the VR image generation unit 106 may acquire necessary content (for example, 3DCG data) from a storage unit (not shown) or another device connected via a network (not shown) in order to generate a VR image. Good.
  • the VR image generation unit 106 may generate a VR image so as to be suitable for display on the HMD 3.
  • the HMD 3 used for displaying the VR image may have a magnifying lens between the liquid crystal surface and the eyes of the wearing user 7.
  • an image displayed on the liquid crystal surface by the magnifying lens is displayed on the wearing user 7. It is visually distorted.
  • the VR image generation unit 106 may generate a VR image by performing a process of previously distorting in the direction opposite to the distortion of the magnifying lens.
  • distortion in a direction opposite to that of the magnifying lens, which is given in advance by such processing, is referred to as pre-distortion.
  • the VR image generated by the VR image generation unit 106 is output to the HMD 3 (first display device) described with reference to FIG.
  • the VR image generated by the VR image generation unit 106 is also provided to the optical distortion correction unit 108.
  • the VR image output from the information processing apparatus 1 to the HMD 3 is a stereo image including a right-eye image and a left-eye image
  • the VR image provided to the optical distortion correction unit 108 is an image for the right eye, Only one of the left-eye images may be used. Even in such a case, an image provided to the optical distortion correction unit 108 is hereinafter referred to as a VR image.
  • the optical distortion correction unit 108 performs optical distortion correction for correcting the pre-distortion described above on the VR image.
  • the optical distortion correction unit 108 provides the image obtained by performing the optical distortion correction to the blur / image quality correction unit 114.
  • the optical distortion correction unit 108 may perform optical distortion correction that reproduces and corrects distortion similar to that of the magnifying lens of the HMD 3 by signal processing.
  • the influence of the pre-distortion is suppressed in the image displayed on the stationary display device 5, and the visibility is improved.
  • the optical distortion correction unit 108 may perform optical distortion correction by cutting out the center part of the VR image. Since the influence of the pre-distortion is small in the center portion of the VR image, the influence of the pre-distortion is suppressed in the image displayed on the stationary display device 5 by cutting out the center portion. Further, the optical distortion correction has an advantage that the amount of calculation is smaller than the optical distortion correction that reproduces distortion similar to that of the magnifying lens by signal processing.
  • an enlargement process may be appropriately performed on the image cut out in accordance with the display size of the stationary display device 5.
  • Such enlargement processing may be performed by the optical distortion correction unit 108, or may be performed by another processing block or another device (for example, the installation type display device 5).
  • the line-of-sight information acquisition unit 110 acquires line-of-sight information (an example of gaze information) related to the line of sight of the wearing user 7 wearing the HMD 3 described with reference to FIG.
  • the line-of-sight information acquisition unit 110 may acquire line-of-sight information based on a signal input from, for example, a line-of-sight sensor (camera) included in the HMD 3.
  • a line-of-sight sensor camera
  • the present technology is not limited to such an example, and the line-of-sight information may be acquired by a sensor worn by the wearing user 7 separately from the HMD 3.
  • the line-of-sight information acquired by the line-of-sight information acquisition unit 110 may include, for example, the line-of-sight position in an image (VR image) displayed on the HMD 3.
  • the correction information specifying unit 112 specifies shake correction performed by a shake / image quality correction unit 114, which will be described later, and correction information used for image quality correction.
  • the correction information includes blur correction parameters and image quality correction information, which will be described later.
  • the correction information specifying unit 112 specifies a shake correction parameter related to the shake correction performed by the shake / image quality correcting unit 114.
  • the blur correction parameter is used for controlling the pixel movement amount in the blur correction, and the stronger the blur correction parameter, the stronger the blur correction (the larger the pixel movement amount) is.
  • the correction information specifying unit 112 includes the head movement acquired by the head movement acquisition unit 102 (an example of movement information) and the line-of-sight information acquired by the line-of-sight information acquisition unit 110 (an example of gaze information). Based on the above, the blur correction parameter is specified.
  • the correction information specifying unit 112 may specify the shake correction parameter based on the plurality of basic parameters after specifying the plurality of basic parameters. 3 and 4 are explanatory diagrams for explaining examples of basic parameters.
  • Parameter A which is an example of a basic parameter, is specified based on head movement, and more specifically, specified according to the amount of head movement per head (the magnitude of head movement) as shown in FIG. May be.
  • the parameter A decreases linearly according to the amount of head movement per unit time when the amount of head movement per unit time is equal to or less than the predetermined threshold Th11. 0.
  • the parameter B which is an example of a basic parameter, is specified based on line-of-sight movement, and more specifically, may be specified according to a period in which the line-of-sight movement is a predetermined amount or less as shown in FIG.
  • the parameter B is 0 when the period when the line of sight movement is equal to or smaller than the predetermined amount is equal to or smaller than the predetermined threshold Th12, and is linear according to the period when the line of sight movement is equal to or smaller than the predetermined threshold Th12.
  • the correction information specifying unit 112 specifies the shake correction parameter by integrating the parameter A and the parameter B obtained as described above.
  • the integration process may include processes such as addition and multiplication, for example. With this configuration, when the wearing user 7 is gazing, the blur correction parameter tends to increase.
  • the correspondence (function) for specifying the basic parameters shown in FIGS. 3 and 4 is an example, and can be arbitrarily designed. For example, when the wearing user 7 is gazing, the correspondence may be designed so that the blur correction parameter is likely to increase.
  • the correction information specifying unit 112 specifies image quality correction information related to the image quality correction performed by the shake / image quality correcting unit 114.
  • the image quality correction information specified by the correction information specifying unit 112 includes an image quality correction area to which the image quality correction is applied and an image quality correction parameter related to the image quality correction.
  • the image quality correction parameter is used for intensity control in image quality correction, and the larger the image quality correction parameter, the stronger the image quality correction is performed.
  • the image quality correction area is preferably an area in which the wearing user 7 is gazing in the VR image.
  • the installation display device 5 can visually recognize the gazing target (characters, objects, etc.) of the wearing user 7. Improves. Therefore, the correction information specifying unit 112 may specify the image quality correction area according to the gaze position, for example.
  • the correction information specifying unit 112 according to the present embodiment may use the current line-of-sight position included in the line-of-sight information acquired by the line-of-sight information acquisition unit 110 as the gaze position, or gaze at the average position of the line-of-sight position in a predetermined period. It is good also as a position.
  • FIG. 5 is an explanatory diagram for explaining the specification of the image quality correction area according to the gaze position by the correction information specifying unit 112.
  • the correction information specifying unit 112 may specify a range within a predetermined distance D1 from the gaze position C1 in the image P1 as the image quality correction region R1.
  • FIG. 5 shows an example, and the shape of the image quality correction region R1 is not limited to a circle, but may be an ellipse, a rectangle, or a closed free shape.
  • the correction information specifying unit 112 may specify a region to which the gaze position belongs as an image quality correction region using a region division technique for detecting an object boundary.
  • the correction information specifying unit 112 Based on the head movement (an example of movement information) acquired by the head movement acquisition unit 102 and the line-of-sight information (an example of gaze information) acquired by the line-of-sight information acquisition unit 110, the correction information specifying unit 112 Specify correction parameters. For example, the correction information specifying unit 112 may specify a plurality of basic parameters and then specify an image quality correction parameter based on the plurality of basic parameters.
  • the plurality of basic parameters used for specifying the image quality correction parameter may be the same as or different from the plurality of basic parameters used for specifying the blur correction parameter described with reference to FIGS. May be.
  • the correspondence for specifying the basic parameters to be used may be designed as appropriate between the blur correction parameter and the image quality correction parameter. Accordingly, the parameters A and B used for specifying the blur correction parameter and the parameters A and B used for specifying the image quality correction parameter may be specified separately.
  • one value may be specified for the entire image quality correction area, or may be specified for each pixel in the image quality correction area.
  • the basic parameter for changing the image quality correction parameter for each pixel is used to specify the image quality correction parameter. May be used.
  • FIG. 6 is an explanatory diagram for explaining an example of basic parameters for changing the image quality correction parameter for each pixel.
  • the parameter C which is an example of a basic parameter for changing the image quality correction parameter for each pixel, is specified based on the distance from the gaze position as shown in FIG.
  • the parameter C is a predetermined value when the distance from the gaze position is equal to or less than the predetermined threshold Th13, and is linear according to the distance from the gaze position when the distance is equal to or greater than the threshold Th13 and equal to or less than the predetermined threshold Th14.
  • the threshold Th14 is equal to or greater than Th14, the value is 0.
  • the predetermined threshold Th14 may be the predetermined distance D1 shown in FIG. 5, and with such a configuration, the parameter C corresponding to a pixel outside the image quality correction region is specified as 0.
  • the correspondence relationship for specifying the basic parameters for changing the image quality correction parameters shown in FIG. 6 for each pixel is an example, and can be arbitrarily designed.
  • the correspondence may be designed so that the pixel closer to the gaze position is likely to have a larger image quality correction parameter.
  • the correction information specifying unit 112 may specify the image quality correction parameter for each pixel by integrating the parameter C obtained as described above with, for example, the parameter A and the parameter B described above.
  • the integration process may include processes such as addition and multiplication, for example. With such a configuration, when the wearing user 7 is gazing, the image quality correction parameter tends to be large.
  • the correction information specifying unit 112 may specify an image quality correction parameter according to each image quality correction.
  • the blur / image quality correction unit 114 has a function as a blur correction unit that performs blur correction on an image provided from the optical distortion correction unit 108 and a function as an image quality correction unit that performs image quality correction. Note that the image provided from the optical distortion correction unit 108 to the shake / image quality correction unit 114 is obtained by performing optical distortion correction on the VR image, and thus can be said to be an image according to the movement of the wearing user 7. .
  • FIG. 7 is an explanatory diagram for explaining the blur correction performed by the blur / image quality correction unit 114.
  • the blur / image quality correction unit 114 identifies the amount of motion and direction in the image P2 (referred to as a full-screen motion vector together with both amount of motion and direction). Note that the full-screen motion vector may be specified based on the head motion, or may be specified based on time-series image processing.
  • the blur / image quality correction unit 114 sets a pixel movement (phase shift) vector in a direction opposite to the full-screen motion vector.
  • the blur / image quality correction unit 114 uses the blur correction parameter to control the pixel movement amount that is the size of the pixel movement vector. For example, the larger the blur correction parameter, the greater the pixel movement amount. Also good.
  • FIG. 7 shows an example of the full screen motion vector V1 and the pixel movement vector V2.
  • the blur / image quality correction unit 114 performs signal processing for moving a pixel based on a pixel movement vector. Since the pixel value cannot be obtained in the outer portion of the image, the blur / image quality correction unit 114 cuts out the central region R2 of the image after the pixel movement and performs an enlargement process so as to have the same size as the original image P2. Apply.
  • the blur correction method performed by the blur / image quality correction unit 114 is not limited to the above example. Even if the blur / image quality correction unit 114 performs the blur correction by another method, the blur correction parameter is set such that the greater the blur correction parameter, the greater the effect of the blur correction (the more the blur is suppressed). May be used to perform blur correction.
  • the blur / image quality correction unit 114 performs image quality correction on the image provided from the optical distortion correction unit 108. Note that the blur / image quality correction unit 114 may apply the image quality correction to the image quality correction area specified by the correction information specifying unit 112 in the image.
  • the image quality correction performed by the blur / image quality correction unit 114 may include, for example, contrast enhancement correction or amplitude enhancement correction. Regardless of which image quality correction is performed, the blur / image quality correction unit 114 controls the strength in the image quality correction using the image quality correction parameter.
  • the contrast enhancement correction may include, for example, conversion using a gamma curve or histogram adjustment.
  • the blur / image quality correction unit 114 may perform control such as adjusting the gamma curve according to the image quality correction parameter, or mixing the signals before and after enhancement according to the image quality correction parameter.
  • the amplitude enhancement correction may include, for example, an enhancement filter such as an unsharp filter or enhancement correction by super-resolution processing.
  • the blur / image quality correction unit 114 may perform control such as mixing the signals before and after the adjustment according to the image quality correction parameter.
  • the image subjected to the shake correction and the image quality correction by the shake / image quality correction unit 114 is output to the stationary display device 5 (second display device) described with reference to FIG.
  • the configuration of the information processing apparatus 1 according to the present embodiment has been described above, but what is illustrated in FIG. 2 is an example, and the present technology is not limited to the example.
  • the information processing apparatus 1 may have a function not shown in FIG. 2, or some of the functions shown in FIG. 2 may be provided in another apparatus.
  • the stationary display device 5 may have the function of the shake / image quality correction unit 114.
  • the information processing apparatus 1 outputs the image subjected to optical distortion correction, the blur correction parameter, the image quality correction area, the image quality correction parameter, and the like to the installation type display device 5 (first display device).
  • blur correction and image quality correction may be performed.
  • FIG. 2 all the functions shown in FIG. 2 may be included in the HMD 3 or the installation type display device 5.
  • FIG. 8 is a flowchart showing an operation example of the information processing apparatus 1 according to the present embodiment.
  • the head movement acquisition unit 102 first acquires head movement (S102). Subsequently, the viewpoint movement command value calculation unit 104 calculates a viewpoint movement command value based on the head movement acquired in step S102 (S104).
  • the VR image generation unit 106 generates a VR image based on the viewpoint movement command value calculated in step S104 (S106).
  • the optical distortion correction unit 108 performs optical distortion correction for correcting pre-distortion on the VR image generated in step S106 (S108).
  • the line-of-sight information acquisition unit 110 acquires line-of-sight information (S110). Note that the acquisition of the line-of-sight information may be performed any time before the next step S112.
  • the correction information specifying unit 112 specifies correction information (S112 to S118). First, the correction information specifying unit 112 specifies an image quality correction region based on the line-of-sight information acquired in S110 (S112).
  • the correction information specifying unit 112 specifies the parameter A described with reference to FIG. 3 based on the head movement (S114). Further, the correction information specifying unit 112 specifies the parameter B described with reference to FIG. 4 based on the line-of-sight movement (S116). The processes in steps S114 and S116 may be performed in parallel.
  • correction information specifying unit 112 integrates the parameter A and the parameter B, and specifies the blur correction parameter and the image quality correction parameter (S118).
  • the blur / image quality correction unit 114 uses the blur correction parameter, the image quality correction area, and the image quality correction parameter to perform the blur correction and the image quality correction on the image subjected to the optical distortion correction in step S108 (S120). , S122).
  • the VR image generated in step S106 is output to the HMD 3, and the image subjected to the blur correction and the image quality correction in steps S120 and S122 is output to the stationary display device 5 (S124).
  • FIG. 8 shows an example in which one image quality correction parameter is specified for the entire image quality correction area. However, when an image quality correction parameter is specified for each pixel, steps S110 and S118 are performed. In the meantime, the parameter C described with reference to FIG. 6 may be further specified.
  • FIG. 9 is an explanatory diagram for explaining a modification in which optical distortion correction and blur correction are performed simultaneously.
  • the blur correction parameter is used as in the example described with reference to FIG. 7, and the pixel movement vector V22 is set in the opposite direction to the full screen motion vector V21 in the image P20.
  • the center region of the image is cut out after the signal processing for moving the pixel is performed.
  • the center region R22 is moved according to the pixel movement vector V22.
  • the cut region R24 after the movement is cut out.
  • the optical distortion correction and the blur correction are performed at the same time, and the amount of calculation can be suppressed.
  • the first embodiment of the present disclosure has been described. According to this embodiment, it is possible to perform blur correction that more reflects the intention of the wearing user 7 related to viewpoint movement. Furthermore, according to the present embodiment, image quality correction is performed on an area that is watched by the wearing user 7, and visibility is improved. Further, the higher the tendency that the wearing user 7 is gazing at the image quality correction, the stronger the image quality correction is performed, and the visibility is improved.
  • Second Embodiment> In the first embodiment, the example in which the line-of-sight information of the wearing user 7 is used as the gaze information has been described. Hereinafter, an example in which attracting information estimated based on an image is used as gaze information will be described as a second embodiment of the present disclosure. The second embodiment is partially the same as the first embodiment, and will be described while being omitted as appropriate.
  • FIG. 10 is a block diagram illustrating a configuration example of the information processing apparatus 1-2 according to the present embodiment.
  • An information processing apparatus 1-2 illustrated in FIG. 10 corresponds to the information processing apparatus 1 illustrated in FIG.
  • the information processing apparatus 1-2 according to the present embodiment includes a head movement acquisition unit 102, a viewpoint movement command value calculation unit 104, a VR image generation unit 106, an optical distortion correction unit 108, a shake / image quality.
  • a correction unit 114, an attraction information estimation unit 121, and a correction information identification unit 122 are provided.
  • the configurations given the same reference numerals as the configurations shown in FIG. 2 are the same as the configurations shown in FIG.
  • the attraction information estimation unit 121 estimates attraction information (an example of gaze information) based on the image that has been subjected to the optical distortion correction by the optical distortion correction unit 108.
  • the attraction information estimated by the attraction information estimation unit 121 may include, for example, an attraction area (an example of an attention area) that is likely to be watched by the wearing user 7 and an attraction level that indicates how easily the image is being watched. With this configuration, for example, even when the HMD 3 does not include a sensor for acquiring line-of-sight information, it is possible to acquire gaze information.
  • FIG. 10 shows an example in which the image subjected to the optical distortion correction by the optical distortion correction unit 108 is provided to the attraction information estimation unit 121, but the attraction information estimation unit 121 is provided by the VR image generation unit 106.
  • the attraction information may be estimated from the generated VR image.
  • the attraction information estimation unit 121 divides the entire image into a plurality of blocks (areas), for example, calculates an image feature amount for each block, and specifies the degree of attraction based on the image feature amount.
  • FIG. 11 is a schematic diagram schematically illustrating an example of region division by the attraction information estimation unit 121.
  • the image P3 is divided into 25 regions of blocks B1 to B25.
  • the shape of the divided blocks is not limited to a square, and the area of the blocks may be nonuniform. .
  • the image feature amount calculated for each block by the attraction information estimation unit 121 may include, for example, the distance from the image center, the edge concentration, the degree of deformation in the time direction, and the like.
  • the distance from the center of the image may be, for example, the distance from the center of the image to the center of each block.
  • Distance from image center ⁇ ⁇ (Vertical block center coordinates-Vertical image center coordinates) ⁇ 2 + (Horizontal block center coordinates-Horizontal image center coordinates) ⁇ 2 ⁇
  • edge concentration degree may be a sum of amplitudes, and is obtained by the following equation, for example.
  • Edge concentration ⁇ (absolute value of horizontal adjacent pixel difference) + ⁇ (absolute value of vertical adjacent pixel difference)
  • the degree of deformation in the time direction may be a difference between a past image for a unit time and an image in consideration of motion, and is obtained by the following equation, for example.
  • Degree of deformation in the time direction ⁇ (error between pixels after motion vector compensation)
  • telops are considered to have no deformation, so if the inter-pixel difference after motion vector compensation is small, it can be assumed that the telops etc.
  • the attraction information estimation unit 121 estimates the degree of attraction for each block using the image feature amount calculated as described above.
  • FIG. 12 to FIG. 14 are explanatory diagrams showing examples of attracting degree estimation.
  • the degree of attraction for each block is specified according to the distance from the image center.
  • the degree of attraction decreases linearly according to the distance from the image center when the distance from the image center is equal to or less than a predetermined threshold Th21, and is 0 when the distance is greater than or equal to the threshold Th21.
  • the degree of attraction for each block is specified in accordance with the degree of edge concentration.
  • the degree of attraction increases linearly with the degree of edge concentration.
  • the degree of attraction for each block is specified according to the degree of deformation in the time direction.
  • the degree of attraction decreases linearly according to the degree of deformation in the time direction.
  • the correspondence relationship for specifying the degree of attraction shown in FIGS. 12 to 14 is an example, and can be designed arbitrarily.
  • the attraction information estimation unit 121 may specify the degree of attraction using any of the correspondence relationships shown in FIGS. 12 to 14, or the attraction obtained by the correspondence relationships shown in FIGS.
  • the degree of attraction for each block may be specified by integrating the degrees.
  • the integration process may include processes such as addition and multiplication, for example.
  • the attraction information estimation unit 121 may adopt the highest attraction level among the attraction levels specified for each block as the attraction level of the image. Moreover, the area of the block for which the highest degree of attraction is specified may be used as the attraction area. Note that the degree of attraction of the image is not limited to such an example, and for example, an average value of the degree of attraction of the upper predetermined number (for example, 3) blocks may be adopted as the degree of attraction of the image.
  • the method for estimating attraction information is not limited to the above example.
  • a character area recognized by an image recognition technology based on CNN Convolutional Neural Network
  • an area that is easily watched, or the like may be estimated as an attraction area, and the degree of attraction of the image based on the score in the recognition. May be estimated.
  • the correction information identification unit 122 identifies the blur correction performed by the blur / image quality correction unit 114 and the correction information used for the image quality correction, similar to the correction information identification unit 112 described above.
  • the correction information specifying unit 122 includes the head movement acquired by the head movement acquisition unit 102 (an example of motion information) and the attraction information estimated by the attraction information estimation unit 121 (an example of gaze information). Based on the above, the blur correction parameter is specified.
  • the correction information specifying unit 122 may specify the shake correction parameter based on the plurality of basic parameters after specifying the plurality of basic parameters.
  • the correction information specifying unit 122 may use the degree of attraction of the image estimated by the attraction information estimation unit 121 as a basic parameter, or may specify the basic parameter based on the degree of attraction.
  • the basic parameter (which may be the degree of attraction itself) specified based on the degree of attraction is referred to as parameter D.
  • the method for specifying the parameter D based on the degree of attraction is not limited.
  • the parameter D may be specified from the degree of attraction using an appropriately designed correspondence.
  • the correction information specifying unit 122 may specify the blur correction parameter by integrating the parameter A described with reference to FIG. 3 and the parameter D based on the degree of attraction.
  • the integration process may include processes such as addition and multiplication, for example. With such a configuration, when a VR image that is easy for the wearing user 7 to watch is displayed, the blur correction parameter tends to increase.
  • the correction information specifying unit 122 specifies image quality correction information related to image quality correction performed by the blur / image quality correcting unit 114, similar to the correction information specifying unit 112 described above.
  • the correction information specifying unit 122 according to the present embodiment may specify the attraction area (gaze area) estimated by the attraction information estimation unit 121 as the image quality correction area. Further, the correction information specifying unit 122 according to the present embodiment may specify the image quality correction parameter using the parameter D described above as a basic parameter in addition to the parameters A and C described above.
  • FIG. 15 is a flowchart showing an operation example of the information processing apparatus 1-2 according to the present embodiment.
  • the processing in steps S202 to S208 shown in FIG. 15 is the same as the processing in steps S102 to S108 described with reference to FIG.
  • the attraction information estimation unit 121 estimates attraction information based on the image (S210).
  • the correction information specifying unit 122 specifies correction information (S212 to S218).
  • the correction information specifying unit 122 specifies the attractive area included in the attractive information estimated in step S210 as an image quality correction area (S212).
  • the correction information specifying unit 122 specifies the parameter A described with reference to FIG. 3 based on the head movement (S214). Further, the correction information specifying unit 122 specifies the parameter D based on the degree of attraction (S216). The processes in steps S214 and S216 may be performed in parallel.
  • correction information specifying unit 122 integrates the parameter A and the parameter D, and specifies the blur correction parameter and the image quality correction parameter (S218).
  • FIG. 16 is a block diagram illustrating a configuration example of the information processing apparatus 1-3 according to the present embodiment.
  • An information processing apparatus 1-3 illustrated in FIG. 16 corresponds to the information processing apparatus 1 illustrated in FIG.
  • the information processing apparatus 1-3 according to the present embodiment includes a head movement acquisition unit 102, a viewpoint movement command value calculation unit 104, a VR image generation unit 106, an optical distortion correction unit 108, and line-of-sight information acquisition.
  • Unit 110 blur / image quality correction unit 114, attraction information estimation unit 121, and correction information identification unit 132.
  • configurations given the same reference numerals as the configurations shown in FIG. 2 or 10 are the same as the configurations shown in FIG. 2 or FIG.
  • the correction information specifying unit 132 specifies the shake correction performed by the shake / image quality correcting unit 114 and the correction information used for the image quality correction, similar to the correction information specifying unit 112 and the correction information specifying unit 122 described above.
  • the correction information specifying unit 132 includes the head movement (an example of movement information) acquired by the head movement acquisition unit 102 and the line-of-sight information acquired by the line-of-sight information acquisition unit 110 (an example of gaze information). Based on the attraction information (an example of gaze information) estimated by the attraction information estimation unit 121, the blur correction parameter is specified. For example, the correction information specifying unit 132 may specify the shake correction parameter based on the plurality of basic parameters after specifying the plurality of basic parameters.
  • the correction information specifying unit 132 integrates the parameter A, the parameter B, and the parameter D based on the degree of attraction described with reference to FIGS. 3 and 4 to specify the shake correction parameter. Also good.
  • the degree of attraction used to specify the parameter D may be the degree of attraction of the image described with reference to FIGS. 11 to 14, or the block to which the line-of-sight position belongs among the blocks described with reference to FIG. May be the degree of attraction.
  • the degree of attraction used for specifying the parameter D is the degree of attraction estimated from the image feature amount calculated using the pixel of the gaze area (for example, the area R1 shown in FIG. 5) estimated based on the line-of-sight information. It may be.
  • the correction information specifying unit 132 specifies image quality correction information related to the image quality correction performed by the shake / image quality correcting unit 114. As described with reference to FIG. 5, the correction information specifying unit 132 according to the present embodiment may specify the image quality correction region based on the line-of-sight information, and the attraction region estimated by the attraction information estimation unit 121. The image quality correction area may be specified. Further, the correction information specifying unit 132 according to the present embodiment may specify the image quality correction region by integrating the region specified based on the line-of-sight information and the attracting region. For example, the image quality correction is performed on a region where both overlap. It may be specified as a region.
  • correction information specifying unit 132 may specify the image quality correction parameter using the parameter D described above as a basic parameter in addition to the parameter A, parameter B, and parameter C described above.
  • FIG. 17 is a flowchart showing an operation example of the information processing apparatus 1-3 according to the present embodiment.
  • the processes in steps S302 to S310 shown in FIG. 17 are the same as the processes in steps S102 to S110 described with reference to FIG.
  • the process of step S312 shown in FIG. 17 is the same as the process of step S210 described with reference to FIG.
  • the correction information specifying unit 132 specifies correction information (S314 to S322).
  • the correction information specifying unit 132 specifies the image quality correction region based on the line-of-sight information acquired in step S310 or the attraction information estimated in step S312 (S312).
  • the correction information specifying unit 132 specifies the parameter A described with reference to FIG. 3 based on the head movement (S316). Further, the correction information specifying unit 132 specifies the parameter B described with reference to FIG. 4 based on the line-of-sight movement (S318). Further, the correction information specifying unit 132 specifies the parameter D based on the degree of attraction (S320). The processes in steps S316 to S320 may be performed in parallel.
  • correction information specifying unit 132 integrates the parameter A, the parameter B, and the parameter D to specify the blur correction parameter and the image quality correction parameter (S322).
  • the subsequent steps S324 to S328 are the same as the steps S120 to S124 described with reference to FIG.
  • FIG. 18 is a block diagram illustrating a configuration example of the information processing apparatus 1-4 according to the present embodiment.
  • An information processing apparatus 1-4 illustrated in FIG. 18 corresponds to the information processing apparatus 1 illustrated in FIG.
  • the information processing apparatus 1-4 according to the present embodiment includes a head movement acquisition unit 102, a viewpoint movement command value calculation unit 104, a VR image generation unit 106, an optical distortion correction unit 108, and line-of-sight information acquisition.
  • Unit 110 blur / image quality correction unit 114, attraction information estimation unit 121, operation information acquisition unit 141, and correction information identification unit 142.
  • configurations having the same reference numerals as those shown in FIG. 2, FIG. 10, or FIG. 16 are the same as the configurations shown in FIG. 2, FIG. 10, or FIG. Therefore, the description is omitted.
  • the operation information acquisition unit 141 acquires operation information related to the operation of the wearing user 7.
  • the operation information may be input through an input device such as a remote controller (remote controller), a game controller, a keyboard, a mouse, a touch panel, and buttons.
  • the operation information acquisition unit 141 may be such an input device or a reception unit that receives and acquires operation information from the input device.
  • the operation information may include information such as presence / absence of input, input duration, and the like.
  • the correction information specifying unit 142 specifies blur correction performed by the blur / image quality correcting unit 114 and correction information used for image quality correction, similar to the correction information specifying unit 112, the correction information specifying unit 122, and the correction information specifying unit 132 described above. To do.
  • the correction information specifying unit 142 sets the shake correction parameter further based on the operation information acquired by the operation information acquisition unit 141. Identify.
  • the correction information specifying unit 142 may specify the shake correction parameter based on the plurality of basic parameters after specifying the plurality of basic parameters.
  • the correction information specifying unit 142 may specify basic parameters based on operation information in addition to the basic parameters described in the first to third embodiments.
  • the basic parameter based on the operation information is referred to as parameter E.
  • the parameter E may be specified so as to increase as the time during which the wearing user 7 performs the menu operation is longer, for example.
  • the wearing user 7 is performing a menu operation, there is a high possibility that the user is gazing at the menu screen. With this configuration, when the wearing user 7 is gazing, the blur correction parameter tends to be large. .
  • the correction information specifying unit 142 specifies image quality correction information related to image quality correction performed by the blur / image quality correcting unit 114.
  • the correction information specifying unit 142 may specify the image quality correction region in the same manner as the correction information specifying unit 132 described above.
  • the correction information specifying unit 142 may specify the entire image as an image quality correction region.
  • correction information specifying unit 132 may specify an image quality correction parameter using the parameter E described above as a basic parameter in addition to the parameter A, parameter B, parameter C, and parameter D described above. .
  • the configuration example of the information processing apparatus 1-4 according to the present embodiment has been described above.
  • 18 shows an example in which both the line-of-sight information and the attraction information are used as gaze information as in the third embodiment, but the line-of-sight is the same as in the first embodiment or the second embodiment. Only one of the information attracting information may be used as gaze information.
  • FIG. 19 is a flowchart showing an operation example of the information processing apparatus 1-4 according to the present embodiment.
  • the processing in steps S402 to S412 shown in FIG. 19 is the same as the processing in steps S302 to S312 shown in FIG.
  • the operation information acquisition unit 141 acquires operation information related to the operation of the wearing user 7 (S414).
  • the correction information specifying unit 142 specifies correction information (S416 to S426).
  • the correction information specifying unit 142 specifies an image quality correction region based on the line-of-sight information acquired in step S410, the attracting information estimated in step S412 or the line-of-sight information acquired in step S414 (S416).
  • the correction information specifying unit 142 specifies the parameter A described with reference to FIG. 3 based on the head movement (S418). Further, the correction information specifying unit 142 specifies the parameter B described with reference to FIG. 4 based on the line-of-sight movement (S420). Further, the correction information specifying unit 142 specifies the parameter D based on the degree of attraction (S422). Further, the correction information specifying unit 142 specifies the parameter E based on the operation information (S424). The processes in steps S418 to S424 may be performed in parallel.
  • correction information specifying unit 142 integrates the parameter A, the parameter B, the parameter D, and the parameter E, and specifies the blur correction parameter and the image quality correction parameter (S426).
  • the subsequent processing in steps S428 to S432 is the same as the processing in steps S120 to S124 described with reference to FIG.
  • the correction information is specified based on the operation information of the wearing user 7, so that it is possible to perform blur correction and image quality correction that more reflect the intention of the wearing user 7.
  • FIG. 20 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing apparatus 900 illustrated in FIG. 20 can realize, for example, the information processing apparatus 1, the HMD 3, and the stationary display apparatus 5 illustrated in FIG.
  • Information processing by the information processing apparatus 1, the HMD 3, and the installation display apparatus 5 according to the embodiment of the present disclosure is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 includes, for example, a viewpoint movement command value calculation unit 104, a VR image generation unit 106, an optical distortion correction unit 108, correction information specification units 112, 122, 132, 142, a shake / image quality correction unit 114, an attraction information estimation unit 121, and the like. Can be formed.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the input device 906 can form the operation information acquisition unit 141, for example.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900.
  • the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the sensor 915 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 900 itself, such as the posture and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900.
  • Sensor 915 may also include a GPS sensor that receives GPS signals and measures the latitude, longitude, and altitude of the device.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the present technology is not limited to the example, and the blur for the image corresponding to the user's movement is used. Widely applicable for correction.
  • a first-person viewpoint image based on imaging of a camera worn by a user is an image corresponding to the movement of the wearing user. Therefore, when a viewer other than the wearing user views the first person viewpoint image, or when the wearing user views the first person viewpoint image after shooting, the viewpoint movement (blur) due to unintended movement of the wearing user and the viewpoint movement due to the intended movement are performed. It is desirable to perform blur correction on the first person viewpoint image. Therefore, the above-described present technology can be applied to such a first-person viewpoint image.
  • the motion information related to the user's motion is not limited to the head motion.
  • the movement information may be head movement
  • the movement information May be information about the movement of the neck.
  • each step in the above embodiment does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the flowchart diagram or may be processed in parallel.
  • An information processing apparatus including a correction information specifying unit that specifies a shake correction parameter related to shake correction for an image corresponding to a user's motion based on user's motion information and gaze information related to the user's gaze.
  • the gaze information includes line-of-sight information regarding the line of sight of the user.
  • the correction information specifying unit specifies the blur correction parameter based on a period in which the user's line-of-sight movement is a predetermined amount or less.
  • the gaze information includes attraction information estimated based on the image according to the movement of the user.
  • the gaze information specifies the blur correction parameter based on a degree of attraction indicating how easily the image is gazed according to the movement of the user.
  • the blur correction parameter is used to control a pixel movement amount in the blur correction.
  • the correction information specifying unit further specifies image quality correction information related to image quality correction for the image corresponding to the user's movement. .
  • the image quality correction information includes an image quality correction parameter related to the image quality correction.
  • the information processing apparatus (9) The information processing apparatus according to (8), wherein the image quality correction parameter is used for intensity control in the image quality correction.
  • the image quality correction information includes an image quality correction area to which the image quality correction is applied.
  • the correction information specifying unit specifies the image quality correction area according to a gaze position or a gaze area based on the gaze information.
  • the image quality correction includes contrast enhancement correction or amplitude enhancement correction.
  • the correction information specifying unit specifies the blur correction parameter further based on operation information related to an operation of the user.
  • the information processing apparatus according to any one of (1) to (13), wherein the information processing apparatus outputs an image corresponding to the movement of the user to a first display device worn by the user. .
  • the information processing apparatus according to (14), wherein the information processing apparatus outputs the blur correction parameter or the image subjected to the blur correction to a second display apparatus different from the first display apparatus.
  • the image corresponding to the user's movement is an image based on an image generated from a viewpoint corresponding to the user's movement.
  • the image according to the movement of the user is an image based on imaging of a camera attached to the user.
  • An information processing method including: a processor specifying a shake correction parameter related to a shake correction for an image corresponding to a user's motion based on user's motion information and gaze information related to the user's gaze.
  • An information processing device a first display device worn by a user, and a second display device different from the first display device, The information processing apparatus includes a correction information specifying unit that specifies a shake correction parameter related to a shake correction for an image corresponding to the user's movement based on the user's movement information and the gaze information about the user's gaze.
  • the first display device displays an image according to the movement of the user
  • the second display device displays the image subjected to the blur correction; Information processing system.
  • On the computer A program for realizing a function for specifying a blur correction parameter related to blur correction for an image corresponding to a user's motion based on user's motion information and gaze information related to the user's gaze.

Abstract

装着ユーザの意図しない動きによる視点移動と、意図した動きによる視点移動とが区別されないことにより共有ユーザに不自然な画像が表示されることを防ぐために、装着ユーザの動き情報と、装着ユーザの注視に関する注視情報に基づいて、装着ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータを特定して、視点移動に係るユーザの意図をより反映したブレ補正を施す。

Description

情報処理装置、情報処理方法、情報処理システム、及びプログラム
　本開示は、情報処理装置、情報処理方法、情報処理システム、及びプログラムに関する。
　撮影画像のブレを補正するブレ補正技術が知られている。例えば、下記特許文献１には、揺動を検出するセンサにより出力された揺動検出信号に基づいて撮影画像の揺動を抑制する、ブレ補正機能を有する撮影装置が記載されている。
　一方、近年、ＨＭＤ（Head　Mounted　Display）等の装着型デバイスを装着したユーザ（以下、装着ユーザと呼称する場合がある）の動きに応じて視点が移動する画像を、当該装着型デバイスに表示させる技術が普及しつつある。また、装着ユーザ以外のユーザ（以下、共有ユーザと呼称する場合がある）にも装着ユーザの視界を共有するため、係る画像をＨＭＤに表示させると共に、他のディスプレイにも表示させることが行われている。
特開昭６０―１４３３３０号公報
　上記のような装着ユーザの動きに応じて視点が移動する画像は、例えば装着ユーザの意図しない動きに応じて発生する視点移動の影響により、共有ユーザにとって快適に見ることが困難な場合がある。そこで、視認性を高めるため、係る画像に対してブレ補正を施して、共有ユーザへ提示することも考えられる。
　しかし、係る画像に対して上述したようなブレ補正を適用すると、装着ユーザの意図しない動きによる視点移動（ブレ）と意図した動きによる視点移動とが区別されないため、不自然な画像が表示されてしまう恐れがあった。
　そこで、本開示では、視点移動に係るユーザの意図をより反映したブレ補正を施すことが可能な、情報処理装置、情報処理方法、情報処理システム、及びプログラムを提案する。
　本開示によれば、ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータを特定する、補正情報特定部を備える情報処理装置が提供される。
　また、本開示によれば、ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータをプロセッサが特定すること、を含む情報処理方法が提供される。
　また、本開示によれば、情報処理装置、ユーザにより装着される第１の表示装置、及び前記第１の表示装置とは異なる第２の表示装置を含み、前記情報処理装置は、ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータを特定する、補正情報特定部を備え、前記第１の表示装置は、前記ユーザの動きに応じた画像を表示し、前記第２の表示装置は、前記ブレ補正が施された画像を表示する、情報処理システムが提供される。
　また、本開示によれば、コンピュータに、ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータを特定する機能を実現させるための、プログラムが提供される。
　以上説明したように本開示によれば、視点移動に係るユーザの意図をより反映したブレ補正を施すことが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の各実施形態に共通する情報処理システム１０の概略構成を説明するための説明図である。 本開示の第１の実施形態に係る情報処理装置１の構成例を示すブロック図である。 基礎パラメータの例を説明するための説明図である。 基礎パラメータの例を説明するための説明図である。 同実施形態に係る補正情報特定部１１２による注視位置に応じた画質補正領域の特定を説明するための説明図である。 画質補正パラメータを画素ごとに変化させるための基礎パラメータの例を説明するための説明図である。 同実施形態に係るブレ・画質補正部１１４が施すブレ補正を説明するための説明図である。 同実施形態に係る情報処理装置１の動作例を示すフローチャート図である。 光学歪補正とブレ補正が同時に施される変形例を説明するための説明図である。 本開示の第２の実施形態に係る情報処理装置１－２の構成例を示すブロック図である。 同実施形態に係る誘目情報推定部１２１による領域分割の例を模式的に示す模式図である。 誘目度推定の例を示す説明図である。 誘目度推定の例を示す説明図である。 誘目度推定の例を示す説明図である。 同実施形態に係る情報処理装置１－２の動作例を示すフローチャート図である。 本開示の第３の実施形態に係る情報処理装置１－３の構成例を示すブロック図である。 同実施形態に係る情報処理装置１－３の動作例を示すフローチャート図である。 本開示の第４の実施形態に係る情報処理装置１－４の構成例を示すブロック図である。 同実施形態に係る情報処理装置１－４の動作例を示すフローチャート図である。 ハードウェア構成例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．概要＞＞
　＜＜２．各実施形態の詳細な説明＞＞
　　＜２－１．第１の実施形態＞
　　＜２－２．第２の実施形態＞
　　＜２－３．第３の実施形態＞
　　＜２－４．第４の実施形態＞
　＜＜３．ハードウェア構成例＞＞
　＜＜４．むすび＞＞
　＜＜１．概要＞＞
　まず、図１を参照して、本開示の各実施形態に共通する情報処理システム１０の概略構成について説明する。図１は情報処理システム１０の概略構成を説明するための説明図である。図１に示すように、情報処理システム１０は、情報処理装置１と、第１の表示装置であるＨＭＤ３と、第２の表示装置である設置型表示装置５と、を備える。
　情報処理装置１は、ＨＭＤ３と設置型表示装置５へ画像を出力する。図１には、情報処理装置１がＰＣ（Personal　Computer）である例を示しているが、情報処理装置１は係る例に限定されず、例えばゲーム機やスマートフォン等であってもよい。ＨＭＤ３は装着ユーザ７により装着された表示装置であり、例えば情報処理装置１から出力された画像を表示する。また、ＨＭＤ３は、装着ユーザ７の頭部動き（動き情報の一例）や視線情報を取得するセンサを備えてもよい。設置型表示装置５は、例えば大画面の表示装置であり、情報処理装置１から出力された画像を表示する。なお、図１では、情報処理装置１とＨＭＤ３、及び情報処理装置１と設置型表示装置５が直接接続される例を示しているが、係る例に限定されず、これらの装置は不図示の通信網を介して接続されてもよい。
　本開示の各実施形態に係る情報処理装置１は、ＶＲ（Virtual　Reality）画像を生成し、ＨＭＤ３へ出力する。本明細書において、ＶＲ画像とは、ユーザの動きに応じた視点で生成（レンダリング）される画像である。
　また、ＶＲ画像は、ＣＧ（コンピュータグラフィックス）のような仮想的な画像であってもよいし、撮像に基づいた画像であってもよい。例えば、ＶＲ画像は、ゲーム等の３ＤＣＧ空間における当該視点で生成される画像であってもよいし、全天球カメラ等を用いて撮影された全天球画像における当該視点で生成される画像であってもよい。なお、本明細書において、画像とは静止画像に限定されず、動画像を含んだ表現として用いられる。
　図１に示す例では、ＨＭＤ３を装着した装着ユーザ７の頭部動きに応じた視点で生成された画像がＶＲ画像である。装着ユーザ７の頭部動きは、例えばＨＭＤ３が有する加速度センサやジャイロセンサにより取得されて、情報処理装置１へ提供される。
　また、情報処理装置１は、装着ユーザ７の視界を装着ユーザ７以外のユーザであ共有ユーザ９Ａ～９Ｄに共有するため、ＶＲ画像に基づく画像を設置型表示装置５へ出力する。なお、以下では、設置型表示装置５へ出力されるＶＲ画像に基づく画像を共有画像と呼称する。共有画像はＶＲ画像と同一の画像であってもよいし、ＶＲ画像に対して画像処理等を施して得た画像であってもよい。
　ここで、ＶＲ画像は、装着ユーザ７に提供するためにＨＭＤ３で表示する前提で生成されるため、そのまま設置型表示装置５で表示するには適さない場合がある。例えば、ＶＲ画像は装着ユーザ７の頭部動きに応じて生成のための視点が移動し、画像ブレが発生しやすいため、ＶＲ画像をそのまま設置型表示装置５に表示すると、視認し難く、また映像酔いが発生する恐れがある。
　そこで、ビデオカメラ等で用いられているブレ補正技術を応用し、ＶＲ画像に対してブレ補正を施すことが考えられる。しかし、装着ユーザ７の意図しない動きによる視点移動と意図した動きによる視点移動とを区別することなくＶＲ画像に対してブレ補正を施してしまうと、不自然な画像が表示されてしまう恐れがあった。
　例えば、装着ユーザ７がＶＲ画像中の文字を注視している場合、装着ユーザ７の意図しない頭部の動き（例えば姿勢のブレによる振動）により共有画像にブレが発生すると、共有ユーザ９にとって文字を認識し難く、また映像酔いが発生する恐れがある。したがって、装着ユーザ７の意図しない頭部の動きが発生した場合にはブレ補正を施すことが望ましい。一方で装着ユーザ７が意図的に視点移動した場合、装着ユーザ７の視界を共有するという目的を鑑みると、ブレ補正を施さない方が望ましい。
　そこで、上記事情を一着眼点にして本開示に係る各実施形態を創作するに至った。本開示に係る各実施形態によれば、装着ユーザ７の動き情報と、装着ユーザ７の注視に関する注視情報に基づいて、ＶＲ画像に施されるブレ補正を制御する。例えば、装着ユーザ７がＨＭＤ３に表示されたＶＲ画像中の点や物体を注視しているような場合には、より強いブレ補正が施され、装着ユーザ７が注視していないような場合にはブレ補正が施されない、またはより弱いブレ補正が施されるようにブレ補正が制御される。そのため、本開示に係る各実施形態によれば、視点移動に係る装着ユーザ７の意図をより反映したブレ補正を施すことが可能となる。以下では、上記の効果を実現する各実施形態について、順次詳細に説明する。
　＜＜２．各実施形態の詳細な説明＞＞
　　＜２－１．第１の実施形態＞
　（構成）
　まず、本開示の第１の実施形態に係る情報処理装置１の構成例について図２を参照して詳細に説明する。図２は、本実施形態に係る情報処理装置１の構成例を示すブロック図である。図２に示す情報処理装置１は、図１に示した情報処理装置１に相当する。図２に示すように、本実施形態に係る情報処理装置１は、頭部動き取得部１０２、視点移動指令値算出部１０４、ＶＲ画像生成部１０６、光学歪補正部１０８、視線情報取得部１１０、補正情報特定部１１２、及びブレ・画質補正部１１４を備える。
　頭部動き取得部１０２は、図１を参照して説明したＨＭＤ３を装着した装着ユーザ７の頭部動き（動き情報の一例）を取得する。頭部動きは、例えば頭部動きの大きさ（動き量）と方向の情報を含む。
　例えば、頭部動き取得部１０２は、例えばＨＭＤ３が有する加速度センサやジャイロセンサから入力される信号に基づいて頭部動きを取得してもよい。なお、本技術は係る例に限定されず、頭部動きは、装着ユーザ７がＨＭＤ３とは別に装着したセンサにより取得されてもよいし、装着ユーザ７を撮影する不図示のカメラにより取得された画像に基づいて特定されてもよい。
　視点移動指令値算出部１０４は、頭部動き取得部１０２により取得された頭部動きに基づいて、ＶＲ画像生成のための視点を移動させる指令値（視点移動指令値）を算出する。視点とは、ＶＲ画像の生成が行われる３次元空間における、ＶＲ画像生成のための位置や方向、画角等のパラメータを含めた表現であり、視点移動指令値算出部１０４は各パラメータを制御する指令値を算出してもよい。
　ＶＲ画像生成部１０６は、視点移動指令値算出部１０４により算出された視点移動指令値に基づいて、ＶＲ画像を生成する。なお、ＶＲ画像生成部１０６は、ＶＲ画像を生成するために、必要なコンテンツ（例えば３ＤＣＧデータ等）を不図示の記憶部や、不図示のネットワークで接続された他の装置から取得してもよい。
　ＶＲ画像生成部１０６は、ＨＭＤ３の表示に適するようにＶＲ画像を生成してもよい。例えば、ＶＲ画像の表示に用いられるＨＭＤ３は、液晶面と装着ユーザ７の目との間に拡大レンズを有してもよく、係る場合、拡大レンズによって液晶面に表示される画像が装着ユーザ７に歪んで視認される。そのため、ＶＲ画像生成部１０６は、予め拡大レンズの歪と逆方向に歪ませる処理を施してＶＲ画像を生成してもよい。なお、以下では、係る処理により予め与えられる、拡大レンズの歪と逆方向の歪をプレ歪と呼称する。
　ＶＲ画像生成部１０６により生成されたＶＲ画像は、図１を参照して説明したＨＭＤ３（第１の表示装置）へ出力される。また、ＶＲ画像生成部１０６により生成されたＶＲ画像は光学歪補正部１０８へも提供される。なお、情報処理装置１からＨＭＤ３へ出力されるＶＲ画像が右目用の画像と左目用の画像を含むステレオ画像である場合、光学歪補正部１０８へ提供されるＶＲ画像は、右目用の画像、左目用の画像のうちいずれか一方のみであってもよい。係る場合であっても、以下では光学歪補正部１０８へ提供された画像をＶＲ画像と呼ぶ。
　光学歪補正部１０８は、ＶＲ画像に対し、上述したプレ歪を補正する光学歪補正を施す。光学歪補正部１０８は、光学歪補正を施して得た画像をブレ・画質補正部１１４へ提供する。
　例えば光学歪補正部１０８は、ＨＭＤ３が有する拡大レンズと同様の歪を信号処理で再現して補正する光学歪補正を施してもよい。係る構成により、設置型表示装置５に表示される画像においてプレ歪の影響が抑制されて、視認性が向上する。
　また、光学歪補正部１０８は、ＶＲ画像の中央部を切出すことで光学歪補正を施してもよい。ＶＲ画像の中央部はプレ歪の影響が小さいため、中央部を切出すことで設置型表示装置５に表示される画像においてプレ歪による影響が抑制される。また、係る光学歪補正は、拡大レンズと同様の歪を信号処理で再現する光学歪補正よりも演算量が小さいという利点もある。
　なお、設置型表示装置５の表示サイズに合わせて切出された画像に対して適宜拡大処理が施されてもよい。係る拡大処理は光学歪補正部１０８により行われてもよいし、他の処理ブロック、または他の装置（例えば設置型表示装置５）により行われてもよい。
　視線情報取得部１１０は、図１を参照して説明したＨＭＤ３を装着した装着ユーザ７の視線に関する視線情報（注視情報の一例）を取得する。例えば、視線情報取得部１１０は、例えばＨＭＤ３が有する視線センサ（カメラ）から入力される信号に基づいて視線情報を取得してもよい。なお、本技術は係る例に限定されず、視線情報は、装着ユーザ７がＨＭＤ３とは別に装着したセンサにより取得されてもよい。
　視線情報取得部１１０が取得する視線情報は、例えばＨＭＤ３に表示された画像（ＶＲ画像）における視線位置を含んでもよい。
　補正情報特定部１１２は、後述するブレ・画質補正部１１４が施すブレ補正、及び画質補正に用いられる補正情報を特定する。補正情報は、後述するブレ補正パラメータと画質補正情報とを含む。
　例えば、補正情報特定部１１２は、ブレ・画質補正部１１４が施すブレ補正に関するブレ補正パラメータを特定する。なお、ブレ補正パラメータは、ブレ補正における画素移動量の制御に用いられ、ブレ補正パラメータが大きい程、より強い（画素移動量が大きい）ブレ補正が施される。
　本実施形態に係る補正情報特定部１１２は、頭部動き取得部１０２により取得された頭部動き（動き情報の一例）と、視線情報取得部１１０により取得された視線情報（注視情報の一例）に基づいて、ブレ補正パラメータを特定する。例えば、補正情報特定部１１２は複数の基礎パラメータを特定した後、複数の基礎パラメータに基づいてブレ補正パラメータを特定してもよい。図３、図４は、基礎パラメータの例を説明するための説明図である。
　基礎パラメータの一例であるパラメータＡは、頭部動きに基づいて特定され、より具体的には図３に示すように単位時間当たりの頭部動き量（頭部動きの大きさ）に応じて特定されてもよい。パラメータＡは、図３に示す例において、単位時間当たりの頭部動き量が所定の閾値Ｔｈ１１以下の場合に、単位時間当たりの頭部動き量に応じて線形に減少し、閾値Ｔｈ１１以上の場合に０である。
　基礎パラメータの一例であるパラメータＢは、視線移動に基づいて特定され、より具体的には図４に示すように視線移動が所定量以下の期間に応じて特定されてもよい。パラメータＢは、図４に示す例において、視線移動が所定量以下の期間が所定の閾値Ｔｈ１２以下の場合に０であり、閾値Ｔｈ１２以上の場合に視線移動が所定量以下の期間に応じて線形に増加する。
　補正情報特定部１１２は、上記のように得られたパラメータＡとパラメータＢを統合することにより、ブレ補正パラメータを特定する。なお、統合処理は、例えば加算、乗算等の処理を含んでもよい。係る構成により、装着ユーザ７が注視している場合には、ブレ補正パラメータが大きくなりやすい。
　なお、図３、図４に示した基礎パラメータ特定のための対応関係（関数）は一例であって、任意に設計可能である。例えば、装着ユーザ７が注視している場合には、ブレ補正パラメータが大きくなりやすくなるように、対応関係が設計されてもよい。
　また、補正情報特定部１１２は、ブレ・画質補正部１１４が施す画質補正に関する画質補正情報を特定する。補正情報特定部１１２が特定する画質補正情報は、当該画質補正が適用される画質補正領域と、当該画質補正に関する画質補正パラメータと、を含む。なお、画質補正パラメータは、画質補正における強度の制御に用いられ、画質補正パラメータが大きい程、より強い画質補正が施される。
　画質補正領域は、例えば装着ユーザ７がＶＲ画像において注視している領域であることが望ましく、係る構成により、例えば設置型表示装置５において、装着ユーザ７の注視対象（文字や物体等）の視認性が向上する。そこで、補正情報特定部１１２は、例えば注視位置に応じて画質補正領域を特定してもよい。なお、本実施形態に係る補正情報特定部１１２は、視線情報取得部１１０により取得された視線情報に含まれる現在の視線位置を注視位置としてもよいし、所定期間における視線位置の平均位置を注視位置としてもよい。
　図５は、補正情報特定部１１２による注視位置に応じた画質補正領域の特定を説明するための説明図である。図５に示すように、補正情報特定部１１２は、画像Ｐ１中の注視位置Ｃ１から所定の距離Ｄ１内の範囲を画質補正領域Ｒ１として特定してもよい。なお、図５に示したのは一例であって、画質補正領域Ｒ１の形状は円形に限定されず、楕円、四角形、閉じた自由な形状であってもよい。また、補正情報特定部１１２は、物体境界を検出する領域分割技術を用い、注視位置が属する領域を画質補正領域として特定してもよい。
　補正情報特定部１１２は、頭部動き取得部１０２により取得された頭部動き（動き情報の一例）と、視線情報取得部１１０により取得された視線情報（注視情報の一例）に基づいて、画質補正パラメータを特定する。例えば、補正情報特定部１１２は複数の基礎パラメータを特定した後、複数の基礎パラメータに基づいて画質補正パラメータを特定してもよい。
　なお、画質補正パラメータの特定に用いられる複数の基礎パラメータは、図３，図４を参照して説明したブレ補正パラメータの特定に用いられる複数の基礎パラメータと同様であってもよいし、異なっていてもよい。例えば、ブレ補正パラメータと、画質補正パラメータとで、用いられる基礎パラメータ特定のための対応関係が、適宜設計されてもよい。したがって、ブレ補正パラメータの特定に用いられるパラメータＡ、及びパラメータＢと画質補正パラメータの特定に用いられるパラメータＡ、及びパラメータＢとは別々に特定されてもよい。
　画質補正パラメータは、画質補正領域全体で１つの値が特定されてもよいし、画質補正領域内の画素ごとに特定されてもよい。画質補正領域内の画素ごとに画質補正パラメータが特定される場合、ブレ補正パラメータの特定に用いられる基礎パラメータに加えて、画質補正パラメータを画素ごとに変化させるための基礎パラメータが画質補正パラメータの特定に用いられてもよい。図６は画質補正パラメータを画素ごとに変化させるための基礎パラメータの例を説明するための説明図である。
　画質補正パラメータを画素ごとに変化させるための基礎パラメータの一例であるパラメータＣは、図６に示すように注視位置からの距離に基づいて特定される。パラメータＣは図６に示す例において、注視位置からの距離が所定の閾値Ｔｈ１３以下の場合に所定値であり、閾値Ｔｈ１３以上かつ所定の閾値Ｔｈ１４以下の場合に注視位置からの距離に応じて線形に減少し、閾値Ｔｈ１４以上の場合に０である。なお、所定の閾値Ｔｈ１４は、図５に示した所定の距離Ｄ１であってもよく、係る構成により、画質補正領域の外の画素に対応するパラメータＣが０に特定される。
　なお、図６に示した画質補正パラメータを画素ごとに変化させるための基礎パラメータ特定のための対応関係は一例であって、任意に設計可能である。例えば、注視位置に近い画素程、画質補正パラメータが大きくなりやすくなるように、対応関係が設計されてもよい。
　補正情報特定部１１２は、上記のように得られたパラメータＣを、例えば上述したパラメータＡとパラメータＢと統合することにより、画素ごとに画質補正パラメータを特定してもよい。なお、統合処理は、例えば加算、乗算等の処理を含んでもよい。係る構成により、装着ユーザ７が注視している場合には、画質補正パラメータが大きくなりやすい。
　なお、ブレ・画質補正部１１４が複数の画質補正を施す場合、補正情報特定部１１２は、各画質補正に応じて、画質補正パラメータを特定してもよい。
　ブレ・画質補正部１１４は、光学歪補正部１０８から提供される画像を対象として、ブレ補正を施すブレ補正部としての機能と、画質補正を施す画質補正部としての機能を有する。なお、光学歪補正部１０８からブレ・画質補正部１１４へ提供される画像は、ＶＲ画像に光学歪補正を施すことで得られているため、装着ユーザ７の動きに応じた画像であるといえる。
　図７はブレ・画質補正部１１４が施すブレ補正を説明するための説明図である。ブレ・画質補正部１１４は、画像Ｐ２における動き量と方向（動き量と方向の両方を合わせて全画面動きベクトルと呼ぶ）を特定する。なお、全画面動きベクトルは、頭部動きに基づいて特定されてもよいし、時系列的な画像処理に基づいて特定されてもよい。
　さらに、ブレ・画質補正部１１４は、全画面動きベクトルと反対方向に画素移動（位相シフト）ベクトルを設定する。ブレ・画質補正部１１４は、ブレ補正パラメータを用いて、画素移動ベクトルの大きさである画素移動量を制御し、例えばブレ補正パラメータが大きい程、画素移動量がより大きくなるように制御してもよい。図７には全画面動きベクトルＶ１と画素移動ベクトルＶ２の例が示されている。
　ブレ・画質補正部１１４は、画素移動ベクトルに基づいて画素移動させる信号処理を施す。なお、画像の外側部分では、画素値が得られなくなるため、ブレ・画質補正部１１４は、画素移動後の画像の中央領域Ｒ２を切出し、元の画像Ｐ２と同じサイズになるように拡大処理を施す。
　なお、ブレ・画質補正部１１４が施すブレ補正の方法は上記の例に限定されない。ブレ・画質補正部１１４は、他の方法でブレ補正を施す場合であっても、ブレ補正パラメータが大きい程、ブレ補正の効果がより大きくなる（よりブレが抑制される）ようにブレ補正パラメータを用いてブレ補正を施してよい。
　また、ブレ・画質補正部１１４は、光学歪補正部１０８から提供される画像を対象として画質補正を施す。なお、ブレ・画質補正部１１４は、当該画像のうち補正情報特定部１１２により特定された画質補正領域に画質補正を適用してもよい。
　ブレ・画質補正部１１４が施す画質補正は、例えばコントラスト強調補正、または振幅強調補正を含んでもよい。いずれの画質補正が施される場合であってもブレ・画質補正部１１４は、画質補正パラメータを用いて画質補正における強度を制御する。
　コントラスト強調補正は、例えばガンマカーブによる変換や、ヒストグラム調整を含んでもよい。ブレ・画質補正部１１４は、例えば画質補正パラメータに応じてガンマカーブを調整する、強調前後の信号を画質補正パラメータに応じてミキシングする、といった制御を行ってもよい。
　振幅強調補正は、例えばアンシャープフィルタのような強調フィルタや、超解像処理による強調補正を含んでもよい。ブレ・画質補正部１１４は、例えば調前後の信号を画質補正パラメータに応じてミキシングする、といった制御を行ってもよい。
　ブレ・画質補正部１１４によりブレ補正と画質補正が施された画像は、図１を参照して説明した設置型表示装置５（第２の表示装置）へ出力される。
　以上、本実施形態に係る情報処理装置１の構成を説明したが、図２に示したのは一例であり、本技術は係る例に限定されない。情報処理装置１は図２に示されない機能を有していてもよいし、図２に示した機能のうち一部の機能が他の装置に備えられていてもよい。
　例えば、設置型表示装置５がブレ・画質補正部１１４の機能を有していてもよい。係る場合、情報処理装置１は、光学歪補正が施された画像、ブレ補正パラメータ、画質補正領域、及び画質補正パラメータ等を設置型表示装置５（第１の表示装置）へ出力し、設置型表示装置５において、ブレ補正と画質補正が施されてもよい。
　また、図２に示した全ての機能が、ＨＭＤ３、または設置型表示装置５に含まれてもよい。
　（動作）
　続いて、本実施形態に係る情報処理装置１の動作を説明する。図８は本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
　図８に示すように、まず頭部動き取得部１０２が頭部動きを取得する（Ｓ１０２）。続いて、視点移動指令値算出部１０４が、ステップＳ１０２で取得された頭部動きに基づいて視点移動指令値を算出する（Ｓ１０４）。
　続いて、ＶＲ画像生成部１０６が、ステップＳ１０４で算出された視点移動指令値に基づいて、ＶＲ画像を生成する（Ｓ１０６）。
　続いて、光学歪補正部１０８が、ステップＳ１０６で生成されたＶＲ画像に対し、プレ歪を補正する光学歪補正を施す（Ｓ１０８）。
　続いて、視線情報取得部１１０が視線情報を取得する（Ｓ１１０）。なお、係る視線情報の取得は、次のステップＳ１１２以前であれば、いつ行われてもよい。
　続いて、補正情報特定部１１２が、補正情報の特定を行う（Ｓ１１２～Ｓ１１８）。まず、補正情報特定部１１２は、Ｓ１１０で取得された視線情報に基づいて画質補正領域を特定する（Ｓ１１２）。
　続いて、補正情報特定部１１２は、頭部動きに基づいて、図３を参照して説明したパラメータＡを特定する（Ｓ１１４）。また、補正情報特定部１１２は、視線移動に基づいて、図４を参照して説明したパラメータＢを特定する（Ｓ１１６）。係るステップＳ１１４、Ｓ１１６の処理は並列に行われてもよい。
　さらに、補正情報特定部１１２は、パラメータＡ、及びパラメータＢを統合して、ブレ補正パラメータ、及び画質補正パラメータを特定する（Ｓ１１８）。
　続いて、ブレ・画質補正部１１４がブレ補正パラメータ、画質補正領域、及び画質補正パラメータを用いて、ステップＳ１０８で光学歪補正が施された画像を対象としたブレ補正と画質補正を施す（Ｓ１２０、Ｓ１２２）。
　さらに、ステップＳ１０６で生成されたＶＲ画像がＨＭＤ３へ出力され、ステップＳ１２０、Ｓ１２２でブレ補正と画質補正が施された画像が設置型表示装置５へ出力される（Ｓ１２４）。
　以上、図８を参照して本実施形態に係る情報処理装置１の動作例を説明した。なお、図８に示したステップＳ１０２～Ｓ１２４の処理は適宜繰り返されてもよい。また、図８では、画質補正領域全体に対して１つの画質補正パラメータが特定される場合の例を示したが、画素ごとに画質補正パラメータが特定される場合には、ステップＳ１１０とステップＳ１１８の間に、図６を参照して説明したパラメータＣがさらに特定されてもよい。
　（変形例）
　以上、本実施形態の構成例と動作例を説明した。なお、上記では、光学歪補正が施された画像を対象としてブレ補正、及び画質補正が施される例を説明したが、本実施形態は係る例に限定されない。例えば、光学歪補正は省略されてもよいし、光学歪補正とブレ補正が同時に施されてもよい。
　図９は光学歪補正とブレ補正が同時に施される変形例を説明するための説明図である。本変形例においても、図７を参照して説明した例と同様にブレ補正パラメータが用いられて、画像Ｐ２０において全画面動きベクトルＶ２１と反対方向に画素移動ベクトルＶ２２が設定される。図７を参照して説明した例では、画素移動させる信号処理が施された後、画像の中央領域が切出されたが、本変形例では、中央領域Ｒ２２を画素移動ベクトルＶ２２に応じて移動させた移動後の切出し領域Ｒ２４が切出される。ここで、切出し領域Ｒ２４の大きさを適切に設定することにより、プレ歪の影響を抑制する光学歪補正を施すことが可能である。
　係る構成によれば、光学歪補正とブレ補正が同時に施され、演算量を抑制することが可能となる。
　（効果）
　以上、本開示の第１の実施形態について説明した。本実施形態によれば、視点移動に係る装着ユーザ７の意図をより反映したブレ補正を施すことが可能である。さらに、本実施形態によれば、装着ユーザ７により注視される領域に画質補正が施されて、視認性が向上する。また、画質補正は、装着ユーザ７が注視している傾向が大きい程、強い強度で施されて、視認性が向上する。
　　＜２－２．第２の実施形態＞
　上記第１の実施形態では、注視情報として、装着ユーザ７の視線情報が用いられる例を説明した。以下では、本開示の第２の実施形態として、画像に基づいて推定される誘目情報が注視情報として用いられる例を説明する。なお、第２の実施形態は、一部において第１の実施形態と同様であるため、適宜省略しながら説明する。
　（構成）
　図１０は、本実施形態に係る情報処理装置１－２の構成例を示すブロック図である。図１０に示す情報処理装置１－２は、図１に示した情報処理装置１に相当する。図１０に示すように、本実施形態に係る情報処理装置１－２は、頭部動き取得部１０２、視点移動指令値算出部１０４、ＶＲ画像生成部１０６、光学歪補正部１０８、ブレ・画質補正部１１４、誘目情報推定部１２１、及び補正情報特定部１２２を備える。図１０に示した構成のうち、図２に示した構成と同一の符号を付された構成は、図２に示した構成と同様であるため、説明を省略する。
　誘目情報推定部１２１は、光学歪補正部１０８により光学歪補正が施された画像に基づいて誘目情報（注視情報の一例）を推定する。誘目情報推定部１２１により推定される誘目情報は、例えば装着ユーザ７に注視されやすい誘目領域（注視領域の一例）や、当該画像の注視されやすさを示す誘目度を含んでもよい。係る構成により、例えばＨＭＤ３が視線情報を取得するためのセンサを備えていない場合であっても、注視情報を取得することが可能である。
　なお、図１０では、光学歪補正部１０８により光学歪補正が施された画像が誘目情報推定部１２１へ提供される例を示しているが、誘目情報推定部１２１は、ＶＲ画像生成部１０６により生成されたＶＲ画像から誘目情報を推定してもよい。
　誘目情報推定部１２１は、例えば画像全体を複数のブロック（領域）に分割して、ブロックごとに画像特徴量を算出し、画像特徴量に基づいて誘目度を特定する。図１１は、誘目情報推定部１２１による領域分割の例を模式的に示す模式図である。図１１に示す例では画像Ｐ３がブロックＢ１～Ｂ２５の２５個の領域に分割されているが、分割されるブロックの形状は四角形に限定されず、またブロックの面積が不均一であってもよい。
　誘目情報推定部１２１がブロックごとに算出する画像特徴量は、例えば画像中心からの距離、エッジの集中度、時間方向の変形度等を含んでもよい。
　画像中心からの距離は、例えば画像中心から各ブロックの中心までの距離であってもよく、例えば下式で求められる。
　画像中心からの距離＝√｛（垂直ブロック中心座標 - 垂直画像中心座標）^２＋（水平ブロック中心座標 - 水平画像中心座標）^２｝
　また、エッジの集中度は、振幅の和であってもよく、例えば下式で求められる。
　エッジの集中度＝Σ（水平方向隣接画素差分の絶対値)＋Σ（垂直方向隣接画素差分の絶対値）
　また、時間方向の変形度は、単位時間だけ過去の画像と、動きを考慮した画像間の差分であってもよく、例えば下式で求められる。
　時間方向の変形度＝Σ（動きベクトル補償後の画素間誤差）
　例えば、テロップ等は変形が無いと考えられるので、動きベクトル補償後の画素間差分は小さければ、テロップ等だと推測できる
　誘目情報推定部１２１は、上記のようにして算出した画像特徴量を用いてブロックごとに誘目度を推定する。図１２～図１４は、誘目度推定の例を示す説明図である。
　図１２に示す例では、画像中心からの距離に応じてブロックごとの誘目度が特定される。図１２に示す例では、誘目度は画像中心からの距離が所定の閾値Ｔｈ２１以下の場合に、画像中心からの距離に応じて線形に減少し、閾値Ｔｈ２１以上の場合に０である。
　図１３に示す例では、エッジの集中度に応じてブロックごとの誘目度が特定される。図１３に示す例では、誘目度はエッジの集中度に応じて線形に増加する。
　図１４に示す例では、時間方向の変形度に応じてブロックごとの誘目度が特定される。図１４に示す例では、誘目度は時間方向の変形度に応じて線形に減少する。
　なお、図１２～図１４に示した誘目度特定のための対応関係は一例であって、任意に設計可能である。また、誘目情報推定部１２１は、図１２～図１４に示した対応関係のいずれかを用いて誘目度を特定してもよいし、図１２～図１４に示した対応関係により得られた誘目度を統合して、ブロックごとの誘目度を特定してもよい。なお、統合処理は、例えば加算、乗算等の処理を含んでもよい。
　誘目情報推定部１２１は、ブロックごとに特定された誘目度のうち最も高い誘目度を、当該画像の誘目度として採用してもよい。また、当該最も高い誘目度が特定されたブロックの領域を誘目領域としてもよい。なお、画像の誘目度は、係る例に限定されず、例えば上位所定数（例えば３）のブロックの誘目度の平均値が画像の誘目度として採用されてもよい。
　なお、誘目情報の推定方法は上記の例に限定されない。例えば、ＣＮＮ（Convolutional　Neural　Network）等に基づく画像認識技術により認識された文字領域や注視されやすい領域等が、誘目領域として推定されてもよいし、係る認識におけるスコアに基づいて、画像の誘目度が推定されてもよい。
　補正情報特定部１２２は、上述した補正情報特定部１１２と同様、ブレ・画質補正部１１４が施すブレ補正、及び画質補正に用いられる補正情報を特定する。
　本実施形態に係る補正情報特定部１２２は、頭部動き取得部１０２により取得された頭部動き（動き情報の一例）と、誘目情報推定部１２１により推定された誘目情報（注視情報の一例）に基づいて、ブレ補正パラメータを特定する。例えば、補正情報特定部１２２は複数の基礎パラメータを特定した後、複数の基礎パラメータに基づいてブレ補正パラメータを特定してもよい。
　例えば、本実施形態に係る補正情報特定部１２２は、誘目情報推定部１２１により推定された画像の誘目度を、基礎パラメータとしてもよいし、誘目度に基づいて基礎パラメータを特定してもよい。以下では、誘目度に基づいて特定される基礎パラメータ（誘目度そのものであってもよい）をパラメータＤと呼称する。誘目度に基づくパラメータＤの特定方法は限定されないが、例えば適宜設計された対応関係を用いて誘目度からパラメータＤが特定されてもよい。
　補正情報特定部１２２は、図３を参照して説明したパラメータＡと、誘目度に基づくパラメータＤを統合して、ブレ補正パラメータを特定してもよい。なお、統合処理は、例えば加算、乗算等の処理を含んでもよい。係る構成により、装着ユーザ７が注視しやすいＶＲ画像が表示される場合には、ブレ補正パラメータが大きくなりやすい。
　また、補正情報特定部１２２は、上述した補正情報特定部１１２と同様、ブレ・画質補正部１１４が施す画質補正に関する画質補正情報を特定する。本実施形態に係る補正情報特定部１２２は、誘目情報推定部１２１により推定された誘目領域（注視領域）を画質補正領域として特定してもよい。また、本実施形態に係る補正情報特定部１２２は、上述したパラメータＡ，パラメータＣに加え、上述したパラメータＤを基礎パラメータとして用いて、画質補正パラメータを特定してもよい。
　（動作）
　以上、本実施形態に係る情報処理装置１－２の構成例を説明した。続いて、本実施形態の動作を説明する。図１５は本実施形態に係る情報処理装置１－２の動作例を示すフローチャート図である。図１５に示すステップＳ２０２～Ｓ２０８の処理は、図８を参照して説明したステップＳ１０２～Ｓ１０８の処理と同様であるため、説明を省略する。
　続いて、誘目情報推定部１２１が、画像に基づいて誘目情報を推定する（Ｓ２１０）。続いて、補正情報特定部１２２が、補正情報の特定を行う（Ｓ２１２～Ｓ２１８）。
　まず、補正情報特定部１２２は、ステップＳ２１０で推定された誘目情報に含まれる誘目領域を画質補正領域として特定する（Ｓ２１２）。
　続いて、補正情報特定部１２２は、頭部動きに基づいて、図３を参照して説明したパラメータＡを特定する（Ｓ２１４）。また、補正情報特定部１２２は、誘目度に基づいてパラメータＤを特定する（Ｓ２１６）。係るステップＳ２１４、Ｓ２１６の処理は並列に行われてもよい。
　さらに、補正情報特定部１２２は、パラメータＡ、及びパラメータＤを統合して、ブレ補正パラメータ、及び画質補正パラメータを特定する（Ｓ２１８）。
　続くステップＳ２２０～Ｓ２２４の処理は、図８を参照して説明したステップＳ１２０～Ｓ１２４の処理と同様であるため、説明を省略する。
　（効果）
　以上、本開示の第２の実施形態について説明した。本実施形態によれば、視線情報取得のためのセンサが、ＨＭＤ３に備えられていない場合や、装着ユーザ７に装着されていない場合であっても、上述した第１の実施形態と同様の効果を得ることが可能となる。
　　＜２－３．第３の実施形態＞
　上記第１の実施形態では、注視情報として視線情報が用いられる例を、上記第２の実施形態では注視情報として誘目情報が用いられる例を説明した。以下では、第３の実施形態として、視線情報と誘目情報の両方が注視情報として用いられる例を説明する。なお、第３の実施形態は、一部において第１の実施形態、または第２の実施形態と同様であるため、適宜省略しながら説明する。
　（構成）
　図１６は、本実施形態に係る情報処理装置１－３の構成例を示すブロック図である。図１６に示す情報処理装置１－３は、図１に示した情報処理装置１に相当する。図１６に示すように、本実施形態に係る情報処理装置１－３は、頭部動き取得部１０２、視点移動指令値算出部１０４、ＶＲ画像生成部１０６、光学歪補正部１０８、視線情報取得部１１０、ブレ・画質補正部１１４、誘目情報推定部１２１、及び補正情報特定部１３２を備える。図１６に示した構成のうち、図２または図１０に示した構成と同一の符号を付された構成は、図２または図１０に示した構成と同様であるため、説明を省略する。
　補正情報特定部１３２は、上述した補正情報特定部１１２、補正情報特定部１２２と同様、ブレ・画質補正部１１４が施すブレ補正、及び画質補正に用いられる補正情報を特定する。
　本実施形態に係る補正情報特定部１３２は、頭部動き取得部１０２により取得された頭部動き（動き情報の一例）と、視線情報取得部１１０により取得された視線情報（注視情報の一例）と、誘目情報推定部１２１により推定された誘目情報（注視情報の一例）と、に基づいて、ブレ補正パラメータを特定する。例えば、補正情報特定部１３２は複数の基礎パラメータを特定した後、複数の基礎パラメータに基づいてブレ補正パラメータを特定してもよい。
　例えば、本実施形態に係る補正情報特定部１３２は、図３、図４を参照して説明したパラメータＡ，パラメータＢ、及び誘目度に基づくパラメータＤを統合して、ブレ補正パラメータを特定してもよい。
　なお、パラメータＤの特定に用いられる誘目度は、図１１～１４を参照して説明した画像の誘目度であってもよいし、図１１を参照して説明したブロックのうち視線位置が属するブロックの誘目度であってもよい。
　また、パラメータＤの特定に用いられる誘目度は、視線情報に基づいて推定される注視領域（例えば図５に示した領域Ｒ１）の画素を用いて算出される画像特徴量から推定される誘目度であってもよい。
　また、補正情報特定部１３２は、ブレ・画質補正部１１４が施す画質補正に関する画質補正情報を特定する。本実施形態に係る補正情報特定部１３２は、図５を参照して説明したように視線情報に基づいて画質補正領域を特定してもよいし、誘目情報推定部１２１により推定された誘目領域を画質補正領域として特定してもよい。また、本実施形態に係る補正情報特定部１３２は、視線情報に基づいて特定される領域と、誘目領域を統合して画質補正領域を特定してもよく、例えば両方が重複する領域を画質補正領域として特定してもよい。
　また、本実施形態に係る補正情報特定部１３２は、上述したパラメータＡ、パラメータＢ、パラメータＣに加え、上述したパラメータＤを基礎パラメータとして用いて、画質補正パラメータを特定してもよい。
　（動作）
　以上、本実施形態に係る情報処理装置１－３の構成例を説明した。続いて、本実施形態の動作を説明する。図１７は本実施形態に係る情報処理装置１－３の動作例を示すフローチャート図である。図１７に示すステップＳ３０２～Ｓ３１０の処理は、図８を参照して説明したステップＳ１０２～Ｓ１１０の処理と同様であるため、説明を省略する。また、図１７に示すステップＳ３１２の処理は、図１５を参照して説明したステップＳ２１０の処理と同様であるため、説明を省略する。
　続いて、補正情報特定部１３２が、補正情報の特定を行う（Ｓ３１４～Ｓ３２２）。
　まず、補正情報特定部１３２は、ステップＳ３１０で取得された視線情報、またはステップＳ３１２で推定された誘目情報に基づき、画質補正領域を特定する（Ｓ３１２）。
　続いて、補正情報特定部１３２は、頭部動きに基づいて、図３を参照して説明したパラメータＡを特定する（Ｓ３１６）。また、補正情報特定部１３２は、視線移動に基づいて、図４を参照して説明したパラメータＢを特定する（Ｓ３１８）。また、補正情報特定部１３２は、誘目度に基づいてパラメータＤを特定する（Ｓ３２０）。係るステップＳ３１６～Ｓ３２０の処理は並列に行われてもよい。
　さらに、補正情報特定部１３２は、パラメータＡ、パラメータＢ、及びパラメータＤを統合して、ブレ補正パラメータ、及び画質補正パラメータを特定する（Ｓ３２２）。続くステップＳ３２４～Ｓ３２８の処理は、図８を参照して説明したステップＳ１２０～Ｓ１２４の処理と同様であるため、説明を省略する。
　（効果）
　以上、本開示の第３の実施形態について説明した。本実施形態によれば、視線情報と誘目情報の両方が注視情報として用いられるため、装着ユーザ７の意図をより反映したブレ補正、及び画質補正を施すことが可能となる。
　　＜２－４．第４の実施形態＞
　上記第１～第３の実施形態では、頭部動きと注視情報に基づいて補正情報が特定される例を説明したが、補正情報は、他の情報にさらに基づいて特定されてもよい。以下では、第４の実施形態として、装着ユーザ７の操作に関する操作情報にさらに基づいて補正情報が特定される例を説明する。なお、第４の実施形態は、一部において第１～第３の実施形態と同様であるため、適宜省略しながら説明する。
　（構成）
　図１８は、本実施形態に係る情報処理装置１－４の構成例を示すブロック図である。図１８に示す情報処理装置１－４は、図１に示した情報処理装置１に相当する。図１８に示すように、本実施形態に係る情報処理装置１－４は、頭部動き取得部１０２、視点移動指令値算出部１０４、ＶＲ画像生成部１０６、光学歪補正部１０８、視線情報取得部１１０、ブレ・画質補正部１１４、誘目情報推定部１２１、操作情報取得部１４１及び補正情報特定部１４２を備える。図１８に示した構成のうち、図２、図１０、または図１６に示した構成と同一の符号を付された構成は、図２、図１０、または図１６に示した構成と同様であるため、説明を省略する。
　操作情報取得部１４１は、装着ユーザ７の操作に関する操作情報を取得する。操作情報は、例えばリモコン（リモートコントローラ）、ゲームのコントローラ、キーボード、マウス、タッチパネル、ボタン等の入力装置を介して入力されてもよい。なお、操作情報取得部１４１は、係る入力装置であってもよいし、係る入力装置から操作情報を受信して取得する受信部であってもよい。操作情報は、例えば入力の有無、入力継続時間等の情報を含んでもよい。
　補正情報特定部１４２は、上述した補正情報特定部１１２、補正情報特定部１２２、補正情報特定部１３２と同様、ブレ・画質補正部１１４が施すブレ補正、及び画質補正に用いられる補正情報を特定する。
　本実施形態に係る補正情報特定部１４２は、頭部動き（動き情報の一例）と、注視情報の一例）に加え、操作情報取得部１４１により取得された操作情報にさらに基づいてブレ補正パラメータを特定する。例えば、補正情報特定部１４２は複数の基礎パラメータを特定した後、複数の基礎パラメータに基づいてブレ補正パラメータを特定してもよい。
　例えば、補正情報特定部１４２は第１～第３の実施形態で説明した基礎パラメータに加えて、操作情報に基づく基礎パラメータを特定してもよい。以下では、操作情報に基づく基礎パラメータをパラメータＥと呼称する。
　パラメータＥは、例えば、装着ユーザ７がメニュー操作をしている時間が長い程、大きくなるように特定されてもよい。装着ユーザ７がメニュー操作をしている場合には、メニュー画面を注視している可能性が高いため、係る構成により、装着ユーザ７が注視している場合には、ブレ補正パラメータが大きくなりやすい。
　また、補正情報特定部１４２は、ブレ・画質補正部１１４が施す画質補正に関する画質補正情報を特定する。本実施形態に係る補正情報特定部１４２は、上述した補正情報特定部１３２と同様にして、画質補正領域を特定してもよい。また、装着ユーザ７がメニュー操作をしている時間が長い場合、補正情報特定部１４２は、画像全体を画質補正領域として特定してもよい。
　また、本実施形態に係る補正情報特定部１３２は、上述したパラメータＡ、パラメータＢ、パラメータＣ、パラメータＤに加え、上述したパラメータＥを基礎パラメータとして用いて、画質補正パラメータを特定してもよい。
　以上、本実施形態に係る情報処理装置１－４の構成例を説明した。なお、図１８では、第３の実施形態と同様に視線情報と誘目情報の両方が注視情報として用いられる例を示しているが、第１の実施形態、または第２の実施形態と同様に視線情報誘目情報のうち、一方のみが注視情報として用いられてもよい。
　（動作）
　続いて、本実施形態の動作を説明する。図１９は本実施形態に係る情報処理装置１－４の動作例を示すフローチャート図である。図１９に示すステップＳ４０２～Ｓ４１２の処理は、図１７に示したステップＳ３０２～Ｓ３１２の処理と同様であるため、説明を省略する。
　続いて、操作情報取得部１４１が装着ユーザ７の操作に関する操作情報を取得する（Ｓ４１４）。続いて、補正情報特定部１４２が、補正情報の特定を行う（Ｓ４１６～Ｓ４２６）。
　まず、補正情報特定部１４２は、ステップＳ４１０で取得された視線情報、ステップＳ４１２で推定された誘目情報、またはステップＳ４１４で取得された視線情報に基づき、画質補正領域を特定する（Ｓ４１６）。
　続いて、補正情報特定部１４２は、頭部動きに基づいて、図３を参照して説明したパラメータＡを特定する（Ｓ４１８）。また、補正情報特定部１４２は、視線移動に基づいて、図４を参照して説明したパラメータＢを特定する（Ｓ４２０）。また、補正情報特定部１４２は、誘目度に基づいてパラメータＤを特定する（Ｓ４２２）。また、補正情報特定部１４２は、操作情報に基づいてパラメータＥを特定する（Ｓ４２４）。係るステップＳ４１８～Ｓ４２４の処理は並列に行われてもよい。
　さらに、補正情報特定部１４２は、パラメータＡ、パラメータＢ、パラメータＤ、及びパラメータＥを統合して、ブレ補正パラメータ、及び画質補正パラメータを特定する（Ｓ４２６）。続くステップＳ４２８～Ｓ４３２の処理は、図８を参照して説明したステップＳ１２０～Ｓ１２４の処理と同様であるため、説明を省略する。
　（効果）
　以上、本開示の第４の実施形態について説明した。本実施形態によれば、装着ユーザ７の操作情報に基づいて補正情報が特定されるため、装着ユーザ７の意図をより反映したブレ補正、及び画質補正を施すことが可能となる。
　＜＜３．ハードウェア構成例＞＞
　以上、本開示の実施形態を説明した。最後に、図２０を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２０は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２０に示す情報処理装置９００は、例えば、図１に示した情報処理装置１、ＨＭＤ３、設置型表示装置５を実現し得る。本開示の実施形態に係る情報処理装置１、ＨＭＤ３、設置型表示装置５による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図２０に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、視点移動指令値算出部１０４、ＶＲ画像生成部１０６、光学歪補正部１０８、補正情報特定部１１２、１２２、１３２、１４２、ブレ・画質補正部１１４、誘目情報推定部１２１等を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば操作情報取得部１４１を形成し得る。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜４．むすび＞＞
　以上説明したように、本開示の各実施形態によれば、視点移動に係るユーザの意図をより反映したブレ補正を施すことが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、ＶＲ画像を対象としたブレ補正に本技術が適用される例を説明したが、本技術は係る例に限定されず、ユーザの動きに応じた画像を対象としたブレ補正に広く適用可能である。
　例えば、ユーザ（装着ユーザ）に装着されたカメラの撮像に基づく一人称視点画像は、装着ユーザの動きに応じた画像である。そのため、装着ユーザ以外の視聴者が一人称視点画像を見る場合、または装着ユーザが撮影後に一人称視点画像を見る場合、装着ユーザの意図しない動きによる視点移動（ブレ）と意図した動きによる視点移動とを区別して、一人称視点画像にブレ補正を施すことが望ましい。したがって、このような一人称視点画像に対しても、上述した本技術を適用することが可能である。また、係る場合、ユーザの動きに関する動き情報は頭部動きに限定されない。例えば、一人称視点画像取得用のカメラが装着ユーザの頭部に装着される場合には、動き情報は頭部動きであってもよいし、装着ユーザの首に装着される場合には、動き情報は首の動きに関する情報であってもよい。
　また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータを特定する、補正情報特定部を備える情報処理装置。
（２）
　前記注視情報は、前記ユーザの視線に関する視線情報を含む、前記（１）に記載の情報処理装置。
（３）
　前記補正情報特定部は、前記ユーザの視線移動が所定量以下である期間に基づいて、前記ブレ補正パラメータを特定する、前記（２）に記載の情報処理装置。
（４）
　前記注視情報は、前記ユーザの動きに応じた前記画像に基づいて推定される誘目情報を含む、前記（１）～（３）のいずれか一項に記載の情報処理装置。
（５）
　前記注視情報は、前記ユーザの動きに応じた前記画像の注視されやすさを示す誘目度に基づいて、前記ブレ補正パラメータを特定する、前記（４）に記載の情報処理装置。
（６）
　前記ブレ補正パラメータは、前記ブレ補正における画素移動量の制御に用いられる、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記補正情報特定部は、さらに前記ユーザの動きに応じた前記画像を対象とした画質補正に関する画質補正情報を特定する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記画質補正情報は、前記画質補正に関する画質補正パラメータを含む、前記（７）に記載の情報処理装置。
（９）
　前記画質補正パラメータは、前記画質補正における強度の制御に用いられる、前記（８）に記載の情報処理装置。
（１０）
　前記画質補正情報は、前記画質補正が適用される画質補正領域を含む、前記（７）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記補正情報特定部は、前記注視情報に基づく注視位置または注視領域に応じて、前記画質補正領域を特定する、前記（１０）に記載の情報処理装置。
（１２）
　前記画質補正は、コントラスト強調補正、または振幅強調補正を含む、前記（７）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記補正情報特定部は、前記ユーザの操作に関する操作情報にさらに基づいて、前記ブレ補正パラメータを特定する、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記情報処理装置は、前記ユーザにより装着される第１の表示装置へ、前記ユーザの動きに応じた画像を出力する、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記情報処理装置は、前記第１の表示装置とは異なる第２の表示装置へ、前記ブレ補正パラメータまたは前記ブレ補正が施された画像を出力する、前記（１４）に記載の情報処理装置。
（１６）
　前記ユーザの動きに応じた前記画像は、前記ユーザの動きに応じた視点で生成される画像に基づく画像である、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記ユーザの動きに応じた前記画像は、前記ユーザに装着されたカメラの撮像に基づく画像である、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１８）
　ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータをプロセッサが特定すること、を含む情報処理方法。
（１９）
　情報処理装置、ユーザにより装着される第１の表示装置、及び前記第１の表示装置とは異なる第２の表示装置を含み、
　　前記情報処理装置は、ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータを特定する、補正情報特定部を備え、
　　前記第１の表示装置は、前記ユーザの動きに応じた画像を表示し、
　　前記第２の表示装置は、前記ブレ補正が施された画像を表示する、
　情報処理システム。
（２０）
　コンピュータに、
　ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータを特定する機能を実現させるための、プログラム。
　１　情報処理装置
　５　設置型表示装置
　７　装着ユーザ
　９　共有ユーザ
　１０　情報処理システム
　１０２　頭部動き取得部
　１０４　視点移動指令値算出部
　１０６　ＶＲ画像生成部
　１０８　光学歪補正部
　１１０　視線情報取得部
　１１２　補正情報特定部
　１１４　ブレ・画質補正部
　１２１　誘目情報推定部
　１４１　操作情報取得部

Claims (20)

  1. 　ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータを特定する、補正情報特定部を備える情報処理装置。
  2. 　前記注視情報は、前記ユーザの視線に関する視線情報を含む、請求項１に記載の情報処理装置。
  3. 　前記補正情報特定部は、前記ユーザの視線移動が所定量以下である期間に基づいて、前記ブレ補正パラメータを特定する、請求項２に記載の情報処理装置。
  4. 　前記注視情報は、前記ユーザの動きに応じた前記画像に基づいて推定される誘目情報を含む、請求項１に記載の情報処理装置。
  5. 　前記注視情報は、前記ユーザの動きに応じた前記画像の注視されやすさを示す誘目度に基づいて、前記ブレ補正パラメータを特定する、請求項４に記載の情報処理装置。
  6. 　前記ブレ補正パラメータは、前記ブレ補正における画素移動量の制御に用いられる、請求項１に記載の情報処理装置。
  7. 　前記補正情報特定部は、さらに前記ユーザの動きに応じた前記画像を対象とした画質補正に関する画質補正情報を特定する、請求項１に記載の情報処理装置。
  8. 　前記画質補正情報は、前記画質補正に関する画質補正パラメータを含む、請求項７に記載の情報処理装置。
  9. 　前記画質補正パラメータは、前記画質補正における強度の制御に用いられる、請求項８に記載の情報処理装置。
  10. 　前記画質補正情報は、前記画質補正が適用される画質補正領域を含む、請求項７に記載の情報処理装置。
  11. 　前記補正情報特定部は、前記注視情報に基づく注視位置または注視領域に応じて、前記画質補正領域を特定する、請求項１０に記載の情報処理装置。
  12. 　前記画質補正は、コントラスト強調補正、または振幅強調補正を含む、請求項７に記載の情報処理装置。
  13. 　前記補正情報特定部は、前記ユーザの操作に関する操作情報にさらに基づいて、前記ブレ補正パラメータを特定する、請求項１に記載の情報処理装置。
  14. 　前記情報処理装置は、前記ユーザにより装着される第１の表示装置へ、前記ユーザの動きに応じた画像を出力する、請求項１に記載の情報処理装置。
  15. 　前記情報処理装置は、前記第１の表示装置とは異なる第２の表示装置へ、前記ブレ補正パラメータまたは前記ブレ補正が施された画像を出力する、請求項１４に記載の情報処理装置。
  16. 　前記ユーザの動きに応じた前記画像は、前記ユーザの動きに応じた視点で生成される画像に基づく画像である、請求項１に記載の情報処理装置。
  17. 　前記ユーザの動きに応じた前記画像は、前記ユーザに装着されたカメラの撮像に基づく画像である、請求項１に記載の情報処理装置。
  18. 　ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータをプロセッサが特定すること、を含む情報処理方法。
  19. 　情報処理装置、ユーザにより装着される第１の表示装置、及び前記第１の表示装置とは異なる第２の表示装置を含み、
    　　前記情報処理装置は、ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータを特定する、補正情報特定部を備え、
    　　前記第１の表示装置は、前記ユーザの動きに応じた画像を表示し、
    　　前記第２の表示装置は、前記ブレ補正が施された画像を表示する、
    　情報処理システム。
  20. 　コンピュータに、
    　ユーザの動き情報と前記ユーザの注視に関する注視情報に基づいて、前記ユーザの動きに応じた画像を対象としたブレ補正に関するブレ補正パラメータを特定する機能を実現させるための、プログラム。
PCT/JP2018/001658 2017-03-23 2018-01-19 情報処理装置、情報処理方法、情報処理システム、及びプログラム WO2018173445A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-056936 2017-03-23
JP2017056936 2017-03-23

Publications (1)

Publication Number Publication Date
WO2018173445A1 true WO2018173445A1 (ja) 2018-09-27

Family

ID=63584332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001658 WO2018173445A1 (ja) 2017-03-23 2018-01-19 情報処理装置、情報処理方法、情報処理システム、及びプログラム

Country Status (1)

Country Link
WO (1) WO2018173445A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423516B2 (en) * 2019-03-29 2022-08-23 Tobii Ab Gaze enhanced natural motion blur

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257475A (ja) * 1997-03-13 1998-09-25 Susumu Tate 遠隔通信システム及び遠隔通信方法
JP2008237625A (ja) * 2007-03-27 2008-10-09 Matsushita Electric Ind Co Ltd 見え方度判定装置
JP2010256536A (ja) * 2009-04-23 2010-11-11 Sharp Corp 画像処理装置及び画像表示装置
JP2013254358A (ja) * 2012-06-07 2013-12-19 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2014021708A (ja) * 2012-07-18 2014-02-03 Nikon Corp 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
JP2015210695A (ja) * 2014-04-28 2015-11-24 いすゞ自動車株式会社 画像の物体検出装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257475A (ja) * 1997-03-13 1998-09-25 Susumu Tate 遠隔通信システム及び遠隔通信方法
JP2008237625A (ja) * 2007-03-27 2008-10-09 Matsushita Electric Ind Co Ltd 見え方度判定装置
JP2010256536A (ja) * 2009-04-23 2010-11-11 Sharp Corp 画像処理装置及び画像表示装置
JP2013254358A (ja) * 2012-06-07 2013-12-19 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2014021708A (ja) * 2012-07-18 2014-02-03 Nikon Corp 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
JP2015210695A (ja) * 2014-04-28 2015-11-24 いすゞ自動車株式会社 画像の物体検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423516B2 (en) * 2019-03-29 2022-08-23 Tobii Ab Gaze enhanced natural motion blur

Similar Documents

Publication Publication Date Title
CN108027652B (zh) 信息处理设备、信息处理方法以及记录介质
US10832448B2 (en) Display control device, display control method, and program
US20210117147A1 (en) Facilitation of concurrent consumption of media content by multiple users using superimposed animation
JP7408678B2 (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
US9075429B1 (en) Distortion correction for device display
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US20200202161A1 (en) Information processing apparatus, information processing method, and program
US11176747B2 (en) Information processing apparatus and information processing method
WO2013191120A1 (ja) 画像処理装置、方法、プログラム、および記録媒体
KR20130040771A (ko) 입체 영상 처리 장치 및 방법 및 프로그램
US11288869B2 (en) Information processing device, and information processing method
JP2021526693A (ja) ポーズ補正
CN111880711B (zh) 显示控制方法、装置、电子设备及存储介质
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN107913519B (zh) 2d游戏的渲染方法及移动终端
WO2018173445A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
US20200292825A1 (en) Attention direction on optical passthrough displays
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
CN111656776B (zh) 图像处理器、图像处理方法和计算机可读记录介质
WO2020044916A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20190279341A1 (en) Systems and methods to create a dynamic blur effect in visual content
US11868520B2 (en) Rendering content
JP6103942B2 (ja) 画像データ処理装置及び画像データ処理プログラム
US10834382B2 (en) Information processing apparatus, information processing method, and program
US11543667B2 (en) Head-mounted display generated status message

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18772053

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18772053

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP