WO2020044809A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020044809A1
WO2020044809A1 PCT/JP2019/027473 JP2019027473W WO2020044809A1 WO 2020044809 A1 WO2020044809 A1 WO 2020044809A1 JP 2019027473 W JP2019027473 W JP 2019027473W WO 2020044809 A1 WO2020044809 A1 WO 2020044809A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pattern
information processing
information
infrared
Prior art date
Application number
PCT/JP2019/027473
Other languages
English (en)
French (fr)
Inventor
貝野　彰彦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/258,905 priority Critical patent/US11501408B2/en
Priority to DE112019004374.9T priority patent/DE112019004374T5/de
Publication of WO2020044809A1 publication Critical patent/WO2020044809A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 describes that a three-dimensional image of a target object is generated by irradiating infrared rays to acquire depth information (depth information) of the target object. Specifically, utilizing the features of infrared rays that are invisible to human eyes, the surface of the target object is irradiated with the infrared rays, and the target object is photographed by an infrared camera, and the shape of the object is acquired based on the photographed image.
  • an object of the present technology is to provide an information processing apparatus, an information processing method, and a program capable of acquiring highly accurate depth information.
  • an information processing device includes an interpolation image generation unit, a difference image generation unit, and a depth calculation unit.
  • the interpolation image generation unit based on the first normal image, the pattern image irradiated with the infrared pattern light, and the second normal image of the first normal image and the second normal image, An interpolated image corresponding to the time when the pattern image was taken is generated.
  • the difference image generation unit generates a difference image between the interpolation image and the pattern image.
  • the depth calculation unit calculates depth information using the difference image.
  • depth information is obtained using a difference image between an interpolated image and a pattern image that are considered to have been shot at the same timing, so that highly accurate depth information can be obtained.
  • the depth calculation unit may calculate depth information from the pattern image based on a determination result of the reliability of the depth information in the pattern image determined using the difference image.
  • depth information can be calculated using a pattern image determined to have high reliability of depth information, and highly accurate depth information can be obtained.
  • the image processing apparatus may further include a reliability determination unit that determines reliability of depth information in the pattern image using luminance information for each of the divided areas obtained by dividing the difference image into a grid.
  • the brightness information may be a variance value of brightness for each of the divided areas.
  • the luminance information may be a dynamic range of luminance for each of the divided areas.
  • the luminance information may be a spatial frequency for each of the divided areas.
  • the reliability of the depth information can be determined by determining the sharpness of the image in each divided region of the difference image using the variance of luminance, the dynamic range, or the spatial frequency.
  • the irradiation area of the infrared pattern light in the pattern image at the time of capturing the next pattern image may be set according to the determination result of the reliability determination unit.
  • the infrared pattern light is emitted from a pattern irradiation unit including a plurality of infrared light sources,
  • the pattern image may be captured by irradiating the infrared pattern light having a different irradiation area for each of the plurality of infrared light sources.
  • the infrared pattern light having a different irradiation area for each of the plurality of infrared light sources and photographing the pattern image it is possible to control the presence or absence of irradiation for each irradiation area.
  • the irradiation of the infrared pattern light corresponding to the region determined to be highly reliable in the reliability determination can be turned off, and power consumption can be reduced.
  • the first normal image, the pattern image, and the second normal image are photographed by a camera having an image sensor, and the imaging is performed using luminance information of each divided region obtained by dividing the difference image into a grid.
  • An exposure control unit for controlling the exposure time of the device may be further provided.
  • the exposure time of the image sensor in the next photographing is controlled based on the luminance information for each divided region, and in the next photographing, a pattern image with more reliable depth information can be obtained. Becomes possible.
  • the image processing apparatus may further include an irradiation control unit that controls irradiation power of the infrared pattern light using luminance information of each divided region obtained by dividing the difference image into a grid.
  • the irradiation power of the infrared pattern light in the next photographing is controlled based on the luminance information for each divided region, and a pattern image with more reliable depth information is obtained in the next photographing. It becomes possible.
  • the interpolation image generation unit is configured to perform the interpolation based on the first normal image photographed immediately before photographing the pattern image and the second normal image photographed immediately after photographing the pattern image. An image may be generated. According to such a configuration, a highly accurate interpolated image can be generated.
  • At least one of the first normal image and the second normal image may be acquired within the same frame period as the pattern image.
  • an information processing method obtains a first normal image, a pattern image irradiated with infrared pattern light, and a second normal image, and acquires the first normal image. Based on the normal image and the second normal image, generate an interpolated image corresponding to the time when the pattern image was captured, generate a difference image between the interpolated image and the pattern image, and use the difference image. To calculate depth information.
  • a program includes a step of acquiring a first normal image, a pattern image irradiated with infrared pattern light, and a second normal image; Generating an interpolation image corresponding to the time at which the pattern image was captured based on the normal image and the second normal image; generating a difference image between the interpolation image and the pattern image; Calculating the depth information using the difference image.
  • FIG. 1 is a diagram for describing an overview of an information processing system according to a first embodiment of the present technology, and is a block diagram illustrating an example of a configuration of an information processing device. It is the figure which cut out a part of camera control pulse waveform and infrared irradiation pulse waveform as a control signal output from the camera projector control part of the above-mentioned information processor. It is a figure for explaining the procedure of generation of an interpolation picture and a difference picture by the above-mentioned information processor. It is a block diagram showing the composition of the above-mentioned information processor, and is a figure for explaining the flow of processing. It is a flowchart explaining the information processing method by the said information processing apparatus.
  • FIG. 1 is a diagram for describing an overview of an information processing system according to a first embodiment of the present technology, and is a block diagram illustrating an example of a configuration of an information processing device. It is the figure which cut out a part of camera control pulse waveform and inf
  • FIG. 9 is a flowchart for explaining a method of generating a control signal in a camera / projector control unit using a difference image.
  • FIG. 2 is a schematic diagram of a projector equipped with a plurality of infrared light sources, and is a diagram for describing an irradiation area of infrared random pattern light for each infrared light source in a pattern image.
  • FIG. 3 is a diagram illustrating selection of an infrared light source of a projector.
  • FIG. 3 is a diagram illustrating selection of an infrared light source of a projector.
  • FIG. 1 is a diagram for describing an outline of the information processing system 10 and is a block diagram illustrating an example of a configuration of the information processing apparatus.
  • the information processing system 10 includes an information processing device 1, a camera 2, and a projector 3.
  • image information captured by the camera 2 is acquired by the information processing device 1. More specifically, a first normal image of a target object, which is a photographing target object sequentially photographed by the camera 2 by the information processing apparatus 1, a pattern image irradiated with infrared random pattern light, and a second normal image Is obtained.
  • the pattern image is an image of the target object irradiated with the infrared random pattern light as the pattern light emitted from the projector 3 as the pattern irradiation unit.
  • the information processing apparatus 1 estimates and generates an interpolated image corresponding to the time when the pattern image was obtained from the obtained first normal image and the second normal image.
  • the information processing device 1 analyzes a difference image between the interpolated image and the pattern image.
  • the pattern image contains depth information, and the reliability of the depth information of the pattern image is determined by analyzing the difference image by the information processing device 1. Then, the depth information of the pattern image is calculated based on the determination result of the reliability of the depth information.
  • the reliability of the depth information of the pattern image is determined by analyzing the difference image. Then, by calculating the depth information using the pattern image determined to be highly reliable by the reliability determination, highly accurate depth information can be obtained. Based on such highly accurate depth information, it is possible to generate a depth image indicating the distance to the target object for each pixel.
  • the depth information indicates a distance between the camera 2 and a subject (target object), and may include depth information of a feature point.
  • the information processing apparatus 1 acquires the posture information of the camera 2 based on the calculated depth information and the interpolated image. Then, based on the calculated depth information and posture information, the information processing device 1 can generate a point cloud as three-dimensional space information of the target object serving as the subject. Since this point cloud is generated using highly accurate depth information, it is highly accurate.
  • control signals for the camera 2 and the projector 3 are generated so that a pattern image with higher reliability of depth information is obtained.
  • the irradiation power of the infrared random pattern light from the projector 3 is controlled.
  • the present technology can be applied to a technology in which acquisition of depth information is important.
  • the present invention is applied to self-localization in AR (Augmented Reality), VR (Virtual Reality), and MR (Mixed Reality) applications using a head-mounted display or glasses-type wearable device. be able to.
  • the present invention can be applied to self-position estimation in AR, VR, and MR applications using a mobile terminal such as a smartphone or a tablet.
  • the present invention can be applied to self-position estimation in an autonomous mobile body such as an autonomous vehicle, an unmanned airplane, and an autonomous mobile robot. It can also be applied to image capture.
  • a three-dimensional model reflecting the structure of the surrounding environment can be generated using the generated point cloud.
  • the three-dimensional model can be used for interaction expression in AR, VR, and MR and for path control of a moving object. Further, a three-dimensional view and a two-dimensional plan view of a building can be generated from the three-dimensional model.
  • FIG. 2A is a diagram in which a part of a pulse waveform output from a camera / projector control unit 17 of the information processing apparatus 1 described later in the present embodiment is cut out.
  • the camera 2 is a stereo camera and is composed of two cameras, a right camera and a left camera.
  • the configuration of the right camera and the left camera is the same.
  • the two cameras are arranged at an interval at which parallax is sufficiently generated. In these two cameras, the shutter for shooting is released at the rising edge of the camera control pulse 201 (see FIG. 2A) as a control signal generated by the camera / projector control unit 17.
  • the camera 2 includes an imaging lens 21, an aperture 22, and an imaging device 23.
  • the imaging lens 21 focuses light from the target object and guides the light to the imaging element 23.
  • the aperture 22 adjusts the amount of light passing therethrough.
  • the image sensor 23 converts light into an electric signal to generate image data.
  • the exposure time of the image sensor 23 is changed by controlling a transistor in a pixel of the image sensor 23 according to a control signal from the camera / projector control unit 17.
  • the method of changing the exposure time by controlling the transistor in the pixel in this way is called an electronic shutter method.
  • the camera 2 employs an electronic shutter system, and an example in which the exposure time is changed by controlling a transistor is described.
  • the camera 2 is further provided with a mechanical shutter, and the exposure time is controlled by controlling the mechanical shutter. May be changed.
  • the camera 2 is controlled so that the shutter is released (photographed) three times consecutively in one frame period.
  • the first and third shutters respectively acquire a first normal image and a second normal image
  • the second shutter acquires a pattern image.
  • the first normal image, the pattern image, and the second normal image are sequentially and sequentially acquired.
  • the normal image is an image of a target object that has not been irradiated with the infrared random pattern light.
  • the pattern image is an image of the target object irradiated with the infrared random pattern light.
  • the normal image and the pattern image may be black and white or color.
  • the pulse width of the camera control pulse corresponds to the exposure time.
  • the configuration of the projector 3 will be described with reference to FIGS.
  • the projector 3 is an example of a pattern irradiator that irradiates infrared random pattern light 35 onto the surface of the target object.
  • the projector 3 has a light emission control unit 31, an infrared light source 32, a random pattern mask 33, and a projection lens.
  • the light emission control unit 31 supplies a current to the infrared light source 32 for a certain time in accordance with the rising of the infrared irradiation control pulse 301 (see FIG. 2A) as a control signal input from the camera / projector control unit 17. Controls light emission.
  • the infrared light source 32 is an infrared light emitting unit, and is realized by, for example, an infrared LED (Light Emitting Diode).
  • the infrared light source 32 emits an infrared wavelength (for example, a wavelength around 850 nm) while the current is flowing by the light emission control unit 31.
  • the infrared light emitted from the infrared light source 32 passes through the random pattern mask 33.
  • the random pattern mask 33 is shown as a lattice pattern, but is actually a random pattern.
  • the number of infrared light sources 32 is one.
  • the random pattern mask 33 is realized by a metal mesh plate obtained by performing random and fine perforation processing by, for example, electroforming.
  • the projection lens 34 projects infrared random pattern light 35 as pattern light formed by infrared light transmitted through the random pattern mask 33 onto the target object.
  • the projection lens 34 is simplified and illustrated as a single lens.
  • the projection lens 34 is configured by combining a plurality of concave lenses and convex lenses according to the application such as a required angle of view and a focal length. obtain.
  • the light emission control unit 31 allows a current to flow while the infrared irradiation control pulse 301 is at a high level.
  • the magnitude of the current is controlled by a control signal input from the camera / projector control unit 17, and the irradiation power of the infrared light emitted from the infrared light source 32 is controlled by the control signal.
  • the irradiation power of the infrared light emitted from the infrared light source 32 By controlling the irradiation power of the infrared light emitted from the infrared light source 32, the irradiation power of the infrared random pattern light 35 emitted from the projector 3 is controlled.
  • the camera / projector control unit 17 is configured to irradiate the target object with the infrared random pattern light 35 in accordance with the second shutter of the camera 2.
  • the light emission control unit 31 is controlled based on the control signal input from the controller.
  • the pulse width of the infrared irradiation control pulse 301 is a time for irradiating the symmetric object with the infrared random pattern light 35, and is equivalent to the exposure time.
  • the present embodiment three consecutive shutters are released during one frame, and when the second shutter is released, the infrared random pattern light 35 is applied to the target object. Irradiated.
  • the first exposure (first shutter) is the first normal image
  • the second exposure (second shutter) is the pattern image
  • the third exposure (third shutter) is the second. Normal images are acquired.
  • FIG. 3 is a diagram for explaining a procedure of generating an interpolated image and a difference image by the information processing device 1.
  • FIG. 4 is a block diagram illustrating a configuration of the information processing apparatus 1.
  • the information processing apparatus 1 includes a difference image generation unit 11, an interpolation image generation unit 12, a divided region reliability determination unit 13, a depth calculation unit 14, and a posture estimation unit 15 , A point cloud generation unit 16, a camera / projector control unit 17, and a storage unit 18.
  • the camera 2 is controlled so that the shutter is released three times continuously during one frame.
  • the target object is irradiated with the infrared random pattern light 35.
  • the first normal image 41 is captured by the camera 2 with the first shutter.
  • the camera 2 captures a pattern image 51 of the target object irradiated with the infrared random pattern light 35.
  • the second normal image 42 is acquired by the third shutter.
  • the storage unit 18 stores the normal images acquired by the camera 2 in chronological order. Further, the storage unit 18 stores a program for executing information processing related to the determination of the reliability of the depth information of the pattern image 51.
  • the program stored in the storage unit 18 includes a step of acquiring a first normal image 41 of the target object photographed in order, a pattern image 51 irradiated with the infrared random pattern light 35, and a second normal image 42; Generating an interpolated image 52 corresponding to the time at which the pattern image 51 was captured based on the first normal image 41 and the second normal image 42; and a difference image 53 between the interpolated image 52 and the pattern image 51. And causing the information processing apparatus 1 to execute a process including a step of generating depth information and a step of calculating depth information of the target object using the difference image 53.
  • the interpolated image generating unit 12 further includes a second normal image 42 and a pattern image 51 obtained earlier in time than the second normal image 42.
  • the first normal image 41 acquired from the storage unit 18 is acquired.
  • the interpolated image generation unit 12 generates an interpolated image 52 corresponding to the time when the pattern image 51 was obtained, based on the first normal image 41 and the second normal image 42.
  • ⁇ General techniques can be applied to the generation of the interpolated image 52. For example, a method of generating an interpolated image 52 based on a motion vector of an image, a method of generating an interpolated image 52 using a super-resolution filter based on pre-learning, and an interpolation using a luminance-based interpolation average filter There is a method of generating the image 52 and the like.
  • the first normal image 41 (second normal image 42) is composed of two right first normal images 41R (right second normal image) captured by the camera 2 including the left camera and the right camera. 42R) and the first left normal image 41L (the second left normal image 42L).
  • the interpolation image 52 includes a right interpolation image 52R generated based on the right first normal image 41R and the right second normal image 42R, a left first normal image 41L, and a left second image 41R. And the left interpolated image 52L generated based on the normal image 42L. Note that only one of the interpolated image 52R and the interpolated image 52L may be used as the interpolated image 52.
  • the difference image generation unit 11 generates a difference image 53 obtained by calculating a difference between the interpolation image 52 generated by the interpolation image generation unit 12 and the pattern image 51 obtained from the camera 2. Generate.
  • the divided region reliability determination unit 13 as a reliability determination unit analyzes the difference image 53 generated by the difference image generation unit 11, and determines the reliability of the depth information of the pattern image 51. Specifically, the divided region reliability determination unit 13 uses the luminance information of the image for each of a plurality of divided regions obtained by dividing the difference image 53 in a grid shape, and determines whether the difference image is clear or bright. Evaluate whether or not. Note that one divided region can adopt a size of, for example, about 8 ⁇ 8 images.
  • the average brightness value, the variance value of the brightness, and the dynamic range are calculated as the brightness information for each of the divided regions obtained by dividing the difference image 53 into a grid.
  • the luminance variance and the dynamic range are used as indices of luminance variation, and are used in determining sharpness.
  • the average luminance value is an average of the luminance values of all pixels in one divided area.
  • the variance value of the luminance is calculated by calculating a difference between each pixel by calculating a difference between a luminance value of each image in one divided region and an average luminance value of the divided region, and calculating a root mean square of the deviation. Desired.
  • the dynamic range is obtained from the difference between the maximum luminance value and the minimum luminance value in one divided area.
  • the divided region reliability determination unit 13 evaluates whether the variance or the dynamic range is equal to or larger than a threshold value for each divided region in order to determine whether or not the difference image is clear. If it is larger than the threshold value, it is determined that the reliability of the depth information is high. If it is smaller than the threshold value, it is determined that the reliability of the depth information is low. Also, the reliability of the depth information is given according to the variance value or the magnitude of the dynamic range.
  • a process of calculating depth information to be used for generating a point cloud and a depth image, estimating posture information for generating the point cloud, and the like is executed.
  • the processing for calculating the depth information to be used for generating the point cloud and the depth image, estimating the posture information for generating the point cloud, and the like is not executed.
  • the camera 2 captures the image in the next frame so that a pattern image with higher reliability of the depth information is obtained in the next frame.
  • a control signal is generated such that the exposure time of the element 23 or the irradiation power of the infrared light source 32 of the projector 3 is changed.
  • the movement speed of the camera 2 is calculated based on the posture information estimated by the posture estimating unit 15. Furthermore, the posture information is estimated by the posture estimating unit 15 by using the calculation result of the depth information and the interpolated image 52. In the calculation of the depth information, the pattern image 51 determined to have low reliability is used. Is used.
  • the divided region reliability determination unit 13 determines whether or not the difference image is bright for each divided region.
  • the average luminance value is used to determine whether the image is bright or not, and it is evaluated whether the average luminance value is equal to or greater than a threshold value.
  • the image sensor 23 of the camera 2 at the time of shooting in the next frame so that a pattern image with more reliable depth information can be obtained.
  • a control signal is generated such that the irradiation time and the irradiation power of the infrared light source 32 of the projector 3 are controlled.
  • a spatial frequency may be used as luminance information.
  • the depth calculator 14 calculates depth information (depth information) using the pattern image 51.
  • depth information can be calculated using a block matching method.
  • the pattern image 51 includes two right pattern images 51R and 51L captured by the camera 2 including the left camera and the right camera. In the block matching method, the right pattern image 51R and the left pattern image 51L are matched for each block.
  • a block close to a block of an 8 ⁇ 8 image centered on a pixel of interest of a right pattern image 51R captured by a right camera is used.
  • Parallax is obtained by searching from the left pattern image 51L. That is, the depth calculation unit 14 compares the 8 ⁇ 8 block of the right pattern image 51R with the 8 ⁇ 8 block of the left pattern image 51L for every horizontal one pixel in the search range of the left pattern image 51L. For example, when the search range is 64 pixels, image matching of the block is performed 64 times for each pixel of the right pattern image 51R, and this is performed for all the pixels of the right pattern image.
  • the right camera and the left camera constituting the camera 2 are fixed, and the distance (base line length) of the camera feeling is fixed. Therefore, the depth is calculated based on the parallax obtained by the block matching and the base line length.
  • depth information of each pixel can be obtained, and a depth image of the entire screen can be generated.
  • the generated depth image is highly accurate because the depth information is calculated and generated using the pattern image 51 for which the reliability of the depth information is determined to be high by the divided region reliability determination unit 13. Become.
  • the posture estimating unit 15 acquires the posture information of the camera 2 using the interpolated image 52 and the depth information.
  • the posture estimating unit 15 estimates the position and posture of the camera 2 by tracking the pixels for which the depth information has been obtained in different frames.
  • the motion speed of the camera 2 is calculated using the estimation result.
  • the point cloud generation unit 16 uses the depth information calculated by the depth calculation unit 14 using the pattern image 51 with high reliability of the depth information, and the depth information and the interpolated image 52. Based on the posture information estimated by the posture estimating unit 15, a point cloud of the target object serving as the subject in a single reference coordinate system is generated.
  • the camera / projector control unit 17 determines the orientation estimation unit 15 based on the determination result that the divided image reliability determination unit 13 determines that the difference image is not clear and that the reliability of the depth information is low.
  • a control signal for controlling the exposure time of the camera 2 and the irradiation power of the infrared random pattern light radiated from the projector 3 in the photographing in the next frame is generated using the posture information estimated by the above.
  • the camera / projector control unit 17 is both an exposure control unit and an irradiation control unit.
  • FIG. 5 is a flowchart illustrating an information processing method by the information processing apparatus 1.
  • FIG. 6 is a flowchart for explaining a method of determining the reliability of depth information for each divided region using the difference image by the divided region reliability determining unit 13 and a method of generating a control signal in the camera / projector control unit 17. It is.
  • the information processing apparatus 1 acquires a first normal image 41, a pattern image 51, and a second normal image 42 of a target object sequentially photographed by the camera 2 (S1). .
  • the interpolation image generation unit 12 generates an interpolation image 52 using the first normal image 41 and the second normal image 42 (S2).
  • the difference image generation unit 11 generates a difference image 53 using the interpolation image 52 and the pattern image 51 (S3).
  • the divided region reliability determination unit 13 calculates an average luminance value, a variance value, and a dynamic range as luminance information for each divided region obtained by dividing the difference image 53 into a grid, and uses these values to determine the reliability of the depth information.
  • Sex is determined (S4). The details of the determination of the reliability of the depth information will be described later.
  • the depth information is calculated by the depth calculation unit 14 using the pattern image 51 (S5).
  • the posture estimating unit 15 estimates the posture information of the camera 2 using the interpolated image 52 and the depth information (S6). Based on the posture information, the movement speed of the camera 2 is estimated.
  • the point cloud as the three-dimensional space information of the target object is generated by the point cloud generation unit 16 based on the posture information estimated by (S7).
  • the interpolated image 52 is an image corresponding to the time when the pattern image 51 was captured, and the pattern image 51 used for calculating the depth information and the interpolated image 52 used for estimating the posture are captured at the same time. It is considered as a processed image. That is, in the point cloud generation, depth information and attitude information without time lag can be used, and a more accurate point cloud can be generated.
  • the camera / projector control unit 17 generates control signals for the camera 2 and the projector 3 based on the determination result by the divided area reliability determination unit 13 and the posture information estimated by the posture estimation unit 15 (S8). Details will be described later.
  • steps S11 to S18 are performed for each frame.
  • the sharpness determination processing for each divided area in S11 and the brightness determination processing in S12 are performed by the divided area reliability determination unit 13.
  • Each process of S13 to S18 is performed by the camera / projector control unit 17.
  • the divided region reliability determination unit 13 determines whether or not the difference image is clear for each divided region (S11).
  • a variance value or a dynamic range is used to determine the sharpness, and it is evaluated whether the variance value or the dynamic range is equal to or larger than a threshold value.
  • the imaging signal of the imaging device 23 of the camera 2 and the irradiation power of the infrared random pattern light from the projector 3 are controlled by the same control signal as the pulse waveform output in the immediately preceding frame.
  • control may be performed so that the irradiation of the infrared random pattern light is turned off in the next frame. Power consumption can be reduced.
  • infrared irradiation is performed in the next frame. May be turned off so that a pattern image is not acquired, and power consumption can be reduced.
  • the depth calculation unit 14 uses the pattern image 51 determined to be high in reliability to obtain a point cloud. And depth information to be used for estimating attitude information for generating a point cloud and for generating a point cloud.
  • S12 it is determined whether or not the difference image is bright for each divided area.
  • the average brightness value is used to determine the brightness, and it is determined whether the average brightness value is equal to or greater than a threshold value. If it is determined in S12 that the value is less than the threshold value and the image is dark (No), the process proceeds to S13. If it is determined in S12 that the brightness is equal to or larger than the threshold value and the image is bright (Yes), the process proceeds to S14.
  • the environment in which the target object to be photographed is placed is dark or the target object itself is dark, and the image is too dark, it is difficult to identify the target object.
  • the image is too bright, whiteout will occur and it will be difficult to identify the target object.
  • the camera / projector control unit 17 sets the camera 2 so that the exposure time of the camera 2 becomes longer (S15). Is generated. Further, an infrared irradiation pulse (control signal) is generated so that the infrared irradiation time of the projector 3 becomes longer with the change of the exposure time of the camera 2.
  • the camera / projector control unit 17 causes the projector / projector control unit 17 to increase the infrared irradiation power in the projector 3 (S16). Three infrared irradiation pulses are generated.
  • S14 it is determined whether or not the motion speed of the camera 2 estimated by the attitude estimating unit 15 is equal to or greater than a threshold thC. If the movement speed of the camera 2 is less than the threshold, the camera 2 is moving slowly, and if it is more than the threshold, the camera 2 is moving fast.
  • the camera / projector control unit 17 controls the camera 2 so that the exposure time of the camera 2 is shortened (S17). Are generated, and an infrared irradiation pulse (control signal) is generated so that the irradiation time of the projector 3 is shortened with the change of the exposure time of the camera 2. Accordingly, in the shooting in the next frame, an image is acquired based on the generated control signal, so that a pattern image 51 that is not too bright and has higher reliability of depth information can be obtained.
  • the camera / projector control unit 17 causes the projector / projector control unit 17 to decrease the infrared irradiation power in the projector 3 (S18). Three infrared irradiation pulses are generated. Accordingly, in the shooting in the next frame, an image is acquired based on the generated control signal, so that a pattern image 51 that is not too bright and has higher reliability of depth information can be obtained.
  • the calculation of the depth information by the depth calculation unit 14 is performed irrespective of the result of the reliability determination by the divided region reliability determination unit 13, but the depth information calculated when the reliability is determined to be high. Is used for generating a depth image, generating a point cloud, and estimating posture information for generating a point cloud.
  • the depth information calculated when the reliability is determined to be low is controlled by the camera 2 and the projector 3 so that a pattern image with higher reliability of the depth information can be obtained in the next frame. Used to generate a control signal for performing the control.
  • the posture estimation by the posture estimation unit 15 is performed regardless of the result of the reliability determination by the divided region reliability determination unit 13.
  • the posture information estimated when the reliability is determined to be high is a point cloud. Is used to generate
  • the posture information estimated when the reliability is determined to be low is controlled by the camera 2 and the projector 3 so that a pattern image with higher reliability of the depth information can be obtained in the shooting in the next frame. Used to generate a control signal for performing the control.
  • the reliability of the depth information of the pattern image is determined using the difference image. Then, since the depth information is calculated based on the pattern image determined to have high reliability of the depth information in the reliability determination, it is possible to acquire highly accurate depth information of the target object.
  • the image for self-position estimation (interpolated image) and the depth are regarded as having no time lag.
  • An image (pattern image) for information calculation can be obtained.
  • the reliability of the depth information is determined using the luminance information of the difference image between the interpolated image and the pattern image that is considered to have no time lag. As a result, highly accurate depth information can be obtained.
  • highly accurate point clouds can be generated using highly accurate depth information and attitude information.
  • the exposure time of the camera 2 or the irradiation power of the infrared random pattern light from the projector 3 is controlled using the luminance information of the difference image in the photographing in the next frame. Therefore, it is possible to obtain a pattern image with higher reliability of the depth information. This makes it possible to calculate depth information using a pattern image with high reliability of depth information, and obtain highly accurate depth information.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the camera 2 is controlled so that the shutter is released three times in one frame period, and infrared rays are emitted when the second shutter is released.
  • the timing of infrared irradiation of the projector 3 is controlled.
  • the shutter is released twice in the first frame to obtain a first normal image and a pattern image, and the shutter is released once in the second frame.
  • the operations of the camera 2 and the projector 3 may be controlled such that the second normal image is obtained.
  • At least one of the first normal image and the second normal image is acquired in the same frame period as the pattern image, and the first normal image, the pattern image, and the second normal image are sequentially photographed. Just do it.
  • a case where a stereo camera is used as the camera 2 has been described as an example, but a monocular camera may be used.
  • a pattern of an infrared pattern obtained by irradiating a target object with infrared rays and a pattern of a fixed pattern for each distance between the target object and a previously obtained target object are matched, and a target area in the pattern image is performed.
  • the depth information of the target feature point can be calculated.
  • the first normal image and the second normal image are obtained immediately before and immediately after the pattern image, respectively, and are sequentially temporally successively the first normal image, the pattern image, and the second normal image. Is acquired, but the present invention is not limited to this, and may not be temporally continuous.
  • the acquisition of the first normal image (the second normal image) and the acquisition of the pattern image may be temporally separated. At least in time, the first normal image may be obtained before the pattern image is obtained, and the second normal image may be obtained after the pattern image is obtained.
  • the first normal image and the second normal image are respectively obtained immediately before and after the pattern image. This makes it possible to obtain a highly accurate interpolated image.
  • the case where one infrared light source 32 is mounted on the projector 3 is described as an example.
  • the projector may include a plurality of infrared light sources.
  • FIG. 7 is a schematic diagram of the projector 103 equipped with a plurality of infrared light sources, and is a diagram for describing an irradiation area of the infrared random pattern light 35 for each infrared light source 32 in the pattern image 51.
  • the projector 103 has four infrared light sources 32a to 32d.
  • the projector 103 irradiates infrared random pattern lights 35a to 35c generated by passing infrared rays emitted from the infrared light sources 32a to 32d through the random pattern mask 33 (see FIG. 1).
  • the number of infrared light sources is not limited to one or four, but may be one or more.
  • the infrared light sources 32a to 32d are referred to as infrared light sources 32 when it is not necessary to particularly distinguish them.
  • the projector 103 emits infrared random pattern lights 35a to 35d generated by infrared rays emitted from the infrared light sources 32a to 32d.
  • the pattern image 51 is obtained by photographing the state where the emitted infrared random pattern light 35a to 35d is irradiated on the target object.
  • the pattern image 51 has irradiation areas 37a to 37d irradiated with infrared random pattern lights 35a to 35d generated for the infrared light sources 32a to 32d, respectively.
  • the irradiation areas 37a to 37d are shifted from each other in one direction, and adjacent irradiation areas partially overlap each other.
  • the pattern light irradiation area in the pattern image 51 may be set in accordance with the arrangement of the infrared light sources 32 by using the projector 103 having the plurality of infrared light sources 32. Further, the on / off of the irradiation of the plurality of infrared light sources 32 may be individually controllable.
  • a difference image is generated based on the pattern image acquired by using the projector 103 as described above. Then, the reliability of the depth information is determined for each of a plurality of divided areas obtained by dividing the difference image into a grid.
  • the infrared irradiation from the infrared light source 32 is performed in the next frame.
  • it may be configured to be off so that irradiation is not performed.
  • FIGS. 8 and FIG. 9, which will be described later, are schematic views of a projector 103 equipped with four infrared light sources 32a to 32d, similarly to FIG.
  • FIG. 37 is a diagram for describing 37.
  • FIGS. 8 and 9 are diagrams for explaining how to select an infrared light source for turning on the infrared irradiation in the next frame shooting based on the reliability determination result.
  • the same components as those described above are denoted by the same reference numerals.
  • a pattern image 55 obtained by photographing a target object irradiated with infrared random pattern lights 35a to 35d generated using infrared light emitted from the infrared light sources 32a to 32d of the projector 103.
  • a difference image is generated based on the irradiated pattern image 55.
  • the difference image is divided into a grid pattern, and the reliability of the depth information is determined for each of the plurality of divided areas using the luminance information.
  • FIG. 8 illustrates an example in which the reliability determination result is reflected in the pattern image 55.
  • a dot pattern whose reliability is represented by dot density is superimposed on the pattern image 55. The lower the dot density, the higher the reliability of the depth information, and the higher the density, the lower the reliability of the depth information.
  • the pattern image 55 illustrated in FIG. 8 indicates that the reliability of the depth information is high in the irradiation areas 37c and 37d, and the reliability of the depth information is low in the irradiation areas 37a and 37b.
  • the camera 2 is not moving.
  • the infrared light sources 32c and 32d corresponding to the irradiation areas 37c and 37d having high reliability of depth information are controlled so that irradiation is turned off at the time of shooting in the next frame.
  • power consumption can be reduced.
  • the infrared light sources 32a and 32b corresponding to the irradiation areas 37a and 37b whose reliability of the depth information is low are controlled so that irradiation is turned on at the time of shooting in the next frame. Further, using the difference image when the reliability of the depth information is determined to be low, control signals for the exposure time of the camera 2 and the irradiation power of the infrared light sources 32a and 32b of the projector 103 are generated as described above, In shooting in the next frame, the camera 2 and the projector 3 are controlled based on this control signal, and shooting is performed.
  • the infrared light source can be selected so that infrared irradiation in an effective area where depth information is highly reliable and is turned off at the time of shooting in the next frame, and power consumption can be reduced.
  • the infrared light source 32 to be turned on at the time of shooting in the next frame may be selected.
  • description will be made with reference to FIG.
  • a difference image is generated based on the pattern image 55 irradiated with the infrared light emitted from the projector 103.
  • the reliability of the depth information is determined using the luminance information for each of a plurality of divided regions obtained by dividing the difference image into a grid.
  • a dot pattern representing the reliability is overlapped with the pattern image 55, and the result reflects the reliability determination result.
  • the reliability of the depth information is high in the irradiation areas 37c and 37d, and the reliability of the depth information is low in the irradiation areas 37a and 37b.
  • the camera 2 is estimated to move from right to left on the drawing.
  • the pattern image of the area with low reliability in the pattern image taken in the frame immediately before the camera 2 moves is replaced by the following.
  • the infrared light sources 32a to 32c that irradiate infrared random pattern light are selected so as to be acquired again at the time of shooting in a frame.
  • the irradiation area of the infrared light is set according to the arrangement of the infrared light sources. Then, based on the determination result of the reliability of the depth information for each irradiation region irradiated with the infrared random pattern light from each infrared light source, an infrared light source that performs infrared irradiation is selected at the time of shooting in the next frame. That is, the irradiation area of the infrared random pattern light may be set.
  • a mirror and a lens mounted on the projector May be configured to select the irradiation area by controlling the light concentration.
  • the present technology may have the following configurations.
  • (1) The pattern image is photographed based on the first normal image, the pattern image irradiated with the infrared pattern light, and the second normal image among the first normal image and the second normal image.
  • An interpolated image generation unit that generates an interpolated image corresponding to the performed time
  • a difference image generation unit that generates a difference image between the interpolation image and the pattern image
  • An information processing apparatus comprising: a depth calculator that calculates depth information using the difference image.
  • An information processing apparatus further comprising: a reliability determination unit that determines the reliability of depth information in the pattern image using luminance information for each divided region obtained by dividing the difference image into a grid.
  • the infrared pattern light is emitted from a pattern irradiation unit including a plurality of infrared light sources, The information processing apparatus, wherein the pattern image is captured by irradiating the infrared pattern light having a different irradiation area for each of the plurality of infrared light sources.
  • the information processing apparatus according to any one of (1) to (8), The first normal image, the pattern image, and the second normal image are captured by a camera including an image sensor, An information processing apparatus further comprising: an exposure control unit configured to control an exposure time of the image pickup device using luminance information of each divided region obtained by dividing the difference image into a grid.
  • An information processing apparatus further comprising: an irradiation control unit that controls irradiation power of the infrared pattern light using luminance information for each of divided areas obtained by dividing the difference image into a grid.
  • the interpolation image generation unit is configured to perform the interpolation based on the first normal image photographed immediately before photographing the pattern image and the second normal image photographed immediately after photographing the pattern image.
  • An information processing device that generates images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】精度の高い深度情報を取得することができる情報処理装置、情報処理方法及びプログラムを提供する。 【解決手段】情報処理装置は、内挿画像生成部と、差分画像生成部と、深度算出部とを具備する。上記内挿画像生成部は、第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像のうち上記第１の通常画像と上記第２の通常画像を基に、上記パターン画像が撮影された時間に対応する内挿画像を生成する。上記差分画像生成部は、上記内挿画像と上記パターン画像の差分画像を生成する。上記深度算出部は、上記差分画像を用いて深度情報を算出する。

Description

情報処理装置、情報処理方法及びプログラム
　本技術は、情報処理装置、情報処理方法及びプログラムに関する。
　特許文献１には、赤外線を照射して対象物体の深度情報（奥行情報）を取得して、対象物体の三次元画像を生成することが記載されている。具体的には、人間の目には見えない赤外線の特徴を活かし、赤外線で対象物体の表面にパターンを照射して赤外線カメラにより撮影し、撮影画像に基づいて物体の形状を取得する。
国際公開第２０１５／０９８２８８号
　対象物体のより正確な三次元画像を生成するために、対象物体の深度情報をより精度の高いものとすることが望まれている。
　以上のような事情に鑑み、本技術の目的は、精度の高い深度情報を取得することができる情報処理装置、情報処理方法及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、内挿画像生成部と、差分画像生成部と、深度算出部とを具備する。
　上記内挿画像生成部は、第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像のうち上記第１の通常画像と上記第２の通常画像を基に、上記パターン画像が撮影された時間に対応する内挿画像を生成する。
　上記差分画像生成部は、上記内挿画像と上記パターン画像の差分画像を生成する。
　上記深度算出部は、上記差分画像を用いて深度情報を算出する。
　このような構成によれば、同じタイミングで撮影されたとみなされる内挿画像とパターン画像との差分画像を用いて深度情報を得るので、精度の高い深度情報を得ることができる。
　上記深度算出部は、上記差分画像を用いて判定される上記パターン画像における深度情報の信頼性の判定結果に基づいて、上記パターン画像から深度情報を算出してもよい。
　このような構成によれば、深度情報の信頼性が高いと判定されたパターン画像を用いて深度情報を算出することができ、精度の高い深度情報を得ることができる。
　上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記パターン画像における深度情報の信頼性を判定する信頼性判定部を更に具備してもよい。
　上記輝度情報は、上記分割領域毎の輝度の分散値であってもよい。
　上記輝度情報は、上記分割領域毎の輝度のダイナミックレンジであってもよい。
　上記輝度情報は、上記分割領域毎の空間周波数であってもよい。
　このように、輝度の分散値、ダイナミックレンジ、又は、空間周波数を用いて、差分画像の分割領域毎の画像の鮮明さを判定して深度情報の信頼性を判定することができる。
　上記信頼性判定部の判定結果に応じて、次のパターン画像の撮影でのパターン画像における上記赤外線パターン光の照射領域が設定されてもよい。
　上記赤外線パターン光は、複数の赤外線光源を備えるパターン照射部から照射され、
　上記パターン画像は、複数の上記赤外線光源毎に照射領域が異なる上記赤外線パターン光が照射されて撮影されてもよい。
　このように複数の赤外線光源毎に照射領域が異なる赤外線パターン光が照射されてパターン画像が撮影されることにより、照射領域毎に照射の有無を制御することができる。これにより、例えば信頼性判定で信頼性が高いと判定された領域に対応する赤外線パターン光の照射をオフとすることができ、消費電力を低減することができる。
　上記第１の通常画像、上記パターン画像、及び上記第２の通常画像は、撮像素子を備えるカメラにより撮影され、上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記撮像素子の露光時間を制御する露光制御部を更に具備してもよい。
　このような構成によれば、分割領域毎の輝度情報に基づいて、次の撮影での撮像素子の露光時間を制御し、次の撮影で、より深度情報の信頼性が高いパターン画像を得ることが可能となる。
　上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記赤外線パターン光の照射パワーを制御する照射制御部を更に具備してもよい。
　このような構成によれば、分割領域毎の輝度情報に基づいて、次の撮影での赤外線パターン光の照射パワーを制御し、次の撮影で、より深度情報の信頼性が高いパターン画像を得ることが可能となる。
　上記内挿画像生成部は、上記パターン画像の撮影の直前に撮影された上記第１の通常画像と、上記パターン画像の撮影の直後に撮影された上記第２の通常画像を基に上記内挿画像を生成してもよい。
　このような構成によれば、精度の高い内挿画像を生成することができる。
　上記第１の通常画像と上記第２の通常画像の少なくとも一方は、上記パターン画像と同一のフレーム期間内で取得されてもよい。
　上記目的を達成するため、本技術の一形態に係る情報処理方法は、第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得し、上記第１の通常画像と上記第２の通常画像を基に上記パターン画像が撮影された時間に対応する内挿画像を生成し、上記内挿画像と上記パターン画像の差分画像を生成し、上記差分画像を用いて深度情報を算出する。
　上記目的を達成するため、本技術の一形態に係るプログラムは、第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得するステップと、上記第１の通常画像と上記第２の通常画像を基に上記パターン画像が撮影された時間に対応する内挿画像を生成するステップと、上記内挿画像と上記パターン画像の差分画像を生成するステップと、上記差分画像を用いて深度情報を算出するステップとを含む処理を情報処理装置に実行させる。
　以上のように、本技術によれば、精度の高い深度情報を取得することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施形態に係る情報処理システムの概要を説明するための図であり、情報処理装置の構成の一例を示すブロック図である。 上述の情報処理装置のカメラ・プロジェクタ制御部から出力される制御信号としてのカメラ制御パルス波形、赤外線照射パルス波形の一部を切り出した図である。 上述の情報処理装置による内挿画像、差分画像の生成の手順を説明するための図である。 上述の情報処理装置の構成を示すブロック図であり、処理の流れを説明するための図である。 上述の情報処理装置による情報処理方法を説明するフロー図である。 差分画像を用いたカメラ・プロジェクタ制御部での制御信号の生成方法を説明するためのフロー図である。 複数の赤外線光源を搭載するプロジェクタの概略図であり、パターン画像における赤外線光源毎の赤外線ランダムパターン光の照射領域を説明するための図である。 プロジェクタの赤外線光源の選択について説明する図である。 プロジェクタの赤外線光源の選択について説明する図である。
　［概要］
　図１を参照して本技術の一実施形態に係る情報処理装置１を有する情報処理システム１０について説明する。図１は、情報処理システム１０の概要を説明するための図であり、情報処理装置の構成の一例を示すブロック図である。
　図１に示すように、情報処理システム１０は、情報処理装置１と、カメラ２と、プロジェクタ３と、を有する。
　情報処理システム１０では、情報処理装置１により、カメラ２で撮影された画像情報が取得される。具体的には、情報処理装置１により、カメラ２で順に撮影された撮影対象物である対象物体の第１の通常画像と、赤外線ランダムパターン光が照射されたパターン画像と、第２の通常画像が取得される。
　パターン画像は、パターン照射部としてのプロジェクタ３から照射されたパターン光としての赤外線ランダムパターン光が照射された対象物体を撮影した画像である。
　情報処理装置１は、取得した第１通常画像と第２の通常画像とから、パターン画像が取得された時間に対応する内挿画像を推定し、生成する。情報処理装置１は、この内挿画像とパターン画像との差分画像を解析する。
　パターン画像には深度情報が含まれており、情報処理装置１による差分画像の解析により、パターン画像の深度情報の信頼性が判定される。そして、深度情報の信頼性の判定結果に基づいて、パターン画像の深度情報が算出される。
　このように、本実施形態では、差分画像を解析することによってパターン画像の深度情報の信頼性が判定される。そして、その信頼性判定により信頼性が高いと判定されたパターン画像を用いて深度情報を算出することにより、精度の高い深度情報を得ることができる。
　このような精度の高い深度情報に基づいて、対象物体への距離を画素毎に示す深度画像を生成することができる。
　深度情報は、カメラ２と被写体（対象物体）との距離を表すものであり、特徴点の深度情報を含んでもよい。
　また、本実施形態においては、情報処理装置１により、算出された深度情報及び内挿画像に基づいて、カメラ２の姿勢情報が取得される。そして、情報処理装置１により、算出された深度情報及び姿勢情報に基づいて、被写体となっている対象物体の三次元空間情報としてのポイントクラウドを生成することができる。このポイントクラウドは、精度の高い深度情報を用いて生成されるので、精度の高いものとなる。
　更に、情報処理装置１による差分画像を解析することによって、深度情報の信頼性のより高いパターン画像が得られるように、カメラ２及びプロジェクタ３の制御信号が生成され、カメラ２での露光時間やプロジェクタ３からの赤外線ランダムパターン光の照射パワーが制御される。
　本技術は、深度情報の取得が重要となる技術に適用することができる。
　例えば、ヘッドマウントディスプレイやメガネ型のウエアブルデバイスを利用した、ＡＲ（拡張現実：Augmented Reality）、ＶＲ（仮想現実：Virtual Reality）、ＭＲ（複合現実：Mixed Reality）応用における自己位置推定に適用することができる。また、スマートフォンやタブレット等の携帯端末を利用したＡＲ、ＶＲ、ＭＲ応用における自己位置推定に適用することができる。また、自律走行車、無人飛行機、自律移動ロボット等の自律移動体における自己位置推定に適用することができる。また、画像のキャプチャに適用することもできる。
　また、生成されるポイントクラウドを利用して周辺環境の構造を反映した三次元モデルを生成することができる。この三次元モデルを、ＡＲ、ＶＲ、ＭＲにおけるインタラクション表現や移動体の経路制御に利用することができる。また、三次元モデルから建物の三次元図、二次元平面図を生成することもできる。
　以下、情報処理装置１の詳細について説明する。
　［カメラの構成例］
　図１に加えて図２を用いて、カメラ２の構成について説明する。図２（Ａ）は、本実施形態における後述する情報処理装置１のカメラ・プロジェクタ制御部１７から出力されるパルス波形の一部を切り出した図である。
　カメラ２はステレオカメラであり、右側のカメラと左側のカメラの２台から構成される。右側カメラ及び左側カメラの構成は同じである。２台のカメラは、視差が十分発生する間隔をおいて配置される。これら２台のカメラは、カメラ・プロジェクタ制御部１７で生成される制御信号としてのカメラの制御パルス２０１（図２（Ａ）参照）の立ち上がりエッジで撮影のためのシャッタが切られる。
　図１に示すように、カメラ２は、撮像レンズ２１と、絞り２２と、撮像素子２３とを備える。
　撮像レンズ２１は、対象物体から光を集光して撮像素子２３に導くものである。
　絞り２２は、通過する光の量を調整するものである。
　撮像素子２３は、光を電気信号に変換して画像データを生成するものである。また、撮像素子２３は、カメラ・プロジェクタ制御部１７からの制御信号に従って、撮像素子２３の画素内のトランジスタが制御されることにより露光時間が変更される。このように、画素内のトランジスタを制御することにより露光時間を変更する方式は、電子シャッタ方式と呼ばれる。
　尚、本実施形態においては、カメラ２は電子シャッタ方式を採用しており、トランジスタの制御により露光時間を変更する例をあげるが、メカニカルシャッタを更に備え、そのメカニカルシャッタを制御することにより露光時間を変更してもよい。
　本実施形態では、図２（Ａ）に示すように、１フレーム期間に３回連続してシャッタが切られる（撮影される）ように、カメラ２は制御される。このうち、１回目及び３回目のシャッタで、第１の通常画像及び第２の通常画像がそれぞれ取得され、２回目のシャッタでパターン画像が取得される。これにより、時間的に連続して順に第１の通常画像、パターン画像、第２の通常画像が取得される。
　通常画像とは、赤外線ランダムパターン光が照射されていない対象物体を撮影した画像である。パターン画像とは赤外線ランダムパターン光が照射された対象物体を撮影した画像である。通常画像及びパターン画像は白黒であってもよいし、カラーであってもよい。
　図２において、カメラ制御パルスのパルス幅は露光時間に対応する。
　［プロジェクタの構成例］
　図１及び図２を用いて、プロジェクタ３の構成について説明する。プロジェクタ３は、対象物体の表面に赤外線ランダムパターン光３５を照射するパターン照射部の一例である。
　図１に示すように、プロジェクタ３は、発光制御部３１と、赤外線光源３２と、ランダムパターンマスク３３と、投射レンズ３４と、を有する。
　発光制御部３１は、カメラ・プロジェクタ制御部１７から入力される制御信号としての赤外線照射制御パルス３０１（図２（Ａ）参照）の立ち上がりにあわせて、一定時間、赤外線光源３２に電流を流して発光を制御する。
　赤外線光源３２は、赤外線発光部であって、例えば赤外線ＬＥＤ（Light Emitting Diode）により実現される。赤外線光源３２は、発光制御部３１により電流が流されている間、赤外線波長（例えば８５０ｎｍ付近の波長）を照射する。
　赤外線光源３２から照射された赤外線は、ランダムパターンマスク３３を通過する。尚、図１においては、ランダムパターンマスク３３を格子状のパターンで図示しているが、実際にはランダムパターンである。
　本実施形態においては、赤外線光源３２は１つとする。
　ランダムパターンマスク３３は、例えば電鋳（Electroforming）によりランダムで微細な穴開け加工が行われ得た金属製の網目状の板により実現される。
　投射レンズ３４は、ランダムパターンマスク３３を透過した赤外線により形成されるパターン光としての赤外線ランダムパターン光３５を、対象物体に対して投射させる。図１に示す例では、投射レンズ３４は１枚に簡略化して図示されているが、実際には必要な画角や焦点距離など、用途に応じて複数枚の凹レンズ、凸レンズを組み合わせて構成され得る。
　発光制御部３１は、赤外線照射制御パルス３０１がハイレベルの間、電流を流す。電流の大きさは、カメラ・プロジェクタ制御部１７から入力される制御信号により制御され、赤外線光源３２から出射される赤外線の照射パワーは制御信号によって制御される。赤外線光源３２から出射される赤外線の照射パワーが制御されることにより、プロジェクタ３から照射される赤外線ランダムパターン光３５の照射パワーが制御される。
　本実施形態では、図２（Ａ）に示すように、カメラ２の２回目のシャッタにあわせて、対象物体に赤外線ランダムパターン光３５が対象物体に照射されるように、カメラ・プロジェクタ制御部１７から入力される制御信号に基づいて発光制御部３１は制御される。赤外線照射制御パルス３０１のパルス幅は、赤外線ランダムパターン光３５を対称物体に照射する時間であり、露光時間と同等である。
　図２（Ａ）に示すように、本実施形態においては、１フレームの間に３回連続してシャッタが切られ、そのうち２回目のシャッタが切られるときに対象物体に赤外線ランダムパターン光３５が照射される。これにより、順に、１回目の露光(１回目のシャッタ)で第１の通常画像、２回目の露光（２回目のシャッタ）でパターン画像、３回目の露光（３回目のシャッタ）で第２の通常画像が取得される。
　［情報処理装置の構成例］
　（概要）
　図１～図４を用いて情報処理装置１について説明する。図３は、情報処理装置１による内挿画像、差分画像の生成の手順を説明するための図である。図４は、情報処理装置１の構成を示すブロック図である。
　図１及び図４に示すように、情報処理装置１は、差分画像生成部１１と、内挿画像生成部１２と、分割領域信頼性判定部１３と、深度算出部１４と、姿勢推定部１５と、ポイントクラウド生成部１６と、カメラ・プロジェクタ制御部１７と、記憶部１８と、を有する。
　図２（Ａ）に示すように、本実施形態では、１フレームの間に連続して３回シャッタが切られるように、カメラ２が制御される。このうち２回目のシャッタが切られるときに、赤外線ランダムパターン光３５が対象物体に照射される。
　これにより、図３に示すように、１回目のシャッタで第１の通常画像４１がカメラ２により撮影される。２回目のシャッタで、赤外線ランダムパターン光３５が照射された対象物体を撮影したパターン画像５１がカメラ２により撮影される。３回目のシャッタで第２の通常画像４２が取得される。
　（記憶部）
　図４に示すように、記憶部１８は、カメラ２により取得された通常画像を時系列に記憶する。
　また、記憶部１８は、パターン画像５１の深度情報の信頼性の判定に係る情報処理を実行するためのプログラムを格納する。
　記憶部１８に記憶されるプログラムは、順に撮影された対象物体の第１の通常画像４１と、赤外線ランダムパターン光３５が照射されたパターン画像５１と、第２の通常画像４２を取得するステップと、第１の通常画像４１と第２の通常画像４２を基にパターン画像５１が撮影された時間に対応する内挿画像５２を生成するステップと、内挿画像５２とパターン画像５１の差分画像５３を生成するステップと、差分画像５３を用いて対象物体の深度情報を算出するステップと、を含む処理を情報処理装置１に実行させるためのものである。
　（内挿画像生成部）
　図３及び図４に示すように、内挿画像生成部１２は、第２の通常画像４２と、当該第２の通常画像４２よりも時間的に前に取得されたパターン画像５１よりも更に前に取得された第１の通常画像４１を記憶部１８から取得する。
　内挿画像生成部１２は、第１の通常画像４１及び第２の通常画像４２を基に、パターン画像５１が取得された時間に対応する内挿画像５２を生成する。
　内挿画像５２の生成には、一般的な技術を適用できる。例えば、画像の動きベクトルに基づいて内挿画像５２を生成する方法、事前学習に基づく超解像フィルタを用いて内挿画像５２を生成する方法、輝度ベースの内挿平均フィルタを用いて内挿画像５２を生成する方法等がある。
　第１の通常画像４１（第２の通常画像４２）は、左カメラ及び右カメラで構成されたカメラ２により撮像された２枚の右の第１の通常画像４１Ｒ（右の第２の通常画像４２Ｒ）及び左の第１の通常画像４１Ｌ（左の第２の通常画像４２Ｌ）を含む。
　内挿画像５２は、右の第１の通常画像４１Ｒと右の第２の通常画像４２Ｒを基に生成される右の内挿画像５２Ｒと、左の第１の通常画像４１Ｌと左の第２の通常画像４２Ｌを基に生成される左の内挿画像５２Ｌと、を含む。尚、内挿画像５２として、内挿画像５２Ｒ又は内挿画像５２Ｌの一方のみを用いてもよい。
　（差分画像生成部）
　図３及び図４に示すように、差分画像生成部１１は、内挿画像生成部１２で生成された内挿画像５２と、カメラ２より取得したパターン画像５１の差分をとった差分画像５３を生成する。
　（分割領域信頼性判定部）
　信頼性判定部としての分割領域信頼性判定部１３は、差分画像生成部１１で生成された差分画像５３を解析し、パターン画像５１の深度情報の信頼性を判定する。
　具体的には、分割領域信頼性判定部１３は、差分画像５３を格子状に分割してなる複数の分割領域毎に、画像の輝度情報を用いて、差分画像が鮮明か否か、明るいか否かを評価する。尚、１つの分割領域は、例えば８×８画像程度の大きさを採用することができる。
　より詳細には、差分画像５３を格子状に分割した分割領域毎に、輝度情報として、平均輝度値、輝度の分散値、ダイナミックレンジを算出する。輝度の分散値及びダイナミックレンジは、輝度のばらつきの指標として用いられ、鮮明さの判定で用いられる。
　平均輝度値は、１つの分割領域内の全画素の輝度値の平均である。
　輝度の分散値は、１つの分割領域内の各画像の輝度値と当該分割領域の平均輝度値との差を求めることによって各画素における偏差を計算し、当該偏差の二乗平均を計算することによって求められる。
　ダイナミックレンジは、１つの分割領域内の最大輝度値と最小輝度値との差により求められる。
　分割領域信頼性判定部１３は、分割領域毎に、差分画像が鮮明か否かを判定するために、分散値又はダイナミックレンジがしきい値以上か否かを評価する。しきい値よりも大きい場合には深度情報の信頼性が高いと判定される。しきい値よりも小さい場合には深度情報の信頼性が低いと判定される。また、分散値又はダイナミックレンジの大きさに応じて深度情報の信頼度が付与される。
　この鮮明さの判定で、全ての分割領域で鮮明であると判定されると、パターン画像の深度情報の信頼性が高いと判定される。
　鮮明さの判定により信頼性が高いと判定されると、ポイントクラウドや深度画像の生成、ポイントクラウドを生成するための姿勢情報の推定等に用いるための深度情報を算出する処理が実行される。
　一方、信頼性が低いと判定されると、ポイントクラウドや深度画像の生成、ポイントクラウドを生成するための姿勢情報の推定等に用いるための深度情報を算出する処理は実行されない。
　鮮明さの判定により信頼性が低いと判定された場合、次のフレームでの撮影で深度情報の信頼性がより高いパターン画像が得られるように、次のフレームでの撮影でのカメラ２の撮像素子２３の露光時間又はプロジェクタ３の赤外線光源３２の照射パワーが変更されるように制御信号が生成される。
　詳細については図６を用いた説明で後述するが、より信頼性の高いパターン画像を取得するための次のフレームでの撮影でのカメラ２及びプロジェクタ３の制御信号の生成では、カメラ２の動き速度が用いられる。
　このカメラ２の動き速度は、姿勢推定部１５により推定された姿勢情報を基に算出される。更に、姿勢推定部１５での姿勢情報の推定には、深度情報の算出結果と内挿画像５２が用いられ、ここでの深度情報の算出では、信頼性が低いと判定されているパターン画像５１が用いられる。
　鮮明さの判定で鮮明でないと判定されると、分割領域信頼性判定部１３は、分割領域毎に、差分画像が明るいか否かを判定する。明るいか否かの判定には平均輝度値が用いられ、平均輝度値がしきい値以上か否かが評価される。
　この明るさの判定結果と、上述のカメラ２の動き速度を用いて、より深度情報の信頼性が高いパターン画像が得られるように、次のフレームでの撮影でのカメラ２の撮像素子２３の露光時間、プロジェクタ３の赤外線光源３２の照射パワーが制御されるように制御信号が生成される。
　尚、本実施形態では差分画像の鮮明さの判定において、分散値またはダイナミックレンジを用いる例をあげたが、輝度情報として空間周波数を用いてもよい。
　（深度算出部）
　図４に示すように、深度算出部１４は、パターン画像５１を用いて深度情報（奥行情報）を算出する。例えばブロックマッチング手法を用いて深度情報を算出することができる。
　パターン画像５１は、左カメラ及び右カメラで構成されたカメラ２により撮像された２枚の右パターン画像５１Ｒ及び左パターン画像５１Ｌを含む。
　ブロックマッチング手法では、右パターン画像５１Ｒと左パターン画像５１Ｌとをブロック毎にマッチングする。
　具体的には、例えば８×８のブロック単位で画像のマッチングを行う場合、右カメラにより撮像された右パターン画像５１Ｒの注目している画素を中心とした８×８画像のブロックに近いブロックを左パターン画像５１Ｌから探して視差を得る。すなわち、深度算出部１４は、左パターン画像５１Ｌの探索範囲の全ての水平１画素毎に、右パターン画像５１Ｒの８×８ブロックと左パターン画像５１Ｌの８×８ブロックとの画像比較を行う。例えば探索範囲が６４画素の場合、右パターン画像５１Ｒの１画素毎に６４回のブロックの画像マッチングを行い、これを右パターン画像の全ての画素に対して行う。
　カメラ２を構成する右カメラ、左カメラは固定されており、カメラ感の距離（基線長）が固定されている。このため、ブロックマッチングにより得た視差と、基線長とに基づいて、深度が算出される。
　以上説明したマッチング処理を全画素に対して行うことで、各画素の深度情報が得られ、画面全体の深度画像を生成することができる。
　この生成される深度画像は、分割領域信頼性判定部１３により深度情報の信頼性が高いと判定されたパターン画像５１を用いて深度情報が算出されて生成されることにより、精度の高いものとなる。
　（姿勢推定部）
　図４に示すように、姿勢推定部１５は、内挿画像５２及び深度情報を用いて、カメラ２の姿勢情報を取得する。姿勢推定部１５は、深度情報が得られた画素を異なるフレームでトラッキングすることにより、カメラ２の位置と姿勢を推定する。この推定結果を用いてカメラ２の動き速度が算出される。
　（ポイントクラウド生成部）
　図４に示すように、ポイントクラウド生成部１６は、深度情報の信頼性の高いパターン画像５１を用いて深度算出部１４で算出された深度情報と、当該深度情報及び内挿画像５２を用いて姿勢推定部１５で推定された姿勢情報を基に、被写体となっている対象物体の単一の基準座標系におけるポイントクラウドを生成する。
　（カメラ・プロジェクタ制御部）
　カメラ・プロジェクタ制御部１７は、分割領域信頼性判定部１３での差分画像の鮮明さの判定で鮮明でないと判定され深度情報の信頼性が低いとされた判定結果に基づいて、姿勢推定部１５により推定された姿勢情報を用いて、次のフレームでの撮影におけるカメラ２での露光時間及びプロジェクタ３から照射される赤外線ランダムパターン光の照射パワーを制御する制御信号を生成する。
　このように、カメラ・プロジェクタ制御部１７は、露光制御部であり照射制御部でもある。
　［情報処理方法］
　図３～図６を用いて、上述の情報処理装置１における情報処理方法について、図５のフロー図に従って説明する。図５は情報処理装置１による情報処理方法を説明するフロー図である。図６は、分割領域信頼性判定部１３による差分画像を用いた分割領域毎の深度情報の信頼性の判定方法及びカメラ・プロジェクタ制御部１７での制御信号の生成方法を説明するためのフロー図である。
　図３～図５に示すように、情報処理装置１により、カメラ２で順に撮影された対象物体の第１の通常画像４１、パターン画像５１、第２の通常画像４２が取得される（Ｓ１）。
　次に、内挿画像生成部１２により、第１の通常画像４１及び第２の通常画像４２を用いて内挿画像５２が生成される（Ｓ２）。
　次に、差分画像生成部１１により、内挿画像５２及びパターン画像５１を用いて差分画像５３が生成される（Ｓ３）。
　次に、分割領域信頼性判定部１３により、差分画像５３を格子状に分割した分割領域毎に、輝度情報として平均輝度値、分散値、ダイナミックレンジが算出され、これらを用いて深度情報の信頼性が判定される（Ｓ４）。深度情報の信頼性の判定の詳細については後述する。
　次に、分割領域信頼性判定部１３により深度情報の信頼性が高いと判定されると、深度算出部１４により、パターン画像５１を用いて深度情報が算出される（Ｓ５）。
　次に、内挿画像５２及び深度情報を用いて、姿勢推定部１５によりカメラ２の姿勢情報が推定される（Ｓ６。）当該姿勢情報を基にカメラ２の動き速度が推定される。
　次に、深度情報の信頼性判定で信頼性が高いと判定されたパターン画像５１を用いて深度算出部１４により算出された深度情報、当該深度情報と内挿画像５２を用いて姿勢推定部１５により推定された姿勢情報を基に、ポイントクラウド生成部１６により、対象物体の三次元空間情報としてのポイントクラウドが生成される（Ｓ７）。
　ここで、内挿画像５２はパターン画像５１が撮影された時間に対応する画像であり、深度情報算出で用いられるパターン画像５１と、姿勢推定で用いられる内挿画像５２とは、同じ時間に撮影された画像とみなされる。
　すなわち、ポイントクラウド生成において、時間的なずれのない深度情報と姿勢情報を用いることができ、より精度の高いポイントクラウドを生成することができる。
　図５に示すフロー図に戻る。
　カメラ・プロジェクタ制御部１７により、分割領域信頼性判定部１３による判定結果及び姿勢推定部１５により推定された姿勢情報に基づいて、カメラ２及びプロジェクタ３の制御信号が生成される（Ｓ８）。詳細については後述する。
　次に、図６を用いて、分割領域信頼性判定部１３及びカメラ・プロジェクタ制御部１７における情報処理方法について説明する。図６において、Ｓ１１～Ｓ１８のステップはフレーム毎に行われる。
　図６において、Ｓ１１の分割領域毎の鮮明さ判定処理とＳ１２の明るさ判定処理は、分割領域信頼性判定部１３で行われる。Ｓ１３～Ｓ１８の各処理は、カメラ・プロジェクタ制御部１７で行われる。
　図６に示すように、分割領域信頼性判定部１３により、分割領域毎に、差分画像が鮮明か否かが判定される（Ｓ１１）。鮮明さの判定には、分散値又はダイナミックレンジが用いられ、分散値又はダイナミックレンジがしきい値以上か否かが評価される。
　Ｓ１１で、しきい値以上であり、鮮明であると判定され、深度情報の信頼性が高いと判定されると（Ｙｅｓ）、Ｓ１９に進み、次のフレームでの処理へと進む。次のフレームでの処理においても、Ｓ１１～Ｓ１８の処理が行われる。
　次のフレームでの撮影は、直前のフレームで出力されたパルス波形と同じ制御信号で、カメラ２の撮像素子２３の撮像時間、プロジェクタ３からの赤外線ランダムパターン光の照射パワーが制御されて、行われる。
　尚、Ｓ１１で鮮明であると判定され、深度情報の信頼性が高いと判定された場合、次のフレームでの撮影で、赤外線ランダムパターン光の照射がオフとなるように制御されてもよく、消費電力を低減させることができる。
　例えば、１秒間に６０フレーム撮影する場合、必ずしも全てのフレームで撮影を実行しなくてもよく、深度情報の信頼性が高いパターン画像が取得されていれば、次のフレームでの撮影では赤外線照射をオフとして、パターン画像を取得しないように構成してもよく、消費電力を低減させることができる。
　また、Ｓ１１で鮮明であると判定され、深度情報の信頼性が高いと判定されると（Ｙｅｓ）、深度算出部１４により、信頼性が高いと判定されたパターン画像５１を用いて、ポイントクラウドや深度画像の生成、ポイントクラウドを生成するための姿勢情報の推定等に用いるための深度情報の算出が行われる。
　Ｓ１１で、しきい値未満であり、鮮明でないと判定され、深度情報の信頼性が低いと判定されると（Ｎｏ）、Ｓ１２に進む。
　Ｓ１２では、分割領域毎に、差分画像が明るいか否かが判定される。明るさの判定には、平均輝度値が用いられ、平均輝度値がしきい値以上か否かが判定される。
　Ｓ１２で、しきい値未満であり、暗いと判定されると（Ｎｏ）、Ｓ１３に進む。
　Ｓ１２で、しきい値以上であり、明るいと判定されると（Ｙｅｓ）、Ｓ１４に進む。
　ここで、例えば、撮影する対象物体がおかれる環境が暗かったり、対象物体自体が黒っぽかったりして、画像が暗すぎる場合、対象物体を識別することが難しくなる。
　一方、明るすぎる場合は、白つぶれ等が生じ、対象物体を識別することが難しくなる。
　Ｓ１３では、姿勢推定部１５で推定されるカメラ２の動き速度がしきい値ｔｈＣ以上であるか否かが判定される。カメラ２の動き速度がしきい値未満である場合はカメラ２がゆっくりと動いている状態であり、しきい値以上である場合はカメラ２が早く動いている状態である。
　Ｓ１３で、カメラ２の動き速度がしきい値ｔｈＣ未満であると判定されると（Ｙｅｓ）、カメラ２での露光時間が長くなるように（Ｓ１５）、カメラ・プロジェクタ制御部１７により、カメラ２のカメラ制御パルス（制御信号）が生成される。更に、カメラ２での露光時間の変更に伴い、プロジェクタ３での赤外線照射時間が長くなるように、赤外線照射パルス（制御信号）が生成される。
　そして、次のフレームでの撮影時に、生成された制御信号に基づき画像が取得されることにより、暗すぎない、深度情報の信頼性がより高いパターン画像５１を得ることができる。
　ここで、画像が暗い場合、照射する赤外線のパワーを上げることも考えられるが、消費電力が高くなるため、カメラ２の動きが遅い場合には、露光時間で制御することが好ましく、消費電力の増加を抑制することができる。
　Ｓ１３で、カメラ２の動き速度がしきい値ｔｈＣ以上であると判定されると（Ｎｏ）、プロジェクタ３での赤外線照射パワーが増加するように（Ｓ１６）、カメラ・プロジェクタ制御部１７により、プロジェクタ３の赤外線照射パルスが生成される。
　ここで、画像が暗く、カメラ２の動きが早い場合、露光時間を長くすると、撮影する画像がぼけてしまうため、赤外線照射パワーを増加することが好ましい。これにより、次のフレームでの撮影で、生成された制御信号に基づき画像が取得されることによって、暗すぎない、深度情報の信頼性がより高いパターン画像５１を得ることができる。
　Ｓ１４では、姿勢推定部１５で推定されるカメラ２の動き速度がしきい値ｔｈＣ以上であるか否かが判定される。カメラ２の動き速度がしきい値未満である場合はカメラ２がゆっくりと動いている状態であり、しきい値以上である場合はカメラ２が早く動いている状態である。
　Ｓ１４で、カメラ２の動き速度がしきい値ｔｈＣ未満であると判定されると（Ｙｅｓ）、カメラ２での露光時間が短くなるように（Ｓ１７）、カメラ・プロジェクタ制御部１７により、カメラ２のカメラ制御パルス（制御信号）が生成され、更に、カメラ２での露光時間の変更に伴い、プロジェクタ３での赤外線照射時間が短くなるように、赤外線照射パルス（制御信号）が生成される。
　これにより、次のフレームでの撮影で、生成された制御信号に基づき画像が取得されることにより、明るすぎない、深度情報の信頼性がより高いパターン画像５１を得ることができる。
　Ｓ１４で、カメラ２の動き速度がしきい値ｔｈＣ以上であると判定されると（Ｎｏ）、プロジェクタ３での赤外線照射パワーが減少するように（Ｓ１８）、カメラ・プロジェクタ制御部１７により、プロジェクタ３の赤外線照射パルスが生成される。
　これにより、次のフレームでの撮影で、生成された制御信号に基づき画像が取得されることにより、明るすぎない、深度情報の信頼性がより高いパターン画像５１を得ることができる。
　Ｓ１５～Ｓ１８の各ステップの後、Ｓ１９にすすみ、次のフレームでの撮影は、Ｓ１５～Ｓ１８の各ステップで生成された制御信号に基づいて、カメラ２及びプロジェクタ３が制御されて、処理が行われる。
　このように、深度算出部１４による深度情報の算出は、分割領域信頼性判定部１３による信頼性判定の結果にかかわらず行われるが、信頼性が高いと判定された場合に算出される深度情報は、深度画像の生成、ポイントクラウドの生成、ポイントクラウド生成のための姿勢情報の推定に用いられる。
　一方、信頼性が低いと判定された場合に算出される深度情報は、次のフレームでの撮影で、深度情報の信頼性がより高いパターン画像が得られるように、カメラ２及びプロジェクタ３を制御するための制御信号を生成するために用いられる。
　また、姿勢推定部１５による姿勢推定は、分割領域信頼性判定部１３による信頼性判定の結果にかかわらず行われるが、信頼性が高いと判定された場合に推定される姿勢情報は、ポイントクラウドの生成に用いられる。
　一方、信頼性が低いと判定された場合に推定される姿勢情報は、次のフレームでの撮影で、深度情報の信頼性がより高いパターン画像が得られるように、カメラ２及びプロジェクタ３を制御するための制御信号を生成するために用いられる。
　以上のように、本実施形態では、差分画像を用いて、パターン画像の深度情報の信頼性が判定される。そして、この信頼性判定で深度情報の信頼性が高いと判定されたパターン画像を基に深度情報が算出されるため、対象物体の精度の高い深度情報を取得することができる。
　また、パターン画像が撮像された時間に対応する内挿画像を用いて姿勢情報が取得されることにより、時間的なずれがないとみなされる、自己位置推定用の画像（内挿画像）と深度情報算出用の画像（パターン画像）を取得することができる。更に、時間的なずれがないとみなされる内挿画像とパターン画像との差分画像の輝度情報を用いて深度情報の信頼性の判定が行われる。これにより精度の高い深度情報を取得することができる。
　また、精度の高い深度情報と姿勢情報を用いて、精度の高いポイントクラウドを生成することができる。
　更に、本実施形態では、差分画像の輝度情報を用いて、次のフレームでの撮影におけるカメラ２での露光時間又はプロジェクタ３からの赤外線ランダムパターン光の照射パワー（赤外線光源の照射パワー）が制御されるので、深度情報の信頼性がより高くなったパターン画像を得ることが可能となる。これにより、深度情報の信頼性の高いパターン画像を用いて深度情報を算出することが可能となり、精度の高い深度情報を取得することができる。
　［その他の実施形態］
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述の実施形態においては、図２（Ａ）に示すように、１フレーム期間に３回シャッタが切られるようにカメラ２が制御され、２回目のシャッタが切られるときに赤外線が照射されるようにプロジェクタ３の赤外線照射のタイミングが制御されていた。
　これに対し、図２（Ｂ）に示すように、第１フレーム目で２回シャッタが切られて第１の通常画像とパターン画像が取得され、続く第２フレーム目で１回シャッタが切られて第２の通常画像が取得されるように、カメラ２及びプロジェクタ３の動作が制御されてもよい。
　このように、第１の通常画像と第２の通常画像の少なくとも一方が、パターン画像と同一のフレーム期間内で取得され、第１の通常画像、パターン画像、第２の通常画像が順に撮影されればよい。
　また、上述の実施形態においては、カメラ２としてステレオカメラを用いる場合を例にあげたが、単眼カメラであってもよい。単眼カメラの場合、対象物体に赤外線を照射して撮影して得られる赤外線パターンの図柄と、予め取得していた対象物体との距離毎の固定パターンの図柄のマッチングを行い、パターン画像における対象領域または対象特徴点の深度情報を算出することができる。
　また、上述の実施形態においては、第１の通常画像、第２の通常画像はそれぞれパターン画像の直前、直後に取得され、時間的に連続して順に第１の通常画像、パターン画像、第２の画像が取得されていたが、これに限定されず時間的に連続していなくてもよい。
　第１の通常画像（第２の通常画像）の取得とパターン画像の取得とが時間的にあいていてもよい。少なくとも、時間的に、パターン画像の取得時よりも前に第１の通常画像が取得され、パターン画像の取得時よりも後に第２の通常画像が取得されればよい。
　典型的には、上述の実施形態のように、第１の通常画像、第２の通常画像はそれぞれパターン画像の直前、直後にそれぞれ取得される。これにより高い精度の内挿画像を得ることができる。
　また、上述の実施形態においては、プロジェクタ３に１つの赤外線光源３２が搭載される場合を例にあげたが、図７に示すように、プロジェクタが複数の赤外線光源を備えてもよい。
　図７は、複数の赤外線光源を搭載するプロジェクタ１０３の概略図であり、パターン画像５１における赤外線光源３２毎の赤外線ランダムパターン光３５の照射領域を説明するための図である。
　図７に示すように、プロジェクタ１０３は、４つの赤外線光源３２ａ～３２ｄを有する。プロジェクタ１０３は、各赤外線光源３２ａ～３２ｄから照射された赤外線がランダムパターンマスク３３（図１参照）を通過することによって生成される赤外線ランダムパターン光３５ａ～３５ｃを照射する。
　尚、赤外線光源の数は１つ又は４つに限定されることはなく、単数又は複数である。
　赤外線光源３２ａ～３２ｄを特に区別する必要がない場合は赤外線光源３２と称する。後述する赤外線ランダムパターン光３５ａ～３５ｄ、照射領域３７ａ～３７ｄについても同様であり、それぞれ特に区別する必要がない場合は、赤外線ランダムパターン光３５、照射領域３７と称する。以下の図８及び図９についても同様である。
　各赤外線光源３２ａ～３２ｄから照射される赤外線によって生成される赤外線ランダムパターン光３５ａ～３５ｄがプロジェクタ１０３から出射される。出射された赤外線ランダムパターン光３５ａ～３５ｄが対象物体に照射された状態を撮影することにより、パターン画像５１が取得される。
　パターン画像５１は、赤外線光源３２ａ～３２ｄ毎に生成される赤外線ランダムパターン光３５ａ～３５ｄがそれぞれ照射された照射領域３７ａ～３７ｄを有する。照射領域３７ａ～３７ｄは、一方向に沿ってずれて位置し、隣り合う照射領域は互いに部分的に重なり合っている。
　このように、複数の赤外線光源３２を備えたプロジェクタ１０３を用い、赤外線光源３２の配置に応じてパターン画像５１におけるパターン光照射領域を設定してもよい。また、複数の赤外線光源３２の照射のオン、オフは個別に制御可能となっていてもよい。
　複数の赤外線光源を備えたプロジェクタを用いる場合においても、上述と同様、プロジェクタ１０３を用いて取得したパターン画像を基に差分画像が生成される。そして、差分画像を格子状に分割してなる複数の分割領域毎で深度情報の信頼性判定が行なわれる。
　信頼性判定の結果、ある赤外線光源３２の照射領域３７にある分割領域の全てにおいて、深度情報の信頼性が高いと判定された場合、当該赤外線光源３２からの赤外線照射は、次のフレームでの撮影時ではオフとし照射が行われないように構成してもよい。以下、図８を用いて説明する。
　図８及び後述する図９は、図７と同様に、４つの赤外線光源３２ａ～３２ｄを搭載するプロジェクタ１０３の概略図であり、パターン画像５１における赤外線光源３２毎の赤外線ランダムパターン光３５の照射領域３７を説明するための図である。また、図８及び図９は、信頼性判定結果を基に次のフレーム撮影で赤外線照射をオンとする赤外線光源をどのように選択するかを説明するための図である。上述と同様の構成については同様の符号を付している。
　図８及び後述する図９において、プロジェクタ１０３の各赤外線光源３２ａ～３２ｄから照射される赤外線を用いて生成される赤外線ランダムパターン光３５ａ～３５ｄが照射された対象物体が撮影されてなるパターン画像５５は、赤外線ランダムパターン光の照射領域３７ａ～３７ｄを有する。
　図８及び図９では、便宜的に、各照射領域３７ａ～３７ｄを、図面、上下方向に長手方向を有する矩形状とし、隣り合う照射領域同士が重ならないように図示している。
　照射されたパターン画像５５を基に差分画像が生成される。差分画像は、格子状に分割され、複数の分割領域毎に、輝度情報を用いて、深度情報の信頼性判定が行なわれる。
　図８では、パターン画像５５に、信頼性判定結果が反映されたものを図示している。図では、パターン画像５５に、信頼度をドットの密度で表したドットパターンを重ねて図示している。ドットの密度が粗なほど深度情報の信頼性が高いことを表し、密なほど深度情報の信頼性が低いことを表す。
　図８に図示されるパターン画像５５は、照射領域３７ｃ及び３７ｄにおいて深度情報の信頼性が高く、照射領域３７ａ及び３７ｂにおいて深度情報の信頼性が低くなっていることを表している。ここでは、カメラ２が動いていないと想定する。
　このように、深度情報の信頼性が高い照射領域３７ｃ及び３７ｄに対応する赤外線光源３２ｃ及び３２ｄは、次のフレームでの撮影時で照射がオフとなるように制御される。これより、電力の消費を低減することができる。
　一方、深度情報の信頼性が低い照射領域３７ａ及び３７ｂに対応する赤外線光源３２ａ及び３２ｂは、次のフレームでの撮影時で照射がオンとなるように制御される。
　また、深度情報の信頼性が低いと判定されたときの差分画像を用いて、上述したようにカメラ２での露光時間やプロジェクタ１０３の赤外線光源３２ａ及び３２ｂの照射パワーの制御信号が生成され、次のフレームでの撮影では、この制御信号に基づいてカメラ２やプロジェクタ３が制御されて撮影が行われる。
　このように、複数の赤外線光源を用いることにより、パターン画像における、深度情報の信頼性が高い、ポイントクラウドの生成等に有効な領域を判定することができる。また、深度情報の信頼性が高く有効な領域での赤外線照射が次のフレームでの撮影時にオフされるように赤外線光源を選択することができ、電力の消費を低減することができる。
　また、カメラ２の動きを考慮して、次のフレームでの撮影時にオンとする赤外線光源３２が選択されるように構成してもよい。以下、図９を用いて説明する。
　上述と同様に、プロジェクタ１０３から照射される赤外線が照射されるパターン画像５５を基に差分画像が生成される。差分画像は、格子状に分割されてなる複数の分割領域毎に、輝度情報を用いて、深度情報の信頼性判定が行なわれる。図９では、図８と同様にパターン画像５５に信頼度を表すドットパターンが重なって図示され、信頼性判定結果が反映されたものを図示している。
　図９に図示されるパターン画像５５では、照射領域３７ｃ及び３７ｄにおいて深度情報の信頼性が高く、照射領域３７ａ及び３７ｂにおいて深度情報の信頼性が低くなっている。ここでは、図面上、カメラ２が右から左に動くと推定されたとする。
　図９のパターン画像５５において、カメラ２が右から左に動くと推定される場合、カメラ２が移動する直前のフレームで撮影されたパターン画像内で信頼性が低かった領域のパターン画像を次のフレームでの撮影時に再度取得されるように、赤外線ランダムパターン光の照射をする赤外線光源３２ａ～３２ｃが選択される。
　以上のように、プロジェクタが複数の赤外線光源を備える場合、赤外線光源の配置に応じて赤外線光の照射領域が設定される。そして、各赤外線光源からの赤外線ランダムパターン光が照射される照射領域毎の深度情報の信頼性の判定結果に基づいて、次のフレームでの撮影時に、赤外線照射が行われる赤外線光源が選択される、すなわち、赤外線ランダムパターン光の照射領域が設定されるように構成されてもよい。
　また、深度情報の信頼性の判定結果に応じて赤外線ランダムパターン光の照射領域を設定する手法として、上述の複数の赤外線光源をプロジェクタに搭載する構成とする他、プロジェクタに搭載されるミラーとレンズを制御して光を集中させることにより、照射領域を選択するように構成してもよい。
　なお、本技術は以下のような構成もとることができる。
（１）　第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像のうち上記第１の通常画像と上記第２の通常画像を基に、上記パターン画像が撮影された時間に対応する内挿画像を生成する内挿画像生成部と、
　上記内挿画像と上記パターン画像の差分画像を生成する差分画像生成部と、
　上記差分画像を用いて深度情報を算出する深度算出部と
　を具備する情報処理装置。
（２）　上記（１）に記載の情報処理装置であって、
　上記深度算出部は、上記差分画像を用いて判定される上記パターン画像における深度情報の信頼性の判定結果に基づいて、上記パターン画像から深度情報を算出する
　情報処理装置。
（３）　上記（１）又は（２）に記載の情報処理装置であって、
　上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記パターン画像における深度情報の信頼性を判定する信頼性判定部
　を更に具備する情報処理装置。
（４）　上記（３）に記載の情報処理装置であって、
　上記輝度情報は、上記分割領域毎の輝度の分散値である
　情報処理装置。
（５）　上記（３）に記載の情報処理装置であって、
　上記輝度情報は、上記分割領域毎の輝度のダイナミックレンジである
　情報処理装置。
（６）　上記（３）に記載の情報処理装置であって、
　上記輝度情報は、上記分割領域毎の空間周波数である
　情報処理装置。
（７）　上記（３）～（６）のうちいずれか１つに記載の情報処理装置であって、
　上記信頼性判定部の判定結果に応じて、次のパターン画像の撮影でのパターン画像における上記赤外線パターン光の照射領域が設定される
　情報処理装置。
（８）　上記（７）に記載の情報処理装置であって、
　上記赤外線パターン光は、複数の赤外線光源を備えるパターン照射部から照射され、
　上記パターン画像は、複数の上記赤外線光源毎に照射領域が異なる上記赤外線パターン光が照射されて撮影される
　情報処理装置。
（９）　上記（１）～（８）のいずれか１つに記載の情報処理装置であって、
　上記第１の通常画像、上記パターン画像、及び上記第２の通常画像は、撮像素子を備えるカメラにより撮影され、
　上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記撮像素子の露光時間を制御する露光制御部
　を更に具備する情報処理装置。
（１０）　上記（１）～（９）のいずれか１つに記載の情報処理装置であって、
　上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記赤外線パターン光の照射パワーを制御する照射制御部
　を更に具備する情報処理装置。
（１１）　上記（１）～（１０）のいずれか１つに記載の情報処理装置であって、
　上記内挿画像生成部は、上記パターン画像の撮影の直前に撮影された上記第１の通常画像と、上記パターン画像の撮影の直後に撮影された上記第２の通常画像を基に上記内挿画像を生成する
　情報処理装置。
（１２）　上記（１）～（１１）のいずれか１つに記載の情報処理装置であって、
　上記第１の通常画像と上記第２の通常画像の少なくとも一方は、上記パターン画像と同一のフレーム期間内で取得される
　情報処理装置。
（１３）　第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得し、
　上記第１の通常画像と上記第２の通常画像を基に上記パターン画像が撮影された時間に対応する内挿画像を生成し、
　上記内挿画像と上記パターン画像の差分画像を生成し、
　上記差分画像を用いて深度情報を算出する
　情報処理方法。
（１４）　第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得するステップと、
　上記第１の通常画像と上記第２の通常画像を基に上記パターン画像が撮影された時間に対応する内挿画像を生成するステップと、
　上記内挿画像と上記パターン画像の差分画像を生成するステップと、
　上記差分画像を用いて深度情報を算出するステップと
　を含む処理を情報処理装置に実行させるためのプログラム。
　１…情報処理装置
　２…カメラ
　３…プロジェクタ（パターン照射部）
　１１…差分画像生成部
　１２…内挿画像生成部
　１３…分割領域信頼性判定部（信頼性判定部）
　１４…深度算出部
　２３…撮像素子
　３２、３２ａ～３２ｄ…赤外線光源
　３５…赤外線ランダムパターン光（赤外線パターン光）
　３７ａ～３７ｄ…照射領域
　４１…第１の通常画像
　４２…第２の通常画像
　５１…パターン画像
　５２…内挿画像
　５３…差分画像

Claims (14)

  1. 　第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像のうち前記第１の通常画像と前記第２の通常画像を基に、前記パターン画像が撮影された時間に対応する内挿画像を生成する内挿画像生成部と、
    　前記内挿画像と前記パターン画像の差分画像を生成する差分画像生成部と、
    　前記差分画像を用いて深度情報を算出する深度算出部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記深度算出部は、前記差分画像を用いて判定される前記パターン画像における深度情報の信頼性の判定結果に基づいて、前記パターン画像から深度情報を算出する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、前記パターン画像における深度情報の信頼性を判定する信頼性判定部
    　を更に具備する情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記輝度情報は、前記分割領域毎の輝度の分散値である
    　情報処理装置。
  5. 　請求項３に記載の情報処理装置であって、
    　前記輝度情報は、前記分割領域毎の輝度のダイナミックレンジである
    　情報処理装置。
  6. 　請求項３に記載の情報処理装置であって、
    　前記輝度情報は、前記分割領域毎の空間周波数である
    　情報処理装置。
  7. 　請求項３に記載の情報処理装置であって、
    　前記信頼性判定部の判定結果に応じて、次のパターン画像の撮影でのパターン画像における前記赤外線パターン光の照射領域が設定される
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記赤外線パターン光は、複数の赤外線光源を備えるパターン照射部から照射され、
    　前記パターン画像は、複数の前記赤外線光源毎に照射領域が異なる前記赤外線パターン光が照射されて撮影される
    　情報処理装置。
  9. 　請求項３に記載の情報処理装置であって、
    　前記第１の通常画像、前記パターン画像、及び前記第２の通常画像は、撮像素子を備えるカメラにより撮影され、
    　前記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、前記撮像素子の露光時間を制御する露光制御部
    　を更に具備する情報処理装置。
  10. 　請求項９に記載の情報処理装置であって、
    　前記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、前記赤外線パターン光の照射パワーを制御する照射制御部
    　を更に具備する情報処理装置。
  11. 　請求項１０に記載の情報処理装置であって、
    　前記内挿画像生成部は、前記パターン画像の撮影の直前に撮影された前記第１の通常画像と、前記パターン画像の撮影の直後に撮影された前記第２の通常画像を基に前記内挿画像を生成する
    　情報処理装置。
  12. 　請求項１１に記載の情報処理装置であって、
    　前記第１の通常画像と前記第２の通常画像の少なくとも一方は、前記パターン画像と同一のフレーム期間内で取得される
    　情報処理装置。
  13. 　第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得し、
    　前記第１の通常画像と前記第２の通常画像を基に前記パターン画像が撮影された時間に対応する内挿画像を生成し、
    　前記内挿画像と前記パターン画像の差分画像を生成し、
    　前記差分画像を用いて深度情報を算出する
    　情報処理方法。
  14. 　第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得するステップと、
    　前記第１の通常画像と前記第２の通常画像を基に前記パターン画像が撮影された時間に対応する内挿画像を生成するステップと、
    　前記内挿画像と前記パターン画像の差分画像を生成するステップと、
    　前記差分画像を用いて深度情報を算出するステップと
    　を含む処理を情報処理装置に実行させるためのプログラム。
PCT/JP2019/027473 2018-08-31 2019-07-11 情報処理装置、情報処理方法及びプログラム WO2020044809A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/258,905 US11501408B2 (en) 2018-08-31 2019-07-11 Information processing apparatus, information processing method, and program
DE112019004374.9T DE112019004374T5 (de) 2018-08-31 2019-07-11 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018162265A JP2020034465A (ja) 2018-08-31 2018-08-31 情報処理装置、情報処理方法及びプログラム
JP2018-162265 2018-08-31

Publications (1)

Publication Number Publication Date
WO2020044809A1 true WO2020044809A1 (ja) 2020-03-05

Family

ID=69645167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027473 WO2020044809A1 (ja) 2018-08-31 2019-07-11 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US11501408B2 (ja)
JP (1) JP2020034465A (ja)
DE (1) DE112019004374T5 (ja)
WO (1) WO2020044809A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111387966A (zh) * 2020-03-20 2020-07-10 中国科学院深圳先进技术研究院 信号波重构方法及心率变异性信息的检测设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012122975A (ja) * 2010-12-10 2012-06-28 Maxell Finetech Ltd 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3614324B2 (ja) * 1999-08-31 2005-01-26 シャープ株式会社 画像の補間システムおよび画像の補間方法
JP2004061446A (ja) * 2002-07-31 2004-02-26 Fujitsu Ten Ltd パターンマッチング処理方法及び画像処理装置
CA2485723A1 (en) * 2003-10-22 2005-04-22 Sony Corporation A data processing apparatus and method for producing interpolated data of an image
US10469827B2 (en) 2013-12-27 2019-11-05 Sony Corporation Image processing device and image processing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012122975A (ja) * 2010-12-10 2012-06-28 Maxell Finetech Ltd 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111387966A (zh) * 2020-03-20 2020-07-10 中国科学院深圳先进技术研究院 信号波重构方法及心率变异性信息的检测设备

Also Published As

Publication number Publication date
DE112019004374T5 (de) 2021-07-08
US11501408B2 (en) 2022-11-15
US20210287334A1 (en) 2021-09-16
JP2020034465A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
US10928622B2 (en) Medical image processing apparatus, medical image processing method, and medical observation system
US9971153B2 (en) Method and apparatus for displaying video data
JP6447516B2 (ja) 画像処理装置、および画像処理方法
US10178290B2 (en) Method and apparatus for automatically acquiring facial, ocular, and iris images from moving subjects at long-range
US10701281B2 (en) Image processing apparatus, solid-state imaging device, and electronic apparatus
US20200082160A1 (en) Face recognition module with artificial intelligence models
US10382699B2 (en) Imaging system and method of producing images for display apparatus
JP5536071B2 (ja) 空間光パターンに基づく深さデータの生成
KR20220099580A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
TWI471630B (zh) 主動式距離對焦系統及方法
KR102048411B1 (ko) 웨어러블 장치 및 이의 영상 처리 방법
CN109963136B (zh) 一种智能手机结构光深度相机的工作方法及装置
CN114930393A (zh) 多个群的无人机捕获的系统
US20180091718A1 (en) Processing apparatus, processing system, image pickup apparatus, processing method, and storage medium
JP2016218729A (ja) 画像処理装置、画像処理方法およびプログラム
WO2020044809A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR101737260B1 (ko) 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법
US10595007B2 (en) Structured-light method and system of dynamically generating a depth map
JP2019219929A (ja) 常時キャリブレーションシステム及びその方法
JP2019027894A (ja) 位置情報取得システム、位置情報取得方法及びプログラム
US20240169492A1 (en) Selective extended depth-of-field correction for image reconstruction
US20240054619A1 (en) Differently correcting images for different eyes
US20210134061A1 (en) Display system and method of using environment map to generate extended-reality images
US20230379594A1 (en) Image blending
WO2021133186A1 (ru) Способ управления роботизированным манипулятором

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854200

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19854200

Country of ref document: EP

Kind code of ref document: A1