WO2024070925A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2024070925A1
WO2024070925A1 PCT/JP2023/034433 JP2023034433W WO2024070925A1 WO 2024070925 A1 WO2024070925 A1 WO 2024070925A1 JP 2023034433 W JP2023034433 W JP 2023034433W WO 2024070925 A1 WO2024070925 A1 WO 2024070925A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
image
pixels
pixel
information
Prior art date
Application number
PCT/JP2023/034433
Other languages
English (en)
French (fr)
Inventor
泰輝 佐藤
秀徳 田畑
尚 米山
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024070925A1 publication Critical patent/WO2024070925A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • This disclosure relates to an image processing device, an image processing method, and a program.
  • the above conventional technology has a problem in that the amount of calculation required for position and orientation estimation and the like increases when there is a large amount of measurement data (three-dimensional point cloud) measured by a measuring device. This causes a problem in that the processing for detecting position and orientation takes a long time.
  • this disclosure proposes an image processing device, an image processing method, and a program that reduce the amount of calculation required for processing to detect the three-dimensional shape of an object.
  • FIG. 1 is a diagram illustrating a configuration example of a robot arm according to an embodiment of the present disclosure.
  • 1 is a diagram illustrating an example of the configuration of an image processing device according to a first embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of a post-processing unit according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of generation of a distance image according to an embodiment of the present disclosure.
  • 10A to 10C are diagrams illustrating an example of generation of an effective distance pixel area according to the first embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of position and orientation estimation according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a processing procedure of a process of a control system according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a processing procedure of object detection region information generation processing according to the first embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a processing procedure for effective distance pixel detection processing according to the first embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of the configuration of an image processing device according to a second embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of generation of a neighborhood distance pixel region according to the second embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a processing procedure of object detection region information generation processing according to a second embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a processing procedure for detecting nearby distance pixels according to a second embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of the configuration of an image processing device according to a third embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating another exemplary configuration of an image processing device according to a third embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating another exemplary configuration of an image processing device according to a third embodiment of the present disclosure.
  • First embodiment [Robot arm configuration] 1 is a diagram illustrating a configuration example of a robot arm according to an embodiment of the present disclosure.
  • the diagram illustrates a robot arm 1 to which an image processing device according to an embodiment of the present disclosure can be applied.
  • the robot arm 1 is a device that performs tasks such as grasping and carrying an object in place of a human arm.
  • the robot arm 1 in the diagram includes a plurality of links that are each rotatably attached. These links correspond to the bones of the arm of the robot arm 1.
  • a gripper 2 that grips an object to be transported is disposed at the tip of the robot arm 1.
  • the robot arm 1 extends, contracts, and rotates based on the control of a control device (not shown), and can transport the grasped object to any position within a movable range.
  • the figure shows an example in which the robot arm 1 grasps an object 3 being transported by a belt conveyor 4 and transports it to a predetermined position such as a workpiece.
  • a camera 30 and an image processing device 10 are further disposed at the tip of the robot arm 1.
  • the camera 30 captures moving images of the area near the belt conveyor 4 within the movable range of the robot arm 1.
  • the image processing device 10 generates a distance image of the moving object 3 from the moving images captured by the camera 30 and transmits it to a later-described post-processing unit 20.
  • This post-processing unit 20 includes an image processing unit 200 and a mechanism control unit 210 that controls the robot arm 1.
  • the image processing unit 200 detects the object 3 based on the distance image generated by the image processing device 10 and detects its position and orientation.
  • the mechanism control unit 210 also controls the robot arm 1 to move based on the position and orientation of the object 3 and drive the gripper 2 to grip the object 3.
  • the image processing device 10 If the shape of the object 3 is complex, the amount of calculation required for the image processing unit 200 to detect the object 3 and estimate its position and orientation increases. Therefore, the image processing device 10 generates information based on the distance image it generates to reduce the amount of calculation required by processing units such as the image processing unit 200, and supplies this information to the image processing unit 200.
  • This information is information on the detection area of the object 3. This information is referred to as object detection area information.
  • the image processing unit 200 can perform calculations by limiting the area to be processed in the distance image based on the object detection area information.
  • [Configuration of the image processing device] 2 is a diagram showing an example of the configuration of the image processing device 10 according to the first embodiment of the present disclosure.
  • the figure is a block diagram showing an example of the configuration of the image processing device 10.
  • a post-processing unit 20 is further shown in the figure. Note that the image processing device 10 and the post-processing unit 20 constitute a control system 9.
  • the image processing device 10 includes an image sensor 110, a distance image generation unit 120, an object detection region information generation unit 100, an interface (IF) unit 160, a holding unit 140, and a control unit 150.
  • the imaging element 110 generates an image.
  • This imaging element 110 is disposed in the camera 30 of FIG. 1 and generates an image of the detection target area.
  • a CMOS (Complementary Metal Oxide Semiconductor) type imaging element can be used for the imaging element 110.
  • the imaging element 110 sequentially generates images (frames) at a predetermined frame frequency and outputs them to the distance image generating unit 120.
  • the imaging element 110 is an example of a "sensor" in this disclosure.
  • the distance image generating unit 120 generates a distance image.
  • This distance image generating unit 120 generates a distance image from the image generated by the image sensor 110, and outputs it to the object detection area information generating unit 100.
  • a distance image is an image in which distance information is reflected for each pixel. The generation of the distance image will be described in detail later.
  • the object detection area information generation unit 100 generates object detection area information, which is information on the detection area of the object 3 when detecting the three-dimensional shape of the object 3. This object detection area information generation unit 100 generates the object detection area information based on the distance image generated by the distance image generation unit 120. In addition, the object detection area information generation unit 100 outputs the generated object detection area information to the IF unit 160.
  • the object detection area information generation unit 100 includes an effective distance pixel detection unit 101 and an effective distance pixel area generation unit 102.
  • the effective distance pixel detection unit 101 detects effective distance pixels from among the pixels that make up the distance image. These effective distance pixels represent pixels that have distance information that is valid for subsequent processing. Pixels that have information on a predetermined distance range correspond to effective distance pixels. This predetermined distance range corresponds to, for example, a range of distances that includes the object 3, which is the target object. For example, a range close to the distance to the object 3 placed on the conveyor belt 4 corresponds to the predetermined distance range. This predetermined distance range is supplied by the storage unit 140. The effective distance pixel detection unit 101 uses the predetermined distance range as a threshold value to detect effective distance pixels.
  • pixels that do not have distance information do not qualify as valid distance pixels. For example, pixels in an area where distance data could not be acquired when generating a distance image do not qualify as valid distance pixels. Details on detecting valid distance pixels will be given later.
  • the effective distance pixel area generating unit 102 generates an area of effective distance pixels as object detection area information. This effective distance pixel area corresponds to, for example, an area where effective distance pixels are arranged consecutively.
  • the effective distance pixel area generating unit 102 outputs the generated effective distance pixel area to the IF unit 160.
  • the IF section 160 is responsible for communication with the post-processing unit 20. This IF section 160 outputs the object detection area information from the object detection area information generation section 100 and the distance image from the distance image generation section 120 to the post-processing unit 20.
  • the storage unit 140 stores the above-mentioned predetermined distance range and outputs it to the effective distance pixel detection unit 101.
  • This storage unit 140 stores the predetermined distance range that is output as a setting value from the post-stage processing unit 20.
  • the control unit 150 controls the entire image processing device 10.
  • [Configuration of post-processing unit] 3 is a diagram illustrating an example of the configuration of the post-processing unit 20 according to an embodiment of the present disclosure.
  • the figure is a block diagram illustrating an example of the configuration of the post-processing unit 20.
  • the post-processing unit 20 includes an image processing unit 200 and a mechanism control unit 210.
  • the image processing unit 200 performs processing based on the distance image and object detection area information output from the image processing device 10.
  • the image processing unit 200 includes a position and orientation detection unit 201, a memory control unit 202, a memory 203, and a control unit 204.
  • the position and orientation detection unit 201 generates a three-dimensional point cloud from the distance image, and detects the area of object 3 from the generated three-dimensional point cloud. Furthermore, the position and orientation detection unit 201 estimates and detects the position and orientation of object 3 in the three-dimensional point cloud. When detecting the area of object 3 in the three-dimensional point cloud, the position and orientation detection unit 201 detects the area of object 3 from an area of the three-dimensional point cloud whose range is limited based on object detection area information. The position and orientation detection unit 201 performs processing using the memory 203 and memory control unit 202.
  • the memory control unit 202 controls the memory 203. This memory control unit 202 controls writing of the three-dimensional point cloud data generated by the position and orientation detection unit 201 to the memory 203.
  • the position and orientation detection unit 201 detects the area of the object 3 based on the three-dimensional point cloud data written to the memory 203.
  • the memory control unit 202 also selects the three-dimensional point cloud data to be written to the memory 203 based on the object detection area information. For example, when an effective distance pixel area is input as the object detection area information, the memory control unit 202 writes the three-dimensional point cloud of the effective distance pixel area to the memory 203.
  • the position and orientation detection unit 201 can detect the area of the object 3 from the three-dimensional point cloud from which unnecessary data has been reduced.
  • the control unit 204 controls the entire image processing unit 200.
  • the control unit 204 also generates setting values and outputs them to the storage unit 140 of the image processing device 10.
  • the mechanism control unit 210 controls the robot arm 1.
  • This mechanism control unit 210 includes a mechanism control unit 211.
  • the mechanism control unit 211 controls the robot arm 1 and the gripping unit 2 based on the distance to the object 3 and the position of the object 3 output from the image processing unit 200.
  • the mechanism control unit 211 calculates control parameters for the camera 30 and the robot arm 1 from, for example, information on the position and orientation of the object 3 detected by the position and orientation detection unit 201, generates control signals, and transmits them to a drive mechanism (not shown).
  • [Distance image generation] 4 is a diagram showing an example of distance image generation according to an embodiment of the present disclosure. The same figure shows an example of distance image generation in the distance image generation unit 120.
  • the distance image generation unit 120 calculates the distance to the measurement object.
  • the distance to the measurement object can be calculated based on the principle of triangulation by detecting feature points from a pattern projected onto the measurement object, associating the feature points with feature points on the captured image based on the feature amounts of the detected feature points.
  • (A) in the figure shows an example in which pattern light 369 is projected from projector 361 onto measurement object 350, and an image is generated by image sensor 110.
  • Pattern light 369 in the figure shows an example composed of multiple vertical lines.
  • image sensor 110 located at a predetermined distance from projector 361
  • an image corresponding to the distance to measurement object 350 is obtained.
  • a projected image an image captured when measurement object 350 is not present.
  • This projected image is an image based on pattern light 369.
  • (B) of the figure shows an example of a captured image 370.
  • an image 372 that changes according to the shape of the measurement object 350 is formed, and in the other region, an image based on the pattern light 369 (projected image 371) is formed.
  • the distance image generating unit 120 sets a feature point in the image 372. This feature point can be set to an edge of the projection pattern, or the like.
  • the black dots in (B) of the figure show examples of feature points.
  • the distance image generating unit 120 calculates a feature amount from pixel values around the set feature point.
  • the distance image generating unit 120 associates a pixel of the projection image 371 that has the same feature amount with the set feature point.
  • (C) of the figure shows an example of a case where a feature point (x, y) of the image 372 is associated with a point (xp, yp) of the projection image 371.
  • the distance image generating unit 120 then calculates the distance on the image between the feature point (x, y) and the point (xp, yp). Next, the distance image generating unit 120 applies the principle of triangulation to calculate the distance (three-dimensional shape) to the measurement object 350 from the distance on the image between the feature point (x, y) and the point (xp, yp). By repeating this process, a distance image can be generated.
  • [Generation of effective distance pixel area] 5 is a diagram showing an example of generation of an effective distance pixel region according to the first embodiment of the present disclosure.
  • (A) in the figure shows an image 310 including an object 3.
  • the image 310 is an image generated by projecting a uniform pattern of light onto the object 3 on the belt conveyor 4 in FIG. 1 and capturing an image from above by the camera 30.
  • a strip-shaped region 311 in the image 310 represents an image of the belt conveyor 4.
  • An elliptical region 315 represents an image of the spherical object 3.
  • a region 312 represents an image of the floor or the like outside the belt conveyor 4.
  • a region 314 represents a shadow region of the object 3.
  • Distance image 320 is an image in which distance is represented by the shade of dot hatching. Areas with darker dot hatching represent areas close to camera 30.
  • Area 321 of distance image 320 represents the distance image of belt conveyor 4.
  • Area 325 represents the distance image of object 3.
  • Area 322 represents the distance image of the area outside belt conveyor 4.
  • Area 324 represents the distance image of the shadow area of object 3.
  • the pixels in area 325 are pixels that fall within the aforementioned predetermined distance range and are considered to be valid distance pixels.
  • the pixels in area 321 are considered to be valid distance pixels.
  • the pixels in area 322 are pixels that do not fall within the aforementioned predetermined distance range and are not considered to be valid distance pixels.
  • Area 324 is an area where distance measurement has failed. For this reason, the pixels in area 324 are missing distance information. The pixels in area 324 are not considered to be valid distance pixels.
  • the effective distance pixel detection unit 101 in FIG. 2 detects the pixels in areas 321 and 325 in (B) of the same figure as valid pixels.
  • (C) of the figure shows an example of data 330 generated by the effective distance pixel area generation unit 102 of FIG. 2.
  • the white area 331 represents the effective pixel area.
  • Area 331 is an area that includes areas 321 and 325, which are areas of the effective distance pixels in (B) of the figure. In this way, the effective distance pixel area generation unit 102 can generate an area where effective distance pixels are arranged contiguously as an effective distance pixel area.
  • FIG. 6 is a diagram showing an example of position and orientation estimation according to an embodiment of the present disclosure.
  • the figure shows an example of position and orientation detection in the position and orientation detection unit 201.
  • the figure also shows an example of estimating and detecting the position and orientation based on the ICP (Iterative Closest Point) algorithm.
  • the position and orientation can be estimated by calculating a rotation matrix and a translation matrix that minimize the square sum from the positional relationship of the three-dimensional point cloud between frames. This calculation of the square sum and the movement of the point cloud are repeated until the convergence condition is satisfied.
  • matrices R and T are obtained that minimize the difference value between Psn and Ptn (the square sum of the distance between corresponding points) when the rotation matrix (R) and the translation matrix (T) are applied in the correspondence relationship between Psn and Ptn.
  • the formula in the figure shows a calculation formula for the square sum of the distance between corresponding points.
  • the variation of corresponding points is defined within a specified range.
  • the figure shows the variation of corresponding points in frame 401, which has point group Ps0-Ps2 and corresponds to frame N, and frame 411, which has point group Pt0-Pt2 and corresponds to frame N+1.
  • the calculation of the sum of squares of the distances between these corresponding points and the movement of the point group are repeated until the sum of squares satisfies the convergence condition. This makes it possible to calculate the rotation matrix (R) and translation matrix (T), and to estimate the position and orientation of object 3 represented by the 3D point group.
  • FIG. 7 is a diagram showing an example of a processing procedure of the control system according to the embodiment of the present disclosure.
  • the figure is a flow chart showing an example of a processing procedure of the control system 9 of FIG. 1.
  • the image sensor 110 generates an image of the object 3, which is a target object (step S101)
  • the distance image generating unit 120 generates a distance image (step S102).
  • the object detection area information generating unit 100 performs an object detection area information generating process (step S110).
  • the position and orientation detecting unit 201 detects the position and orientation of the object 3 based on the distance image and the object detection area information (step S103).
  • the mechanism control unit 211 of the mechanism control unit 210 controls the robot arm 1 and the gripping unit 2 based on the position and orientation of the object.
  • FIG. 8 is a diagram showing an example of a processing procedure of the object detection region information generation processing according to the first embodiment of the present disclosure.
  • the figure is a flow chart showing an example of a processing procedure of the object detection region information generation processing in the object detection region information generation unit 100.
  • the processing in the figure corresponds to the processing in step S110 in FIG. 7.
  • the effective distance pixel detection unit 101 performs an effective distance pixel detection processing (step S120) to detect effective distance pixels.
  • step S111 the effective distance pixel region generation unit 102 generates an effective distance pixel region (step S111).
  • the object detection region information generation unit 100 returns to the original processing.
  • step S110 is an example of the "object detection region information generation procedure" of the present disclosure.
  • FIG. 9 is a diagram showing an example of a processing procedure of the effective distance pixel detection processing according to the first embodiment of the present disclosure.
  • the figure is a flow chart showing an example of a processing procedure of the effective distance pixel detection processing in the effective distance pixel detection unit 101.
  • the processing in the figure corresponds to the processing in step S120 in FIG. 8.
  • the effective distance pixel detection unit 101 selects a pixel of interest from the distance image (step S121).
  • the effective distance pixel detection unit 101 determines whether or not the pixel of interest has distance data (step S122). As a result, if there is no distance data (step S122, No), the effective distance pixel detection unit 101 proceeds to the processing in step S125.
  • step S122 determines whether the distance of the distance data is within a predetermined distance range. As a result, if the distance of the distance data is not within the predetermined distance range (step S123, No), the valid distance pixel detection unit 101 proceeds to the process of step S125.
  • step S123 the effective distance pixel detection unit 101 saves the target pixel as an effective distance pixel (step S124) and proceeds to the process of step S125.
  • step S125 the effective distance pixel detection unit 101 determines whether processing of all pixels of the distance image has been completed (step S125). As a result, if processing of all pixels has not been completed (step S125, No), the effective distance pixel detection unit 101 returns to the process of step S121 and selects another target pixel. On the other hand, if processing of all pixels has been completed in step S125 (step S125, Yes), the effective distance pixel detection unit 101 returns to the original process.
  • the image processing device 10 of the first embodiment of the present disclosure generates object detection area information (effective distance pixel area) from a distance image including the object 3, and outputs it to the subsequent processing unit 20, which detects the three-dimensional shape of the object 3.
  • object detection area information effective distance pixel area
  • the subsequent processing unit 20 By limiting the area to be processed in the subsequent processing unit 20 based on the object detection area information, the amount of calculations in the processing of the subsequent processing unit 20 can be reduced.
  • the image processing device 10 of the first embodiment described above generates an effective distance pixel region as object detection region information.
  • the image processing device 10 of the second embodiment of the present disclosure differs from the first embodiment described above in that it generates a region of pixels having adjacent distance information among the multiple pixels constituting the distance image as object detection region information.
  • FIG. 10 is a diagram showing an example configuration of an image processing device 10 according to a second embodiment of the present disclosure. Similar to Fig. 2, this figure is a block diagram showing an example configuration of the image processing device 10.
  • the image processing device 10 in this figure differs from the image processing device 10 in Fig. 2 in that the object detection region information generation unit 100 includes a neighborhood distance pixel detection unit 103 and a neighborhood distance pixel region generation unit 104 instead of the effective distance pixel detection unit 101 and the effective distance pixel region generation unit 102.
  • the object detection region information generation unit 100 in the figure includes a nearby distance pixel detection unit 103 and a nearby distance pixel region generation unit 104.
  • the object detection region information generation unit 100 in the figure generates the region of nearby distance pixels as object region information.
  • the nearby distance pixel detection unit 103 detects nearby distance pixels from among the pixels that make up the distance image. These nearby distance pixels correspond to pixels that are densely packed within a specified distance range. Such nearby distance pixels are assumed to be pixels that make up the object 3, etc. On the other hand, pixels that are far away from other pixels are pixels that are isolated from the surrounding pixels. Such isolated pixels do not correspond to nearby distance pixels.
  • the nearby distance pixel selects a pixel of interest from the pixels of the distance image, and can detect the pixel of interest as a nearby distance pixel if the difference between the distance information of the pixel of interest and the distance information of each of the four pixels adjacent to the pixel of interest is less than a specified threshold. This specified threshold is supplied by the storage unit 140. The detection of nearby distance pixels will be described in detail later.
  • the neighborhood distance pixel area generating unit 104 generates an area of neighborhood distance pixels as object detection area information. This neighborhood distance pixel area corresponds to, for example, an area where neighborhood distance pixels are arranged consecutively. The neighborhood distance pixel area generating unit 104 outputs the generated neighborhood distance pixel area to the IF unit 160.
  • FIG. 11 is a diagram showing an example of generation of a neighborhood distance pixel region according to the second embodiment of the present disclosure.
  • (A) in the figure shows a pixel of interest 390 and adjacent pixels 391 to 394.
  • the pixel of interest 390 is a pixel selected from the pixels constituting the distance image.
  • the adjacent pixels 391 to 394 are pixels adjacent to the pixel of interest 390.
  • the parenthesized parts of the pixel of interest 390 and the like represent the xy coordinates of the pixel and the z coordinate which is distance information.
  • the neighborhood distance pixel detection unit 103 calculates the difference between the z coordinate of the pixel of interest 390 and the z coordinates of the adjacent pixels 391 to 394, respectively, and judges whether the four differences are less than a predetermined threshold value. As a result, if the four differences are less than the predetermined threshold value, the neighborhood distance pixel detection unit 103 can detect the pixel of interest 390 as a neighborhood distance pixel. On the other hand, if at least one of the four differences is not less than the predetermined threshold value, the neighborhood distance pixel detection unit 103 can judge that the pixel of interest 390 is not a neighborhood distance pixel.
  • (B) in the same figure is a re-posting of distance image 320 from FIG. 5.
  • the nearby distance pixel detection unit 103 detects nearby distance pixels from distance image 320 using the procedure described above.
  • (C) of the same figure shows an example of data 380 generated by the neighborhood distance pixel area generation unit 104.
  • the white area 381 represents the neighborhood distance pixel area.
  • Area 381 is an area where the neighborhood distance pixels detected in (A) of the same figure are arranged consecutively. This area where neighborhood distance pixels are arranged consecutively is an area where all four pixels adjacent to a certain neighborhood distance pixel are neighborhood distance pixels.
  • the neighborhood distance pixel area generation unit 104 generates such an area as a neighborhood distance pixel area.
  • FIG. 12 is a diagram showing an example of a processing procedure of the object detection region information generation processing according to the second embodiment of the present disclosure.
  • the figure is a flow chart showing an example of a processing procedure of the object detection region information generation processing in the object detection region information generation unit 100 of FIG. 10.
  • the processing in the figure can be applied to the processing of step S110 in FIG. 7.
  • the neighborhood distance pixel detection unit 103 performs a neighborhood distance pixel detection processing (step S130) to detect neighborhood distance pixels.
  • the neighborhood distance pixel area generation unit 104 generates a neighborhood distance pixel area (step S115).
  • the object detection region information generation unit 100 returns to the original processing.
  • step S110 in the figure is an example of the "object detection region information generation procedure" of the present disclosure.
  • FIG. 13 is a diagram showing an example of a processing procedure of the neighborhood distance pixel detection process according to the second embodiment of the present disclosure.
  • the figure is a flow chart showing an example of a processing procedure of the neighborhood distance pixel detection process in the neighborhood distance pixel detection unit 103.
  • the processing in the figure corresponds to the processing in step S130 in FIG. 12.
  • the neighborhood distance pixel detection unit 103 selects a pixel of interest from the distance image (step S131).
  • the neighborhood distance pixel detection unit 103 detects four adjacent pixels adjacent to the pixel of interest (step S132).
  • the neighborhood distance pixel detection unit 103 determines whether the difference in distance data between the pixel of interest and the adjacent pixels is less than a threshold value (step S133). As a result, if the difference is not less than the threshold value (step S133, No), the neighborhood distance pixel detection unit 103 proceeds to the processing in step S135.
  • step S133 the neighborhood distance pixel detection unit 103 saves the pixel of interest as a neighborhood distance pixel (step S134) and proceeds to the process of step S135.
  • step S135 the neighborhood distance pixel detection unit 103 determines whether processing of all pixels in the distance image has been completed (step S135). As a result, if processing of all pixels has not been completed (step S135, No), the neighborhood distance pixel detection unit 103 returns to the process of step S131 and selects another pixel of interest. On the other hand, if processing of all pixels has been completed in step S135 (step S135, Yes), the neighborhood distance pixel detection unit 103 returns to the original process.
  • the rest of the configuration of the image processing device 10 is the same as the configuration of the image processing device 10 in the first embodiment of the present disclosure, so a description thereof will be omitted.
  • the image processing device 10 of the second embodiment of the present disclosure generates a nearby distance pixel area from a distance image including the object 3 as object detection area information, and outputs it to the subsequent processing unit 20, which detects the three-dimensional shape of the object 3.
  • the subsequent processing unit 20 By limiting the area to be processed in the subsequent processing unit 20 based on the object detection area information, the amount of calculations in the processing of the subsequent processing unit 20 can be reduced.
  • FIG. 14 is a diagram showing an example of the configuration of an image processing device 10 according to a third embodiment of the present disclosure.
  • the figure is a block diagram showing an example of the configuration of the image processing device 10. Some blocks are omitted from the figure.
  • the object detection area information generation unit 100 of the image processing device 10 in the figure includes an effective distance pixel detection unit 101 and an effective distance pixel area generation unit 102, as well as a nearby distance pixel detection unit 103 and a nearby distance pixel area generation unit 104.
  • the object detection area information generation unit 100 in the figure outputs the effective distance pixel area and the nearby distance pixel area to the subsequent processing unit 20.
  • FIG. 15 is a diagram showing another example configuration of an image processing device 10 according to the third embodiment of the present disclosure.
  • this figure is a block diagram showing an example configuration of an image processing device 10.
  • the object detection area information generation unit 100 of the image processing device 10 in this figure differs from the object detection area information generation unit 100 in FIG. 14 in that a nearby distance pixel detection unit 103 detects nearby distance pixels from the effective distance pixel area generated by the effective distance pixel area generation unit 102.
  • the object detection area information generation unit 100 in this figure outputs the nearby distance pixel area generated based on the effective distance pixel area to the subsequent processing unit 20.
  • FIG. 16 is a diagram showing another example configuration of the image processing device 10 according to the third embodiment of the present disclosure. Like FIG. 15, this figure is a block diagram showing an example configuration of the image processing device 10.
  • the object detection area information generation unit 100 of the image processing device 10 in this figure differs from the object detection area information generation unit 100 in FIG. 15 in that the effective distance pixel detection unit 101 detects the effective distance pixel area from the nearby distance pixel area generated by the nearby distance pixel area generation unit 104.
  • the object detection area information generation unit 100 in this figure outputs the effective distance pixel area generated based on the nearby distance pixel area to the subsequent processing unit 20.
  • the rest of the configuration of the image processing device 10 is the same as the configuration of the image processing device 10 in the first embodiment of the present disclosure, so a description thereof will be omitted.
  • each device described in this specification may be realized using software, hardware, or a combination of software and hardware.
  • the programs constituting the software are stored in advance, for example, in a storage medium (non-transitory media) provided inside or outside each device. Then, each program is loaded into RAM, for example, when executed by a computer, and executed by a processor such as a CPU.
  • processing steps described in the above embodiments may be considered as a method having a series of steps, or as a program for causing the computer to execute the series of steps, or as a recording medium for storing the program.
  • CDs Compact Discs
  • MDs MiniDiscs
  • DVDs Digital Versatile Discs
  • memory cards Blu-ray (registered trademark) Discs, etc.
  • Blu-ray (registered trademark) Discs, etc. can be used as this recording medium.
  • the present technology can also be configured as follows.
  • An image processing device having an object detection area information generation unit that generates object detection area information, which is information on the detection area of an object when detecting a three-dimensional shape of the object from a distance image including the object, based on the distance image.
  • the object detection region information generation unit generates a region of effective distance pixels, which are pixels having information on a distance including the object in the distance image, as the object detection region information.
  • the object detection area information generation unit detects the effective distance pixels by comparing distance information of each pixel of the distance image with a predetermined threshold, and generates the area of the detected effective distance pixels as the object detection area information.
  • the object detection area information generation unit generates as the object detection area information a region of neighboring distance pixels that is a pixel of interest among the pixels of the distance image, where the difference between distance information of the pixel of interest and distance information of each of four pixels adjacent to the pixel of interest is less than a predetermined threshold.
  • a distance image generating unit that generates the distance image
  • the object detection region information generating unit generates the object detection region information based on the generated distance image.
  • (6) a sensor for generating an image including the object; The image processing device according to (5), wherein the distance image generating unit generates the distance image based on the generated image.
  • An image processing method comprising: generating object detection area information, which is information on a detection area of an object when detecting a three-dimensional shape of the object from a range image including the object, based on the range image.
  • a program that causes a computer to execute an object detection area information generation procedure that generates object detection area information, which is information on the detection area of an object when detecting the three-dimensional shape of the object from a distance image including the object, based on the distance image.
  • Image processing device 20 Post-processing unit 100 Object detection area information generation unit 101 Effective distance pixel detection unit 102 Effective distance pixel area generation unit 103 Near distance pixel detection unit 104 Near distance pixel area generation unit 110 Image sensor 120 Distance image generation unit 140 Storage unit 201 Position and orientation detection unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

物体の３次元形状を検出する装置における検出処理の演算量を低減する。本開示の画像処理装置は、物体検出領域情報生成部を有する。その本開示の画像処理装置が有するその物体検出領域情報生成部は、物体を含む距離画像からその物体の３次元形状を検出する際の物体検出領域情報をその距離画像に基づいて生成する。また、その本開示の画像処理装置が有するその物体領域情報生成部が生成する物体検出領域情報は、その物体の検出領域の情報である。

Description

画像処理装置、画像処理方法及びプログラム
　本開示は、画像処理装置、画像処理方法及びプログラムに関する。
　工場等において、産業用ロボットが組み立てを行う製造ラインが採用されている。この産業用ロボットは、ベルトコンベア等により搬送される部品を認識して把持し、ワーク位置に搬送する操作に適用される。このような操作を産業用ロボットに行わせるためには、部品等の物体を認識するとともに、移動する物体の位置や姿勢を認識する必要がある。このような物体（対象物）の３次元位置及び姿勢を認識する装置が提案されている。例えば、対象物を当該対象物の形状を点群により表した３次元辞書データと照合することにより、対象物の位置や姿勢を検出する装置が提案されている（例えば、特許文献１参照）。この従来技術では、カメラ等の測定機器の側から見えない対象物の領域に対応する３次元辞書データを削減することにより、演算量を削減している。
特開２０１３－０５３９２０号公報
　しかしながら、上記の従来技術では、測定器にて計測した計測データ（３次元点群）が多い場合に位置姿勢推定等の演算量が増加するという問題がある。このため、位置姿勢の検出の処理に時間が掛かるという問題がある。
　そこで、本開示では、物体の３次元形状を検出する処理の演算量を低減する画像処理装置、画像処理方法及びプログラムを提案する。
　本開示の画像処理装置は、物体検出領域情報生成部を有する。物体検出領域情報生成部は、物体を含む距離画像から上記物体の３次元形状を検出する際の上記物体の検出領域の情報である物体検出領域情報を上記距離画像に基づいて生成する。
本開示の実施形態に係るロボットアームの構成例を示す図である。 本開示の第１の実施形態に係る画像処理装置の構成例を示す図である。 本開示の実施形態に係る後段処理ユニットの構成例を示す図である。 本開示の実施形態に係る距離画像の生成の一例を示す図である。 本開示の第１の実施形態に係る有効距離画素領域の生成の一例を示す図である。 本開示の実施形態に係る位置姿勢の推定の一例を示す図である。 本開示の実施形態に係る制御システムの処理の処理手順の一例を示す図である。 本開示の第１の実施形態に係る物体検出領域情報生成の処理の処理手順の一例を示す図である。 本開示の第１の実施形態に係る有効距離画素検出の処理の処理手順の一例を示す図である。 本開示の第２の実施形態に係る画像処理装置の構成例を示す図である。 本開示の第２の実施形態に係る近傍距離画素領域の生成の一例を示す図である。 本開示の第２の実施形態に係る物体検出領域情報生成の処理の処理手順の一例を示す図である。 本開示の第２の実施形態に係る近傍距離画素検出の処理の処理手順の一例を示す図である。 本開示の第３の実施形態に係る画像処理装置の構成例を示す図である。 本開示の第３の実施形態に係る画像処理装置の他の構成例を示す図である。 本開示の第３の実施形態に係る画像処理装置の他の構成例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
　（１．第１の実施形態）
　［ロボットアームの構成］
　図１は、本開示の実施形態に係るロボットアームの構成例を示す図である。同図は、本開示の実施形態に係る画像処理装置が適用可能なロボットアーム１を説明する図である。ロボットアーム１は、人間の腕の代わりに対象物をつかむ及び運ぶ等の作業を行う装置である。同図のロボットアーム１は、それぞれ回動可能に取り付けられた複数のリンクを備える。このリンクは、ロボットアーム１の腕の骨に相当する部分である。ロボットアーム１の先端には、運搬対象の物体を把持する把持部２が配置される。ロボットアーム１は、不図示の制御装置の制御に基づいて伸縮及び旋回し、把持した物体を可動範囲内の任意の位置に運ぶことができる。
　同図は、ベルトコンベア４により搬送される物体３をロボットアーム１が把持し、ワーク等の所定の位置に搬送する例を表したものである。ロボットアーム１の先端にはカメラ３０及び画像処理装置１０が更に配置される。カメラ３０は、ロボットアーム１の可動範囲内のベルトコンベア４の近傍領域の動画像を撮像する。画像処理装置１０は、カメラ３０により撮像された動画像から移動する物体３の距離画像を生成し、後述する後段処理ユニット２０に伝達する。この後段処理ユニット２０は、画像処理ユニット２００及びロボットアーム１を制御する機構制御ユニット２１０を備える。画像処理ユニット２００は、画像処理装置１０により生成される距離画像に基づいて物体３を検出し、位置及び姿勢を検出する。また、機構制御ユニット２１０は、物体３の位置及び姿勢に基づいてロボットアーム１を移動させるとともに把持部２を駆動して物体３を把持させる制御を行う。
　物体３の形状が複雑な場合には、画像処理ユニット２００における物体３の検出や位置及び姿勢の推定の演算量が増加する。そこで、画像処理装置１０は、自身が生成した距離画像に基づいて画像処理ユニット２００等の処理部の演算量を低減するための情報を生成し、画像処理ユニット２００に供給する。この情報は、物体３の検出領域の情報である。この情報を物体検出領域情報と称する。画像処理ユニット２００は、物体検出領域情報に基づいて距離画像における処理の対象となる領域を限定して演算を行うことができる。
　［画像処理装置の構成］
　図２は、本開示の第１の実施形態に係る画像処理装置１０の構成例を示す図である。同図は、画像処理装置１０の構成例を表すブロック図である。同図には、後段処理ユニット２０を更に記載した。なお、画像処理装置１０及び後段処理ユニット２０は、制御システム９を構成する。画像処理装置１０は、撮像素子１１０と、距離画像生成部１２０と、物体検出領域情報生成部１００と、インターフェイス（ＩＦ）部１６０と、保持部１４０と、制御部１５０とを備える。
　撮像素子１１０は、画像を生成するものである。この撮像素子１１０は、図１のカメラ３０に配置され、検出対象領域の画像を生成する。撮像素子１１０には、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）型の撮像素子を適用することができる。撮像素子１１０は、所定のフレーム周波数において画像（フレーム）を逐次生成し、距離画像生成部１２０に対して出力する。なお、撮像素子１１０は本開示の「センサ」の一例である。
　距離画像生成部１２０は、距離画像を生成するものである。この距離画像生成部１２０は、撮像素子１１０により生成される画像から距離画像を生成し、物体検出領域情報生成部１００に対して出力する。ここで距離画像とは、距離の情報が画素毎に反映された画像である。距離画像の生成の詳細については後述する。
　物体検出領域情報生成部１００は、物体３の３次元形状を検出する際の物体３の検出領域の情報である物体検出領域情報を生成するものである。この物体検出領域情報生成部１００は、距離画像生成部１２０により生成される距離画像に基づいて物体検出領域情報を生成する。また、物体検出領域情報生成部１００は、生成した物体検出領域情報をＩＦ部１６０に対して出力する。物体検出領域情報生成部１００は、有効距離画素検出部１０１と、有効距離画素領域生成部１０２とを備える。
　有効距離画素検出部１０１は、距離画像を構成する画素のうちの有効距離画素を検出するものである。この有効距離画素は、後段の処理において有効な距離の情報を有する画素を表す。有効距離画素には、所定の距離範囲の情報を有する画素が該当する。この所定の距離範囲には、例えば、対象物である物体３を含む距離の範囲が該当する。例えば、ベルトコンベア４上に載置された物体３までの距離に近接する範囲が所定の距離範囲に該当する。この所定の距離範囲は、保持部１４０により供給される。有効距離画素検出部１０１は、所定の距離範囲を閾値として使用し、有効距離画素を検出する。
　なお、距離の情報を有さない画素は有効距離画素には該当しない。例えば、距離画像を生成する際の距離データの取得に失敗した領域の画素は、有効距離画素に該当しないこととなる。有効距離画素の検出の詳細については後述する。
　有効距離画素領域生成部１０２は、有効距離画素の領域を物体検出領域情報として生成するものである。この有効距離画素の領域には、例えば、有効距離画素が連続して配置される領域が該当する。有効距離画素領域生成部１０２は、生成した有効距離画素の領域をＩＦ部１６０に出力する。
　ＩＦ部１６０は、後段処理ユニット２０との間のやり取りを行うものである。このＩＦ部１６０は、物体検出領域情報生成部１００からの物体検出領域情報及び距離画像生成部１２０からの距離画像を後段処理ユニット２０に対して出力する。
　保持部１４０は、前述の所定の距離範囲を保持し、有効距離画素検出部１０１に対して出力するものである。この保持部１４０は、後段処理ユニット２０から設定値として出力される所定の距離範囲を保持する。
　制御部１５０は、画像処理装置１０の全体を制御するものである。
　［後段処理ユニットの構成］
　図３は、本開示の実施形態に係る後段処理ユニット２０の構成例を示す図である。同図は、後段処理ユニット２０の構成例を表すブロック図である。後段処理ユニット２０は、画像処理ユニット２００と、機構制御ユニット２１０とを備える。
　画像処理ユニット２００は、画像処理装置１０から出力される距離画像及び物体検出領域情報に基づいて処理を行うものである。画像処理ユニット２００は、位置姿勢検出部２０１と、メモリ制御部２０２と、メモリ２０３と、制御部２０４とを備える。
　位置姿勢検出部２０１は、距離画像から３次元点群を生成し、生成した３次元点群のうち物体３の領域を検出する。更に、位置姿勢検出部２０１は、３次元点群の物体３の位置及び姿勢を推定して検出する。３次元点群の物体３の領域を検出する際、位置姿勢検出部２０１は、物体検出領域情報に基づいて範囲を限定した３次元点群の領域から物体３の領域を検出する。なお、位置姿勢検出部２０１は、メモリ２０３及びメモリ制御部２０２を使用して処理を行う。
　メモリ制御部２０２は、メモリ２０３を制御するものである。このメモリ制御部２０２は、位置姿勢検出部２０１により生成される３次元点群のデータをメモリ２０３に書き込む制御を行う。位置姿勢検出部２０１は、メモリ２０３に書き込まれた３次元点群のデータに基づいて、物体３の領域を検出する。また、メモリ制御部２０２は、物体検出領域情報に基づいてメモリ２０３に書き込む３次元点群のデータを選択する。例えば、有効距離画素領域が物体検出領域情報として入力される際には、メモリ制御部２０２は、有効距離画素領域の３次元点群をメモリ２０３に書き込む。位置姿勢検出部２０１は、不要なデータが削減された３次元点群から物体３の領域を検出することができる。
　制御部２０４は、画像処理ユニット２００の全体を制御するものである。また、制御部２０４は、設定値を生成し、画像処理装置１０の保持部１４０に対して出力する。
　機構制御ユニット２１０は、ロボットアーム１を制御するものである。この機構制御ユニット２１０は、機構制御部２１１を備える。
　機構制御部２１１は、画像処理ユニット２００から出力される物体３までの距離及び物体３の位置に基づいてロボットアーム１及び把持部２を制御するものである。機構制御部２１１は、例えば、位置姿勢検出部２０１により検出された物体３の位置及び姿勢の情報からカメラ３０やロボットアーム１の制御パラメータを算出して制御信号を生成し、駆動機構（不図示）に送信する。
　［距離画像の生成］
　図４は、本開示の実施形態に係る距離画像の生成の一例を示す図である。同図は、距離画像生成部１２０における距離画像の生成の一例を表す図である。まず、距離画像生成部１２０は、計測対象物の距離を算出する。計測対象物までの距離は、計測対象に投影されたパターンから特徴点を検出し、検出した特徴点の特徴量に基づいて当該特徴点と撮像画像上の特徴点との対応付けを行い、三角測量の原理に基づいて算出することができる。
　同図の（Ａ）は、計測対象物３５０にプロジェクタ３６１からのパターン光３６９を投影し、撮像素子１１０により撮像画像を生成する例を表したものである。同図のパターン光３６９は、複数の縦線により構成される例を表したものである。このようなパターン光３６９をプロジェクタ３６１から投影し、プロジェクタ３６１から所定の距離にある撮像素子１１０により撮像すると、計測対象物３５０までの距離（３次元形状）に応じた撮像画像が得られる。なお、計測対象物３５０がない場合の撮像画像を投影画像と称する。この投影画像は、パターン光３６９に基づく画像となる。
　同図の（Ｂ）は、撮像画像３７０の例を表したものである。撮像画像３７０のうち計測対象物３５０の領域には計測対象物３５０の形状に応じて変化した画像３７２が形成され、これ以外の領域にはパターン光３６９に基づく画像（投影画像３７１）が形成される。距離画像生成部１２０は、画像３７２において特徴点を設定する。この特徴点は、投影パターンのエッジ等に設定することができる。同図の（Ｂ）の黒点は、特徴点の例を表す。次に、距離画像生成部１２０は、設定した特徴点の周囲の画素値から特徴量を算出する。次に、距離画像生成部１２０は、同じ特徴量の投影画像３７１の画素と設定した特徴点とを対応付ける。同図の（Ｃ）は、画像３７２の特徴点（ｘ、ｙ）と投影画像３７１の点（ｘｐ、ｙｐ）とが対応付けられる場合の例を表したものである。
　次に、距離画像生成部１２０は、特徴点（ｘ、ｙ）及び点（ｘｐ、ｙｐ）の画像上の距離を算出する。次に、距離画像生成部１２０は、三角測量の原理を適用して特徴点（ｘ、ｙ）及び点（ｘｐ、ｙｐ）の画像上の距離から計測対象物３５０までの距離（３次元形状）を算出する。このような処理を繰り返すことにより、距離画像を生成することができる。
　［有効距離画素領域の生成］
　図５は、本開示の第１の実施形態に係る有効距離画素領域の生成の一例を示す図である。同図の（Ａ）は、物体３を含む画像３１０を表したものである。画像３１０は、図１のベルトコンベア４上の物体３に一様なパターンの光を投光し、カメラ３０により上方から撮像して生成された画像である。画像３１０のうち帯状の領域３１１は、ベルトコンベア４の画像を表す。また、楕円の領域３１５は、球状の物体３の画像を表す。なお、領域３１２は、ベルトコンベア４の外側の床等の画像を表す。また、領域３１４は、物体３の影の領域を表す。
　同図の（Ｂ）は、画像３１０に対応する距離画像３２０を表したものである。距離画像３２０は、距離を点ハッチングの濃淡により表した画像である。点ハッチングが濃い領域はカメラ３０に近接する領域を表す。距離画像３２０のうち領域３２１は、ベルトコンベア４の距離画像を表す。また、領域３２５は、物体３の距離画像を表す。領域３２２はベルトコンベア４の外側の領域の距離画像を表す。また、領域３２４は物体３の影の領域の距離画像を表す。
　領域３２５の画素は、前述の所定の距離範囲に含まれる画素であり、有効距離画素に該当する。同様に、領域３２１の画素も有効距離画素に該当する。これに対し、領域３２２の画素は、前述の所定の距離範囲に含まれない画素であり、有効距離画素には該当しない。また、領域３２４は、距離の計測に失敗した領域である。このため領域３２４の画素は、距離の情報が欠落している。この領域３２４の画素は有効距離画素には該当しない。図２の有効距離画素検出部１０１は、同図の（Ｂ）の領域３２１及び３２５の画素を有効画素として検出する。
　同図の（Ｃ）は、図２の有効距離画素領域生成部１０２により生成されるデータ３３０の例を表したものである。このデータ３３０のうち白抜きの領域３３１が有効画素領域を表す。領域３３１は、同図の（Ｂ）の有効距離画素の領域である領域３２１及び３２５を含む領域である。このように、有効距離画素領域生成部１０２は、有効距離画素が連続して配置される領域を有効距離画素領域として生成することができる。
　［位置姿勢の検出］
　図６は、本開示の実施形態に係る位置姿勢の推定の一例を示す図である。同図は、位置姿勢検出部２０１における位置姿勢の検出の一例を表す図である。また、同図は、ＩＣＰ（Iterative　Closest　Point）のアルゴリズムに基づいて位置姿勢を推定し、検出する例を表したものである。位置姿勢の推定は、フレーム間の３次元点群の位置関係から２乗和が最小となる回転行列及び並進行列を算出することにより行うことができる。収束条件を満たすまで、この２乗和算出及び点群の移動が反復される。具体例には、フレームＮの３次元点群をＰｓｎ、フレームＮ＋１の３次元点群をＰｔｎと定義するとき、あるＰｓｎとＰｔｎとの対応関係において回転行列（Ｒ）及び並進行列（Ｔ）を適用したＰｓｎとＰｔｎとの差分値が最小（対応点同士の距離の２乗和）になる行列Ｒ及びＴを求める。同図の式は、対応点同士の距離の２乗和の算出式を表す。
　一般的には、対応点のバリエーションは規定範囲内で定義する。同図は、点群Ｐｓ０－Ｐｓ２を有してフレームＮに相当するフレーム４０１及び点群Ｐｔ０－Ｐｔ２を有してフレームＮ＋１に相当するフレーム４１１の対応点のバリエーションを表したものである。これら対応点同士の距離の２乗和の算出及び点群移動を２乗和が収束条件を満たすまで繰り返し実行する。これにより、回転行列（Ｒ）及び並進行列（Ｔ）を算出することができ、３次元点群により表された物体３の位置姿勢を推定することができる。
　［制御システムの処理］
　図７は、本開示の実施形態に係る制御システムの処理の処理手順の一例を示す図である。同図は、図１の制御システム９の処理の処理手順の一例を表す流れ図である。まず、撮像素子１１０が対象物である物体３の画像を生成し（ステップＳ１０１）、距離画像生成部１２０が距離画像を生成する（ステップＳ１０２）。次に、物体検出領域情報生成部１００が物体検出領域情報生成処理（ステップＳ１１０）を行う。次に、位置姿勢検出部２０１が距離画像及び物体検出領域情報に基づいて物体３の位置及び姿勢を検出する（ステップＳ１０３）。その後、機構制御ユニット２１０の機構制御部２１１が物体の位置及び姿勢に基づいてロボットアーム１及び把持部２を制御する。
　［物体検出領域情報生成の処理］
　図８は、本開示の第１の実施形態に係る物体検出領域情報生成の処理の処理手順の一例を示す図である。同図は、物体検出領域情報生成部１００における物体検出領域情報生成の処理の処理手順の一例を表す流れ図である。なお、同図の処理は、図７のステップＳ１１０の処理に該当する。まず、有効距離画素検出部１０１が有効距離画素検出処理（ステップＳ１２０）を行い、有効距離画素を検出する。次に、有効距離画素領域生成部１０２が有効距離画素領域を生成する（ステップＳ１１１）。その後、物体検出領域情報生成部１００は、元の処理に戻る。なお、ステップＳ１１０は、本開示の「物体検出領域情報生成手順」の一例である。
　［有効距離画素検出の処理］
　図９は、本開示の第１の実施形態に係る有効距離画素検出の処理の処理手順の一例を示す図である。同図は、有効距離画素検出部１０１における有効距離画素検出の処理の処理手順の一例を表す流れ図である。なお、同図の処理は、図８のステップＳ１２０の処理に該当する。まず、有効距離画素検出部１０１が距離画像から注目画素を選択する（ステップＳ１２１）。次に、有効距離画素検出部１０１は、注目画素に距離データがあるかを判断する（ステップＳ１２２）。その結果、距離データがない場合には（ステップＳ１２２，Ｎｏ）、有効距離画素検出部１０１は、ステップＳ１２５の処理に移行する。
　一方、距離データがある場合には（ステップＳ１２２，Ｙｅｓ）、有効距離画素検出部１０１は、距離データの距離が所定の距離範囲かを判断する（ステップＳ１２３）。その結果、距離データの距離が所定の距離範囲でない場合は（ステップＳ１２３，Ｎｏ）、有効距離画素検出部１０１は、ステップＳ１２５の処理に移行する。
　一方、距離データの距離が所定の距離範囲の場合は（ステップＳ１２３，Ｙｅｓ）、有効距離画素検出部１０１は、注目画素を有効距離画素として保存し（ステップＳ１２４）、ステップＳ１２５の処理に移行する。ステップＳ１２５において、有効距離画素検出部１０１は、距離画像の全ての画素の処理が終了したかを判断する（ステップＳ１２５）。その結果、全ての画素の処理が終了していない場合には（ステップＳ１２５，Ｎｏ）、有効距離画素検出部１０１は、ステップＳ１２１の処理に戻り、他の注目画素を選択する。一方、ステップＳ１２５において、全ての画素の処理が終了した場合には（ステップＳ１２５，Ｙｅｓ）、有効距離画素検出部１０１は、元の処理に戻る。
　このように、本開示の第１の実施形態の画像処理装置１０は、物体３を含む距離画像から物体検出領域情報（有効距離画素領域）を生成し、物体３の３次元形状を検出する後段処理ユニット２０に出力する。後段処理ユニット２０において物体検出領域情報に基づいて処理対象の領域を限定することにより、後段処理ユニット２０の処理における演算量を低減することができる。
　（２．第２の実施形態）
　上述の第１の実施形態の画像処理装置１０は、有効距離画素領域を物体検出領域情報として生成していた。これに対し、本開示の第２の実施形態の画像処理装置１０は、距離画像を構成する複数の画素のうちのそれぞれの距離の情報が近接する画素の領域を物体検出領域情報として生成する点で、上述の第１の実施形態と異なる。
　［画像処理装置の構成］
　図１０は、本開示の第２の実施形態に係る画像処理装置１０の構成例を示す図である。同図は、図２と同様に、画像処理装置１０の構成例を表すブロック図である。同図の画像処理装置１０は、物体検出領域情報生成部１００が有効距離画素検出部１０１及び有効距離画素領域生成部１０２の代わりに近傍距離画素検出部１０３及び近傍距離画素領域生成部１０４を備える点で、図２の画像処理装置１０と異なる。
　上述のように、同図の物体検出領域情報生成部１００は、近傍距離画素検出部１０３と、近傍距離画素領域生成部１０４とを備える。同図の物体検出領域情報生成部１００は、近傍距離画素の領域を物体領域情報として生成する。
　近傍距離画素検出部１０３は、距離画像を構成する画素のうちの近傍距離画素を検出するものである。この近傍距離画素は、所定の距離の範囲に密集する画素が該当する。このような近傍距離画素は、物体３等を構成する画素と想定される。一方、他の画素から離れた距離の画素は、周囲の画素から孤立した画素となる。このような孤立した画素は、近傍距離画素には該当しないこととなる。近傍距離画素は、距離画像の画素から注目画素を選択し、注目画素の距離の情報と注目画素に隣接する４つの画素のそれぞれの距離の情報との差分が所定の閾値未満である場合に、当該注目画素を近傍距離画素として検出することができる。この所定の閾値は、保持部１４０により供給される。近傍距離画素の検出の詳細については後述する。
　近傍距離画素領域生成部１０４は、近傍距離画素の領域を物体検出領域情報として生成するものである。この近傍距離画素の領域には、例えば、近傍距離画素が連続して配置される領域が該当する。近傍距離画素領域生成部１０４は、生成した近傍距離画素の領域をＩＦ部１６０に出力する。
　［近傍距離画素領域の生成］
　図１１は、本開示の第２の実施形態に係る近傍距離画素領域の生成の一例を示す図である。同図の（Ａ）は、注目画素３９０及び隣接画素３９１乃至３９４を表したものである。注目画素３９０は、距離画像を構成する画素から選択された画素である。隣接画素３９１乃至３９４は、それぞれ注目画素３９０に隣接する画素である。注目画素３９０等の括弧書きの部分は画素のｘｙ座標および距離の情報であるｚ座標を表す。近傍距離画素検出部１０３は、注目画素３９０のｚ座標と隣接画素３９１乃至３９４のｚ座標との差分をそれぞれ算出し、４つの差分が所定の閾値未満かを判断する。その結果、４つの差分が所定の閾値未満の場合には、近傍距離画素検出部１０３は、注目画素３９０を近傍距離画素として検出することができる。一方、４つの差分の少なくとも１つが所定の閾値未満でない場合には、近傍距離画素検出部１０３は、注目画素３９０を近傍距離画素ではないと判断することができる。
　同図の（Ｂ）は、図５の距離画像３２０を再掲したものである。近傍距離画素検出部１０３は、上述の手順により距離画像３２０から近傍距離画素を検出する。
　同図の（Ｃ）は、近傍距離画素領域生成部１０４により生成されるデータ３８０の例を表したものである。このデータ３８０のうち白抜きの領域３８１が近傍距離画素領域を表す。領域３８１は、同図の（Ａ）において検出された近傍距離画素が連続して配置される領域である。この近傍距離画素が連続して配置される領域とは、ある近傍距離画素に隣接する４つの画素の全てが近傍距離画素となる領域である。近傍距離画素領域生成部１０４はこのような領域を近傍距離画素領域として生成する。
　［物体検出領域情報生成の処理］
　図１２は、本開示の第２の実施形態に係る物体検出領域情報生成の処理の処理手順の一例を示す図である。同図は、図１０の物体検出領域情報生成部１００における物体検出領域情報生成の処理の処理手順の一例を表す流れ図である。なお、同図の処理は、図７のステップＳ１１０の処理に適用することができる。まず、近傍距離画素検出部１０３が近傍距離画素検出処理（ステップＳ１３０）を行い、近傍距離画素を検出する。次に、近傍距離画素領域生成部１０４が近傍距離画素領域を生成する（ステップＳ１１５）。その後、物体検出領域情報生成部１００は、元の処理に戻る。なお、同図のステップＳ１１０は、本開示の「物体検出領域情報生成手順」の一例である。
　［近傍距離画素検出の処理］
　図１３は、本開示の第２の実施形態に係る近傍距離画素検出の処理の処理手順の一例を示す図である。同図は、近傍距離画素検出部１０３における近傍距離画素検出の処理の処理手順の一例を表す流れ図である。なお、同図の処理は、図１２のステップＳ１３０の処理に該当する。まず、近傍距離画素検出部１０３が距離画像から注目画素を選択する（ステップＳ１３１）。次に、近傍距離画素検出部１０３は、注目画素に隣接する４つの隣接画素を検出する（ステップＳ１３２）。次に、近傍距離画素検出部１０３は、注目画素と隣接画素との距離データのそれぞれの差分が閾値未満かを判断する（ステップＳ１３３）。その結果、差分が閾値未満でない場合には（ステップＳ１３３，Ｎｏ）、近傍距離画素検出部１０３は、ステップＳ１３５の処理に移行する。
　一方、差分が閾値未満の場合には（ステップＳ１３３，Ｙｅｓ）、近傍距離画素検出部１０３は、注目画素を近傍距離画素として保存し（ステップＳ１３４）、ステップＳ１３５の処理に移行する。ステップＳ１３５において、近傍距離画素検出部１０３は、距離画像の全ての画素の処理が終了したかを判断する（ステップＳ１３５）。その結果、全ての画素の処理が終了していない場合には（ステップＳ１３５，Ｎｏ）、近傍距離画素検出部１０３は、ステップＳ１３１の処理に戻り、他の注目画素を選択する。一方、ステップＳ１３５において、全ての画素の処理が終了した場合には（ステップＳ１３５，Ｙｅｓ）、近傍距離画素検出部１０３は、元の処理に戻る。
　これ以外の画像処理装置１０の構成は本開示の第１の実施形態における画像処理装置１０の構成と同様であるため、説明を省略する。
　このように、本開示の第２の実施形態の画像処理装置１０は、物体３を含む距離画像から近傍距離画素領域を物体検出領域情報として生成し、物体３の３次元形状を検出する後段処理ユニット２０に出力する。後段処理ユニット２０において、物体検出領域情報に基づいて処理対象の領域を限定することにより、後段処理ユニット２０の処理における演算量を低減することができる。
　（３．第３の実施形態）
　画像処理装置１０のバリエーションについて説明する。
　図１４は、本開示の第３の実施形態に係る画像処理装置１０の構成例を示す図である。同図は、画像処理装置１０の構成例を表すブロック図である。同図において一部のブロックの記載を省略している。同図の画像処理装置１０の物体検出領域情報生成部１００は、有効距離画素検出部１０１及び有効距離画素領域生成部１０２と、近傍距離画素検出部１０３及び近傍距離画素領域生成部１０４とを備える。同図の物体検出領域情報生成部１００は、有効距離画素領域及び近傍距離画素領域を後段処理ユニット２０に出力する。
　図１５は、本開示の第３の実施形態に係る画像処理装置１０の他の構成例を示す図である。同図は、図１４と同様に、画像処理装置１０の構成例を表すブロック図である。同図の画像処理装置１０の物体検出領域情報生成部１００は、近傍距離画素検出部１０３が有効距離画素領域生成部１０２により生成された有効距離画素領域から近傍距離画素を検出する点で、図１４の物体検出領域情報生成部１００と異なる。また、同図の物体検出領域情報生成部１００は、有効距離画素領域に基づいて生成された近傍距離画素領域を後段処理ユニット２０に出力する。
　図１６は、本開示の第３の実施形態に係る画像処理装置１０の他の構成例を示す図である。同図は、図１５と同様に、画像処理装置１０の構成例を表すブロック図である。同図の画像処理装置１０の物体検出領域情報生成部１００は、有効距離画素検出部１０１が近傍距離画素領域生成部１０４により生成された近傍距離画素領域から有効距離画素領域を検出する点で、図１５の物体検出領域情報生成部１００と異なる。また、同図の物体検出領域情報生成部１００は、近傍距離画素領域に基づいて生成された有効距離画素領域を後段処理ユニット２０に出力する。
　これ以外の画像処理装置１０の構成は本開示の第１の実施形態における画像処理装置１０の構成と同様であるため、説明を省略する。
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory　media）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
　また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法としてとらえてもよく、また、これら一連の手順をこのコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体としてとらえてもよい。
　この記録媒体として、例えば、ＣＤ（Compact　Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital　Versatile　Disc）、メモリーカード、ブルーレイディスク（Blu-ray（登録商標）Disc）などを用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　物体を含む距離画像から前記物体の３次元形状を検出する際の前記物体の検出領域の情報である物体検出領域情報を前記距離画像に基づいて生成する物体検出領域情報生成部を有する画像処理装置。
（２）
　前記物体検出領域情報生成部は、前記距離画像における前記物体を含む距離の情報を有する画素である有効距離画素の領域を前記物体検出領域情報として生成する前記（１）に記載の画像処理装置。
（３）
　前記物体検出領域情報生成部は、前記距離画像のそれぞれの画素の距離の情報を所定の閾値と比較することにより前記有効距離画素を検出し、当該検出した有効距離画素の領域を前記物体検出領域情報として生成する前記（２）に記載の画像処理装置。
（４）
　前記物体検出領域情報生成部は、前記距離画像の画素のうちの注目画素の距離の情報と前記注目画素に隣接する４つの画素のそれぞれの距離の情報との差分が所定の閾値未満の前記注目画素である近傍距離画素の領域を前記物体検出領域情報として生成する前記（１）に記載の画像処理装置。
（５）
　前記距離画像を生成する距離画像生成部を更に有し、
　前記物体検出領域情報生成部は、前記生成された距離画像に基づいて前記物体検出領域情報を生成する
　前記（１）から（４）の何れかに記載の画像処理装置。
（６）
　前記物体を含む画像を生成するセンサを更に有し、
　前記距離画像生成部は、前記生成された画像に基づいて前記距離画像を生成する
　前記（５）に記載の画像処理装置。
（７）
　物体を含む距離画像から前記物体の３次元形状を検出する際の前記物体の検出領域の情報である物体検出領域情報を前記距離画像に基づいて生成することを含む画像処理方法。
（８）
　物体を含む距離画像から前記物体の３次元形状を検出する際の前記物体の検出領域の情報である物体検出領域情報を前記距離画像に基づいて生成する物体検出領域情報生成手順をコンピュータに実行させるプログラム。
　１０　画像処理装置
　２０　後段処理ユニット
　１００　物体検出領域情報生成部
　１０１　有効距離画素検出部
　１０２　有効距離画素領域生成部
　１０３　近傍距離画素検出部
　１０４　近傍距離画素領域生成部
　１１０　撮像素子
　１２０　距離画像生成部
　１４０　保持部
　２０１　位置姿勢検出部

Claims (8)

  1. 　物体を含む距離画像から前記物体の３次元形状を検出する際の前記物体の検出領域の情報である物体検出領域情報を前記距離画像に基づいて生成する物体検出領域情報生成部を有する画像処理装置。
  2. 　前記物体検出領域情報生成部は、前記距離画像における前記物体を含む距離の情報を有する画素である有効距離画素の領域を前記物体検出領域情報として生成する請求項１に記載の画像処理装置。
  3. 　前記物体検出領域情報生成部は、前記距離画像のそれぞれの画素の距離の情報を所定の閾値と比較することにより前記有効距離画素を検出し、当該検出した有効距離画素の領域を前記物体検出領域情報として生成する請求項２に記載の画像処理装置。
  4. 　前記物体検出領域情報生成部は、前記距離画像の画素のうちの注目画素の距離の情報と前記注目画素に隣接する４つの画素のそれぞれの距離の情報との差分が所定の閾値未満の前記注目画素である近傍距離画素の領域を前記物体検出領域情報として生成する請求項１に記載の画像処理装置。
  5. 　前記距離画像を生成する距離画像生成部を更に有し、
    　前記物体検出領域情報生成部は、前記生成された距離画像に基づいて前記物体検出領域情報を生成する
    　請求項１に記載の画像処理装置。
  6. 　前記物体を含む画像を生成するセンサを更に有し、
    　前記距離画像生成部は、前記生成された画像に基づいて前記距離画像を生成する
    　請求項５に記載の画像処理装置。
  7. 　物体を含む距離画像から前記物体の３次元形状を検出する際の前記物体の検出領域の情報である物体検出領域情報を前記距離画像に基づいて生成することを含む画像処理方法。
  8. 　物体を含む距離画像から前記物体の３次元形状を検出する際の前記物体の検出領域の情報である物体検出領域情報を前記距離画像に基づいて生成する物体検出領域情報生成手順をコンピュータに実行させるプログラム。
PCT/JP2023/034433 2022-09-30 2023-09-22 画像処理装置、画像処理方法及びプログラム WO2024070925A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-159052 2022-09-30
JP2022159052A JP2024052374A (ja) 2022-09-30 2022-09-30 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024070925A1 true WO2024070925A1 (ja) 2024-04-04

Family

ID=90477736

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/034433 WO2024070925A1 (ja) 2022-09-30 2023-09-22 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2024052374A (ja)
WO (1) WO2024070925A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013021A1 (ja) * 2018-07-13 2020-01-16 株式会社ニコン 検出装置、処理装置、検出方法、及び処理プログラム
WO2021095455A1 (ja) * 2019-11-14 2021-05-20 日立Astemo株式会社 物体識別装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013021A1 (ja) * 2018-07-13 2020-01-16 株式会社ニコン 検出装置、処理装置、検出方法、及び処理プログラム
WO2021095455A1 (ja) * 2019-11-14 2021-05-20 日立Astemo株式会社 物体識別装置

Also Published As

Publication number Publication date
JP2024052374A (ja) 2024-04-11

Similar Documents

Publication Publication Date Title
JP6675722B1 (ja) ロボット制御のために自動カメラキャリブレーションを実施する方法及びシステム
JP7027299B2 (ja) ビジョンベース操作システムのキャリブレーション及びオペレーション
JP5612916B2 (ja) 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP6415026B2 (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
JP5767464B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP6415066B2 (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
JP5567908B2 (ja) ３次元計測装置、その計測方法及びプログラム
US11667036B2 (en) Workpiece picking device and workpiece picking method
US20120268567A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
US20130230235A1 (en) Information processing apparatus and information processing method
JP2010112859A (ja) ロボットシステム、ロボット制御装置およびロボット制御方法
JP6317618B2 (ja) 情報処理装置およびその方法、計測装置、並びに、作業装置
JP7377627B2 (ja) 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム
JP2007319938A (ja) ロボット装置及び物体の三次元形状の取得方法
CN113284083A (zh) 执行自动相机校准的方法和系统
JP2019168862A5 (ja)
JP2018126862A (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2007044865A (ja) 方向付け／位置決めシステム制御方法
WO2024070925A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015132523A (ja) 位置姿勢計測装置、位置姿勢計測方法及びプログラム
WO2024070979A1 (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
WO2024070751A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6800506B1 (ja) 自動カメラキャリブレーションを実施する方法及びシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872151

Country of ref document: EP

Kind code of ref document: A1