WO2019138835A1 - 情報処理システム、情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2019138835A1
WO2019138835A1 PCT/JP2018/047026 JP2018047026W WO2019138835A1 WO 2019138835 A1 WO2019138835 A1 WO 2019138835A1 JP 2018047026 W JP2018047026 W JP 2018047026W WO 2019138835 A1 WO2019138835 A1 WO 2019138835A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
information processing
image
processing system
Prior art date
Application number
PCT/JP2018/047026
Other languages
English (en)
French (fr)
Inventor
小林　俊広
誠 冨岡
鈴木　雅博
片山　昭宏
藤木　真和
小林　一彦
小竹　大輔
修一 三瓶
智行 上野
知弥子 中島
聡美 永島
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019138835A1 publication Critical patent/WO2019138835A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a technique for detecting the position of an object and gripping the object by the gripping means.
  • Patent Document 1 discloses a technology for measuring the position of an object by a three-dimensional visual sensor (three-dimensional measurement device) mounted on a robot arm and extracting the object by an end effector attached to the robot arm.
  • the three-dimensional measurement device disclosed in Patent Document 1 needs to be mounted on a robot arm, and therefore, is required to be compact so as not to impair the movable range of the robot.
  • the present invention is to enable detection of the position of an object with a smaller three-dimensional measuring device.
  • an imaging unit configured to capture an image of a space including an object
  • the light receiving unit on the imaging device being configured by two or more light receiving elements
  • an input unit configured to input first information output from the imaging unit Holding means for holding second information related to the object
  • Detection means for detecting the position of the object based on the first and second information
  • holding means for holding the object
  • the detection And control means for controlling the operation of the gripping means based on the position of the object.
  • FIG. 1 is a block diagram showing an entire configuration of an information processing system according to a first embodiment.
  • FIG. 2 is a view for explaining an imaging element provided in an imaging unit in the first embodiment.
  • FIG. 2 is a view for explaining an imaging element provided in an imaging unit in the first embodiment.
  • FIG. 2 is a view for explaining an imaging element provided in an imaging unit in the first embodiment.
  • FIG. 5 is a view showing an example of images 154 a and 154 b captured by an imaging unit in the first embodiment.
  • 3 is a flowchart showing the flow of processing by the information processing system according to the first embodiment.
  • FIG. 1 is a block diagram showing an entire configuration of an information processing system according to a first embodiment.
  • FIG. 2 is a view for explaining an imaging element provided in an imaging unit in the first embodiment.
  • FIG. 2 is a view for explaining an imaging element provided in an imaging unit in the first embodiment.
  • FIG. 5 is a view showing an example of images 154 a and 154 b captured by an
  • FIG. 8 is a block diagram showing an entire configuration of an information processing system according to a second embodiment.
  • the flowchart which shows the flow of the processing by the information processing system concerning a 2nd embodiment.
  • FIG. 8 is a block diagram showing an entire configuration of an information processing system according to a third embodiment.
  • FIG. 10 is a schematic view showing an entire configuration of an information processing system according to a third embodiment.
  • the flowchart which shows the flow of the processing by the information processing system concerning a 5th embodiment.
  • the block diagram which shows the whole structure of the information processing system which concerns on 6th Embodiment.
  • a three-dimensional position is detected using an imaging unit for a plurality of objects arranged at random positions, and gripping is performed using an end effector (gripping means) attached to a robot arm or the like.
  • an imaging unit in which each light receiving unit on the imaging device includes two or more light receiving elements captures an image of the object to be held, and calculates three-dimensional coordinates in each pixel.
  • the detection unit detects the position of the object to be held based on the captured image and the three-dimensional coordinates.
  • the control unit generates a control command for the gripping unit to grip and place the detected gripping object, and the gripping unit performs a gripping and mounting operation based on the generated control command.
  • the gripping includes the concept of gripping (for example, gripping or gripping with a plurality of fingers) and holding (for example, attraction using a vacuum suction pad or an electromagnetic force).
  • FIG. 1 is a schematic view showing the entire configuration of the information processing system in the present embodiment, and shows the relationship between an imaging unit 101, a gripping unit 102, and a gripping target object 301.
  • the imaging unit 101 and the end effector 303 are attached to the tip of the robot arm 302 constituting the gripping unit 102, and the imaging unit 101 captures an environment in which the plurality of gripping objects 301 in the supply tray 304 are loaded.
  • the gripping unit 102 drives the robot arm 302 and the end effector 303 under the control of the control unit 204 provided inside the information processing apparatus 200, and grips any one of the plurality of gripping objects 301.
  • the end effector 303 releases the gripping object 301 in the gripping state, and the end effector 303 is placed in the discharge tray 305. Do.
  • FIG. 2 is a diagram showing an overall configuration of the information processing system according to the present embodiment.
  • the rectangular frames in FIG. 1 indicate functional modules that perform each process of the present embodiment, and arrows indicate the flow of data.
  • the information processing system according to the present embodiment includes an information processing apparatus 200, an imaging unit 101 connected to the information processing apparatus, and a gripping unit 102.
  • FIG. 1 is an example for realizing the information processing system according to the present embodiment, and the present invention is not limited to the illustrated one.
  • the imaging unit 101 acquires an image (hereinafter referred to as a photographed image) obtained by photographing an environment in which a plurality of objects to be grasped 301 are arranged in the supply tray 304 and visual information (first information) including three-dimensional coordinates.
  • the imaging unit 101 is used by being connected to the present apparatus, and visual information is input to the input unit 201.
  • FIG. 3 is a diagram for explaining an imaging element 150 provided in the imaging unit 101.
  • the imaging unit 101 includes an imaging element 150 inside.
  • a large number of light receiving units 151 are arranged in a lattice shape.
  • a microlens 153 is provided on the upper surface of each light receiving portion 151 so that light can be collected efficiently.
  • the conventional imaging device includes one light receiving element for one light receiving unit 151, but in the imaging device 150 included in the imaging unit 101 in the present embodiment, each light receiving unit 151 includes a plurality of light receiving elements 152. Is equipped.
  • FIG. 3B shows one light receiving unit 151 as viewed from the side.
  • two light receiving elements 152 a and 152 b are provided in one light receiving unit 151.
  • the individual light receiving elements 152 are independent of each other, and the charge accumulated in the light receiving element 152a does not move to the light receiving element 152b, and conversely, the charge accumulated in the light receiving element 152b moves to the light receiving element 152a There is no. Therefore, in FIG. 3B, the light receiving element 152a receives the light flux incident from the right side of the micro lens 153. Also, conversely, the light receiving element 152 b receives the light flux incident from the left side of the micro lens 153.
  • the imaging unit 101 can select only the charge accumulated in the light receiving element 152a to generate the image 154a. At the same time, the imaging unit 101 can select only the charge accumulated in the light receiving element 152b to generate the image 154b.
  • the image 154a is generated by selecting the light flux from the right side of the microlens 153
  • the image 154b is generated by selecting only the light flux on the left side of the microlens 153. Therefore, as shown in FIG. It is an image taken from
  • the imaging unit 101 forms an image from each light receiving unit 151 using the charge accumulated in both of the light receiving elements 152a and 152b, the image is taken from a certain viewpoint as in the case of using a conventional imaging element.
  • An image 154c (not shown) which is an image is obtained.
  • the imaging unit 101 can simultaneously capture the images 154a and 154b having different shooting viewpoints and the conventional image 154c according to the principle described above.
  • each light receiving unit 151 may include more light receiving elements 152, and an arbitrary number of light receiving elements 152 can be set.
  • FIG. 3C shows an example in which four light receiving elements 152 a to 152 d are provided inside the light receiving unit 151.
  • the imaging unit 101 performs corresponding point search from the pair of images 154a and 154b to calculate a parallax image (not shown), and further, based on the parallax image, three-dimensional coordinates of each pixel constituting the image 154c by a stereo method.
  • Has a function to calculate Corresponding point search and stereo methods are known techniques, and various methods can be applied.
  • a feature point of an edge or a corner is extracted from the gradient of luminance information of an image, and a method of searching for a point having similar feature amounts in the feature point can be used.
  • the stereo method the relationship between coordinate systems of two images is derived, a projective transformation matrix is derived, and a three-dimensional shape is calculated.
  • the imaging unit 101 has a function of outputting an image 154a, an image 154b, a parallax image, a depth map obtained by a stereo method, and three-dimensional coordinates, in addition to the image 154c.
  • the depth map refers to the image which hold
  • the value correlated with the distance to the measurement object is an integer value that can be configured as a normal image, and by multiplying a predetermined coefficient determined from the focal distance, the physical distance to the object (for example, millimeter) Can be converted to The focal length is included in the unique information of the imaging unit 101 as described above.
  • the three-dimensional coordinates are the origin (the optical center of the imaging unit) in the orthogonal coordinate system in the three-dimensional space, which is separately set with respect to the physical distance to the measurement object converted from the depth map as described above. Is a set of coordinates set as values of each axis (X, Y, Z) from.
  • the imaging unit 101 can acquire a pair of images 154a and 154b with different viewpoints by a single imaging element 150, and therefore, the configuration is more compact unlike the conventional stereo method that requires two or more imaging units. Makes it possible to realize three-dimensional measurement.
  • the imaging unit 101 further includes an autofocus mechanism that controls the focal length of the optical system and a zoom mechanism that controls the angle of view.
  • the auto focus mechanism can be switched on or off, and the set focal length can be fixed.
  • the imaging unit 101 reads a control value defined by a drive amount such as a rotation angle or movement amount of an optical system control motor provided to control a focus and an angle of view, and refers to a lookup table (not shown). The distance can be calculated and output. Further, the imaging unit 101 can read, from the mounted lens, specific information of the lens such as a focal length range, an aperture, a distortion coefficient, and an optical center. The read unique information is used for correction of lens distortion of parallax images and depth maps to be described later, and calculation of three-dimensional coordinates.
  • the imaging unit 101 outputs the images 154a to 154c and the parallax image, the function of correcting lens distortion of the depth map, the image coordinates of the principal point position (hereinafter referred to as the image center), and the base lengths of the images 154a and 154b. It has a function. It also has a function of outputting three-dimensional measurement data such as generated images 154a to 154c, optical system data such as focal length and image center, parallax image, baseline length, depth map, and three-dimensional coordinates. In the present embodiment, these data are collectively referred to as visual information.
  • the imaging unit 101 selectively outputs all or part of visual information according to a parameter set in a storage area (not shown) provided inside the imaging unit 101 or an instruction given from the outside of the imaging unit 101.
  • the gripping unit 102 grips one of the plurality of gripping objects 301 arranged in the supply tray 304, moves it into the discharge tray 305, and places it.
  • the gripping unit 102 is realized by a combination of the robot arm 302 and the end effector 303.
  • various end effectors 303 can be used, in the present embodiment, it is assumed that a suction pad of a type that obtains suction force by vacuum pressure is used.
  • the input unit 201 captures visual information output from the imaging unit 101 into the information processing apparatus 200.
  • the visual information includes the image 154 c captured by the imaging unit 101 and the three-dimensional coordinates calculated by the principle described above.
  • the detecting unit 202 Based on the image 154 c (hereinafter referred to as an input image) input by the input unit 201 and the object information (second information) on the holding object 301 held by the holding unit 203, the detecting unit 202 holds the holding object A position in a three-dimensional space in which 301 exists is detected.
  • the detection unit 202 inputs the input image into a CNN (Convolutional Neural Network), and obtains image coordinates of the center of the object 301 to be grasped.
  • the CNN receives a color image, passes through a convolution layer and a joint layer, and displays an image (hereinafter referred to as a likelihood image) in which each pixel corresponding to the input image is the center of the object 301 to be grasped. Is designed to output).
  • the detection unit 202 extracts a region having a high likelihood with respect to the likelihood image output by the CNN, and outputs the center of gravity as the image coordinate of the center of the grasped object 301.
  • the detection unit 202 refers to the three-dimensional coordinates input by the input unit 201 from the acquired image coordinates of the center of the grip target object 301, and obtains three-dimensional coordinates of the center of the grip target object 301.
  • the detection unit 202 sets the obtained three-dimensional coordinates of the center of the grip target object 301 as the position of the grip target object 301.
  • the holding unit 203 holds object information on the grasped object 301 necessary for the detection unit 202 to detect the position of the grasped object 301 and geometric conversion parameters between the imaging unit 101 and the grasping unit 102.
  • the object information includes a CNN model structure and weight parameters necessary for the detection unit 202 to execute CNN.
  • the CNN model structure is data defining the configurations of the convolution layer and the coupling layer described above.
  • the weighting parameters are a set of weighting factors set in the convolution layer and the coupling layer. Since the CNN model structure and the weight parameter differ depending on the type of the gripping target object 301, the holding unit 203 holds the weighting parameter for each type of the gripping target object 301.
  • geometric transformation parameters between the imaging unit 101 and the grip unit 102 are calculated and set in advance using a method called hand-eye calibration.
  • the control unit 204 moves the gripping unit 102 to a position and an attitude at which the gripping target object 301 can be gripped based on the position of the gripping target object 301 detected by the detecting unit 202, and performs control for gripping the gripping target object 301. Do. Then, the gripped target object 301 is conveyed to the discharge tray 305, and the control to release the grip target object 301 and place it on the discharge tray 305 is performed.
  • the control unit 204 generates a trajectory for moving the gripping unit 102, and issues an instruction for operating the robot arm 302 and the end effector 303.
  • FIG. 5 is a flowchart showing the flow of processing by the information processing system according to the present embodiment.
  • Step S1000 At the time of activation of the information processing system according to the present embodiment, initialization processing is performed.
  • the imaging unit 101 and activation of the gripping unit 102, the processing in which the holding unit 203 reads object information and geometric transformation parameters from the outside of the device, and the detection unit 202 use the CNN model structure and weight parameters. It includes the process of configuring the CNN.
  • Step S1010 The imaging unit 101 captures an image of a plurality of gripping target objects 301 stacked in the supply tray 304, calculates three-dimensional coordinates of each pixel in the image, and sends visual information to the input unit 201.
  • the input unit 201 inputs an image 154 c as visual information and three-dimensional coordinates from the imaging unit 101 into the inside of the information processing apparatus 200, and sends it to the detection unit 202.
  • Step S1020 The detection unit 202 inputs the image 154 c to the CNN, and extracts the image coordinates of the center of the grip target object 301.
  • the detection unit 202 detects the position of the object to be grasped 301 in a three-dimensional space by referring to the extracted image coordinates and the three-dimensional coordinates input by the input unit 201.
  • the detecting unit 202 selects the one that is present most in the surface layer or the one with the least hiding and the largest area of the detected gripping target 301.
  • Step S1030 The control unit 204 generates an instruction for performing a gripping operation on the gripping unit 102 based on the position of the gripping target object 301 detected by the detecting unit 202.
  • the contents of specific processing executed by the control unit 204 in the present embodiment will be described below.
  • control unit 204 inputs geometric transformation parameters between the imaging unit 101 and the gripping unit 102 from the holding unit 203, and the position of the object to be grasped 301 calculated in step S1020 in the coordinate system of the imaging unit 101 is the gripping unit 102. Convert to a position in
  • the current position and orientation of the end effector 303 are read out from the holding unit 102, and a path from the current position of the end effector 303 to the position of the object 301 to be held is calculated.
  • the end effector 303 is moved to the upper part of the gripping target object 301, and a path which descends from the upper part of the gripping target object 301 and reaches the position of the gripping target object 301 is calculated.
  • the control unit 204 generates a series of commands for moving the robot arm 302 according to the calculated route.
  • the control unit 204 When the end effector 303 reaches the position of the gripping target object 301, the control unit 204 generates an instruction for the end effector 303 to grip the gripping target object 301.
  • the control unit 204 designates the flow rate of air to be sucked from the suction pad.
  • control unit 204 calculates a path for transporting the end effector 303 from the gripping position of the gripping object 301 to the discharge tray 305.
  • the control unit 204 generates an instruction for releasing the ejection target 305 in the discharge tray 305 with respect to the end effector 303 holding the holding target object 301.
  • the flow rate is set to 0 at this time to stop the suction.
  • suction is stopped, the vacuum pressure between the end effector 303 and the grasped object 301 is lost, so the grasped object 301 is released from the end effector 303.
  • the control unit 204 sends the instruction group generated in the above-described procedure to the gripping unit 102.
  • Step S1040 The gripping unit 102 operates the robot arm 302 and the end effector 303 according to an instruction from the control unit 204, and grips and places the gripping target object 301.
  • Step S1050 When the control unit 204 determines that the gripping and mounting of the predetermined number of gripping objects 301 have been completed, the processing in the present embodiment ends. If not, the process returns to step S1010.
  • the gripping unit 102 is configured of a pair of robot arm 302 and end effector 303 has been described, but a plurality of gripping units 102 are provided so that a plurality of gripping objects 301 can be gripped simultaneously. It is also good.
  • the detection unit 202 detects an image coordinate of the center of the grip target object 301.
  • the detection unit 202 may be a characteristic part of the grip target object 301, such as a recess or a protrusion.
  • the image coordinates of may be detected.
  • the present embodiment can be widely applied to a configuration in which a predetermined position of the grasped object 301 is detected.
  • the detection unit 202 calculates only the position of the grasped object 301 in the three-dimensional space, but may calculate the posture in addition to the position. Then, the control unit 204 can grip the end effector 303 more accurately by generating a command for gripping the gripping target object 301 according to the posture calculated by the detection unit 202.
  • the posture of the gripping target object 301 can be calculated, for example, by obtaining the orientation of the surface of the gripping target object 301 with reference to the three-dimensional coordinates input by the input unit 201.
  • control unit 204 generates a trajectory from the sky of the grip target object 301 to the detection position, but the method of trajectory generation is not limited to this and can be arbitrarily determined. If there are obstacles such as the wall of the tray or other parts in the movement path, you may be made to generate a trajectory that avoids the obstacles, attitude as well as position to take an attitude suitable for gripping You may generate a trajectory that changes
  • the control unit 204 generates an instruction compatible with the method of the end effector 303 in order to grip and release the grip target object 301.
  • a suction pad by an electromagnetic force a predetermined current value is designated as a suction or release command. If it is a gripper, specify the torque value etc.
  • control unit 204 generates an instruction group to the gripping unit 102 at one time and sends it to the gripping unit 102, but the present invention is not limited thereto.
  • the control unit 204 may sequentially send out the information each time a command to the gripping unit 102 is generated.
  • step S1050 of the present embodiment an example in which the processing in the present embodiment is ended when the control unit 204 determines that the gripping and mounting of the predetermined number of gripping objects have been completed has been described. It is not limited.
  • the control unit 204 may end the process after a predetermined time has elapsed, or may end the process according to an input from the user.
  • the processing may be ended when the end effector 303 fails to grip the gripping target object 301.
  • the position of an object is detected with high accuracy for randomly arranged objects. Can. Therefore, it becomes possible to hold the object accurately and stably by the holding portion.
  • the detection unit 202 inputs the input image to the CNN and detects the position on the image of the object 301 to be held.
  • the depth map may be input.
  • the visual information output from the imaging unit 101 includes a depth map in addition to the image 154 c and the three-dimensional coordinates.
  • the input unit 201 inputs a depth map from the imaging unit 101 in addition to the image 154 c and the three-dimensional coordinates.
  • the CNN model structure held by the holding unit 203 can input both an input image and a depth map. With this configuration, the detection unit 202 can more accurately detect the position of the grasped object 301.
  • Second Embodiment a system applicable to the case where a three-dimensional position is detected using an imaging unit and a gripping unit such as a robot arm is used for a plurality of objects arranged at random positions explain.
  • the configuration in which the imaging unit calculates three-dimensional coordinates of the object has been described.
  • the processing load of the imaging unit is reduced by calculating the three-dimensional coordinates of the object by the three-dimensional coordinate calculation unit provided inside the information processing apparatus.
  • an imaging unit in which each light receiving unit on the imaging device includes two or more light receiving elements acquires an image of a space including a gripping target and a parallax image.
  • the three-dimensional coordinate calculation unit calculates three-dimensional coordinates based on the input image and the parallax image.
  • the detection unit detects the three-dimensional position of the object to be grasped based on the input image and the three-dimensional coordinates.
  • the control unit generates a control command for gripping and mounting the detected gripping target, and the gripping unit performs gripping and mounting operations based on the control command.
  • FIG. 6 is a block diagram showing the overall configuration of the information processing system according to the present embodiment. Compared to the overall configuration according to the first embodiment shown in FIG. 2, in the present embodiment, a three-dimensional information calculation unit 205 is added. Here, differences from the first embodiment will be mainly described.
  • visual information output by the imaging unit 101 includes an image 154c, a parallax image, a focal length, an image center, and a baseline length.
  • the input unit 201 takes an image 154 c, a parallax image, a focal length, an image center, and a baseline length as visual information into the information processing apparatus 200.
  • the three-dimensional information calculation unit 205 calculates three-dimensional information using the parallax image, the focal length, and the base length among the visual information input by the input unit 201.
  • the three-dimensional information includes three-dimensional coordinates in each pixel of the parallax image.
  • the three-dimensional information calculation unit 205 sends the calculated three-dimensional coordinates to the detection unit 202.
  • FIG. 7 is a flowchart showing the flow of processing by the information processing system according to the present embodiment.
  • Step S1010 The imaging unit 101 captures an image of a plurality of objects to be gripped 301 stacked in the supply tray 304, and sends visual information to the input unit 201. As described above, the imaging unit 101 calculates a parallax image from the image 154 a and the image 154 b. The input unit 201 inputs the parallax image, the focal length, the image center, and the baseline length from the imaging unit 101 to the inside of the information processing apparatus 200 in addition to the image 154 c and sends the information to the detection unit 202.
  • Step S1015) The three-dimensional information calculation unit 205 calculates three-dimensional coordinates in each pixel of the parallax image using the parallax image, the focal length, the image center, and the baseline length among the visual information input by the input unit 201.
  • the three-dimensional coordinate calculation process will be specifically described below.
  • the three-dimensional information calculation unit 205 calculates three-dimensional coordinates X (u, v), Y (u, v), Z (u, v) according to Equation 1 for each pixel I (u, v) that constitutes a parallax image. calculate. u and v are indices indicating pixel positions, b is a base length, f is a focal length, and u 0 and v 0 are coordinates of the center of the image.
  • the three-dimensional information calculation unit 205 sends the three-dimensional coordinates X (u, v), Y (u, v) and Z (u, v) calculated using Equation 1 to the detection unit 202.
  • the processing load of the imaging unit can be reduced.
  • the imaging unit 101 may output the image 154 a and the image 154 b instead of the parallax image.
  • the input unit 201 inputs the image 154 a and the image 154 b instead of the parallax image, and sends the image 154 a and the image 154 b to the three-dimensional information calculation unit 205.
  • the three-dimensional information calculation unit 205 calculates three-dimensional coordinates based on Formula 1 after calculating a parallax image from the image 154a and the image 154b.
  • the processing load of the imaging unit 101 can be further reduced by calculating parallax images by the three-dimensional information calculation unit 205 instead of the imaging unit 101.
  • the present embodiment further includes a projection unit that projects a pattern, and can calculate the three-dimensional coordinates of the object accurately and stably regardless of the color or pattern of the object.
  • an imaging unit in which each light receiving unit on the imaging device includes two or more light receiving elements acquires an image of a space including a gripping target and a parallax image. The projection unit projects the pattern toward the object.
  • the three-dimensional coordinate calculation unit calculates three-dimensional coordinates based on the input image and the parallax image.
  • the detection unit detects the three-dimensional position of the object to be grasped based on the input image and the three-dimensional coordinates.
  • the control unit generates a control command for gripping and mounting the detected gripping target, and the gripping unit performs gripping and mounting operations based on the control command.
  • FIG. 8 is a block diagram showing the entire configuration of the information processing system according to the present embodiment. As compared with the entire configuration according to the second embodiment shown in FIG. 6, in the present embodiment, the projection unit 103 is added. Here, differences from the second embodiment will be mainly described.
  • the projection unit 103 includes a light source and a slide mask (not shown), and projects a predetermined pattern determined by the slide mask toward a region (near the supply tray 304) where the object to be grasped 301 exists.
  • FIG. 9 is a view showing an example of a pattern projected by the projection unit 103 and an example of a photographed image thereof in the present embodiment
  • FIG. 9A shows an example of a pattern 160 projected by the projection unit 103. As shown in the figure, in the pattern 160, projected and non-projected areas are randomly arranged.
  • FIG. 10 is a schematic diagram showing the entire configuration of the information processing system according to the third embodiment.
  • the projection unit 103 is attached to the end of the robot arm 302 together with the imaging unit 101, and is installed so as to substantially coincide with the field of view of the imaging unit 101.
  • FIG. 9B shows an example of an image 154a (or 154b) captured by the imaging unit 101 when the projection unit 103 projects the pattern 160 in the arrangement relationship shown in FIG. Since a random pattern is added to the grasped object 301 by the pattern 160 projected by the projection unit 103, three-dimensional measurement by the stereo method can be stably performed even when the surface of the grasped object 301 is uniform. It will be.
  • Step S1010 The control unit 204 sends a lighting command to the projection unit 103.
  • the projection unit 103 projects the pattern 160 toward the supply tray 304 on which the object to be grasped 301 is loaded.
  • the imaging unit 101 performs the first imaging and sends the first visual information to the input unit 201.
  • the first visual information includes a parallax image generated from the image 154a and the image 154b, a focal length, an image center, and a baseline length.
  • the imaging unit 101 transmits the first visual information to the input unit 201.
  • control unit 204 sends a turn-off command to the projection unit 103.
  • the projection unit 103 stops the projection of the pattern 160.
  • the imaging unit 101 performs a second imaging and sends second visual information to the input unit 201.
  • the second visual information includes an image 154c.
  • the imaging unit 101 sends the second visual information to the input unit 201.
  • the input unit 201 receives the first visual information and the second visual information from the imaging unit 101, and generates parallax images, a focal length, an image center, a baseline length, and second visual information included in the first visual information.
  • the included image 154 c is sent to the detection unit 202.
  • the detection unit 202 receives an image 154c captured in a state in which the pattern 160 is not projected and a parallax image calculated in a state in which the pattern 160 is projected. As a result, the detection unit 202 can input an input image not including the pattern 160 to the CNN to detect the position of the object 301 to be grasped. Further, in the present embodiment, it is also possible to calculate three-dimensional coordinates with less noise with high accuracy based on three-dimensional information (first visual information) calculated in a state where the pattern 160 is projected. .
  • the pattern 160 is described as being generated so that projected and non-projected areas are randomly arranged, but the present embodiment is not limited to this.
  • the pattern 160 may be a specific pattern or color, or a pattern generated by a predetermined rule.
  • the projection unit 103 has been described as being configured by the light source and the slide mask, but the present embodiment is not limited to this.
  • a laser light source and a diffractive optical element it is possible to branch a laser beam irregularly and project a pattern as if it were a random pattern.
  • a predetermined image may be projected using a data projector, or the pattern may be changed or deformed as time passes.
  • the imaging unit 101 and the projection unit 103 are described as being installed adjacent to each other on the robot arm 302.
  • the imaging unit 101 and the projection unit 103 may be installed in different places.
  • the projection unit 103 may be installed above the supply tray 304 instead of on the robot arm 302.
  • the projection unit 103 may be installed on a movable pan or the like, the attitude of the pan head may be controlled in accordance with the movement of the robot arm 302, and the projection direction may be adaptively changed.
  • step S1010 of the present embodiment the method has been described in which the imaging unit 101 performs imaging twice while the projection unit 103 is turned on and off, but the present embodiment is not limited to this.
  • the imaging may be performed with the projection unit 103 constantly turned on, and the detection unit 202 may detect the object 301 to be grasped by inputting the image 154 c captured with the pattern 160 projected into CNN.
  • learning is performed on the image of the grasped object 301 captured in a state in which the pattern 160 is projected, and a weight parameter of CNN is set.
  • the position of an object is detected with high accuracy for randomly arranged objects. Can. Therefore, it becomes possible to hold the object accurately and stably by the holding portion. Further, in the present embodiment, it becomes possible to calculate the three-dimensional coordinates of the object accurately and stably regardless of the color or pattern of the object.
  • step S1010 of this embodiment the control unit 204 does not send a lighting command to the projection unit 103, and the imaging unit 101 captures an image without projecting the pattern 160 as in the second embodiment. Do.
  • step S1015 the process returns to step S1010 only when it is determined that the three-dimensional information acquisition unit 205 can not appropriately calculate the three-dimensional coordinates or the accuracy of the calculated three-dimensional coordinates is poor. Then, in step S1010, the process of step S1010 described in the present embodiment, that is, after the control unit 204 sends a lighting command to the projection unit 103, the imaging unit 101 captures an image.
  • the pattern 160 is projected only when the object to be grasped 301 can not be measured correctly, as long as the object to be grasped 301 can be correctly measured, imaging is performed only once, and the processing time can be shortened.
  • the calculated three-dimensional coordinates can be evaluated, for example, as follows.
  • corresponding point search is performed by the stereo method, similarity is determined for patches (partial images) sampled from the left and right images. Then, processing is performed in which the coordinate having the highest similarity among the obtained similarities is used as the corresponding point.
  • SAD Sud of Absolute Difference
  • NCC Normalized Cross Correlation
  • the similarity at the corresponding point is compared with the value of the similarity in the vicinity. If the degree of similarity at corresponding points is significantly higher than the degree of similarity in the vicinity, it is evaluated that three-dimensional coordinates can be calculated appropriately (or the accuracy is high). On the other hand, if the similarity at the corresponding point is close to the value of the similarity in the vicinity, the corresponding point is likely to change due to factors such as noise, so it is unstable and it is evaluated that the three-dimensional coordinates are not calculated appropriately. Be done.
  • a system applicable to the case where a three-dimensional position is detected using an imaging unit and a gripping unit such as a robot arm is used for a plurality of objects arranged at random positions explain.
  • a plurality of markers (indexes) around the supply tray and using the distance between the markers calculated in advance even in the case where the focal length varies due to the autofocusing mechanism provided in the imaging unit , Three-dimensional coordinates can be calculated with high accuracy.
  • an imaging unit in which each light receiving unit on the imaging device includes two or more light receiving elements acquires an image of a space including a gripping target and a parallax image.
  • the three-dimensional coordinate calculation unit calculates three-dimensional coordinates based on the input image and the parallax image, and then corrects the three-dimensional coordinates using the distance between the markers.
  • the detection unit detects the three-dimensional position of the object to be grasped based on the input image and the three-dimensional coordinates.
  • the control unit generates a control command for gripping and mounting the detected gripping target, and the gripping unit performs gripping and mounting operations based on the control command.
  • FIG. 11 is a schematic diagram showing the entire configuration of the information processing system according to the present embodiment. As shown in the figure, in the present embodiment, a plurality of markers 306 are arranged around the supply tray 304.
  • FIG. 12 shows an example of the image 154c captured by the imaging unit 101 in the situation of FIG.
  • the marker 306 is circular, and geometric information such as shape, color, size, etc. is known.
  • the information processing system of the present embodiment is configured to be able to specify its center coordinates with high accuracy by image processing. Note that the mutual distance between the plurality of markers 306 in the three-dimensional space is precisely measured in advance. Further, the distance in the present embodiment means Euclidean distance defined between two points existing in the three-dimensional space.
  • the autofocus mechanism of the imaging unit 101 is enabled.
  • the visual information output by the imaging unit 101 includes an image 154 c, a parallax image, a focal length, an image center, and a baseline length, as in the second embodiment. Therefore, although the focal length constantly changes in the present embodiment, the focal length after focusing is output from the imaging unit 101 and is taken into the information processing apparatus 200 by the input unit 201.
  • the holding unit 203 holds reference size information in addition to object information related to the gripping target object 301 and geometric transformation parameters between the imaging unit 101 and the gripping unit 102.
  • the reference size information in the present embodiment includes the distance between the plurality of markers 306 in three-dimensional space.
  • the three-dimensional information calculation unit 205 calculates three-dimensional information using the parallax image, the focal length, and the base length among the visual information input by the input unit 201.
  • the three-dimensional information includes three-dimensional coordinates in each pixel of the parallax image.
  • the three-dimensional information is corrected with reference to the input image and the reference size information held by the holding unit 203 for the three-dimensional information calculated once.
  • Step S1000 At the time of activation of the information processing system according to the present embodiment, initialization processing is performed.
  • the holding unit 203 reads and holds reference size information in addition to object information and geometric transformation parameters.
  • Step S1010 The imaging unit 101 captures an image of an environment including the grip target object 301 and sends visual information to the input unit 201.
  • the autofocus mechanism of the imaging unit 101 is activated, and the focal distance after focusing is included in the visual information.
  • Step S1015) The three-dimensional information calculation unit 205 calculates three-dimensional coordinates in each pixel of the parallax image using the parallax image, the focal length, the image center, and the baseline length among the visual information input by the input unit 201. After that, the three-dimensional information calculation unit 205 corrects the three-dimensional information with reference to the input image and the reference size information held by the holding unit 203 for the calculated three-dimensional information.
  • the accuracy of the three-dimensional coordinates calculated by Equation 1 depends on the accuracy of the focal length f output from the imaging unit 101.
  • the focal length is calculated from a control value defined by the rotation angle or movement amount of the optical system control motor by referring to the look-up table.
  • the calculation accuracy of the three-dimensional coordinates may be lowered due to an error included in the read value of the rotation angle (or the movement amount) or an error generated when creating the look-up table. Reducing this error by changing the imaging unit 101, for example, by increasing the accuracy of the encoder attached to the motor leads to an increase in cost.
  • the marker 306 is used to correct three-dimensional coordinates to improve accuracy.
  • a method of correcting three-dimensional coordinates will be described.
  • the three-dimensional information calculation unit 205 After calculating the three-dimensional information, the three-dimensional information calculation unit 205 detects the image coordinates of the plurality of markers 306 from the input image. Detecting the marker 306 whose shape and size are known from the image shown in FIG. 12 can be realized by general image processing, and various techniques can be applied.
  • the three-dimensional information calculation unit 205 calculates the distance dm between the markers 306 with reference to the already calculated three-dimensional coordinates from the image coordinates of the plurality of detected markers 306.
  • the three-dimensional information calculation unit 205 reads the distance dr between the markers 306 which are measured and set in advance as reference size information from the holding unit 203.
  • the three-dimensional information calculation unit 205 corrects the three-dimensional coordinates X (u, v), Y (u, v), Z (u, v) using dm and dr according to Equation 2, and the corrected three-dimensional information Coordinates X '(u, v), Y' (u, v), Z '(u, v) are calculated.
  • the three-dimensional information calculation unit 205 sends the calculated three-dimensional coordinates X ′ (u, v), Y ′ (u, v), Z ′ (u, v) after correction to the detection unit 202.
  • the marker 306 may be rectangular, or a unique pattern may be added to the inside of the marker 306 so that the individual markers 306 can be identified and identified.
  • Equation 1 may be multiplied by dr / dm to directly calculate X ′, Y ′, Z ′ without passing through X, Y, Z.
  • the parameter Pm defining the plane (in the present embodiment, the bottom of the supply tray 304) on which the markers 306 are arranged is used. It can be calculated.
  • a plane parameter Pr that constitutes the bottom surface of the supply tray 304 may be obtained from the three-dimensional information X, Y, Z calculated by the three-dimensional information calculation unit 205, and correction may be performed to make Pr match Pm.
  • the reference size information has been described as a method of using the distance between the newly provided markers 306, but the present invention is not limited to this.
  • the length of one side of the supply tray 304 or the length of a specific portion of the object to be grasped 301 may be used as the reference size information.
  • the three-dimensional information calculation unit 205 may detect a specific portion of the supply tray 304 or the gripping target object 301 from the image 154c, calculate the distance, and perform correction of the three-dimensional information in comparison with reference size information. .
  • the position of an object is detected with high accuracy for randomly arranged objects. Can. Therefore, it becomes possible to hold the object accurately and stably by the holding portion. Further, in the present embodiment, three-dimensional coordinates can be calculated with high accuracy even when there is a change in focal length due to the autofocus mechanism provided in the imaging unit.
  • the imaging unit 101 performs imaging a plurality of times while changing the focal length until focusing the optical system by the autofocus mechanism in one imaging. Then, all the images 154c in this process and the focal length are associated and held, and these are included in the visual information. That is, in this modification, in addition to the parallax image, the image center, and the baseline length as the visual information, the input unit 201 further adds N input image groups and focal lengths to N corresponding focusings. Enter The three-dimensional information calculation unit 205 selects, for each of the N input image groups, a focal distance fm (u, v) corresponding to the image number M (0 ⁇ M ⁇ N) having the highest contrast for each pixel. The three-dimensional information calculation unit 205 calculates three-dimensional coordinates with higher accuracy by using fm (u, v) instead of f in Formula 1.
  • the fifth embodiment of the present invention is applied to the case where a three-dimensional position is detected using an imaging unit and a gripping unit such as a robot arm is used to detect a plurality of objects arranged at random positions.
  • a gripping unit such as a robot arm is used to detect a plurality of objects arranged at random positions.
  • the system is configured such that the gripping unit always exists within the field of view of the imaging unit without calculating the geometric transformation parameter between the imaging unit and the gripping unit in advance, and control is performed by visual servo. With such a configuration, the object is gripped accurately.
  • an imaging unit in which each light receiving unit on the imaging device includes two or more light receiving elements acquires an image of a space including a gripping target.
  • the three-dimensional coordinate calculation unit calculates three-dimensional coordinates based on the input image.
  • the detection unit detects the three-dimensional position of the object to be grasped based on the input image and the three-dimensional coordinates.
  • the control unit generates a control command for causing the gripping unit to approach the target based on the positional relationship between the target and the gripping unit detected in the input image.
  • the gripping unit performs an approaching operation to the object based on the control command.
  • the imaging unit acquires an image again. The above control of the imaging unit and the gripping unit is repeatedly performed in a short time.
  • the gripping device accurately and stably grips the object without calculating the geometric transformation parameter between the imaging unit and the gripping unit in advance. It becomes possible. As a result, even in a system using a smaller imaging unit, the position of the object can be detected with high accuracy for the randomly arranged object. Therefore, it becomes possible to hold the object accurately and stably by the holding portion.
  • a block diagram showing the entire configuration of the information processing system according to the present embodiment is the same as that of the first embodiment of FIG.
  • differences from the first embodiment will be mainly described, and the description of the parts having the same configuration will be omitted.
  • visual information output by the imaging unit 101 includes images 154 a and 154 b and an image center.
  • the input unit 201 takes the images 154 a and 154 b and the image center into the information processing apparatus 200 as visual information.
  • the angle of view of the imaging unit 101 and the attachment position of the imaging unit 101 to the robot arm 302 are determined such that the end effector 303 is always present in the field of view of the imaging unit 101. That is, the image of the end effector 303 is always shown in the images 154a and 154b to be captured.
  • the detection unit 202 Based on the images 154a and 154b (hereinafter referred to as input images a and b) input by the input unit 201 and the object information on the object to be held 301 held by the holding unit 203, the detection unit 202 performs the input image a and The image coordinates of the center of the grip target object 301 are detected in each of b. In addition, in each input image, image coordinates of the tip of the end effector 303 are also detected. In the present embodiment, the three-dimensional coordinates of the gripping target object 301 are not calculated.
  • the control unit 204 moves the gripping unit 102 to a position at which the gripping target object 301 can be gripped (hereinafter, target position) based on the position of the gripping target object 301 in the input images a and b detected by the detecting unit 202.
  • target position a position at which the gripping target object 301 can be gripped
  • the control unit 204 grips the gripping target object 301, conveys it to the discharge tray 305, releases the gripping target object 301, and performs control to place the gripping target object 301 on the discharge tray 305.
  • the control unit 204 issues a command for causing the gripping unit 102 to approach the target position, and a command for operating the robot arm 302 and the end effector 303.
  • FIG. 13 is a flowchart showing the flow of processing by the information processing system according to the present embodiment.
  • the processing from step S1010 to step S1026 is repeatedly and repeatedly executed.
  • Step S1010 The imaging unit 101 captures an image of an environment including the grip target object 301 and sends visual information to the input unit 201.
  • the input unit 201 inputs images 154 a and 154 b (input images a and b) as visual information and an image center from the imaging unit 101 into the inside of the information processing apparatus 200 and sends the information to the detection unit 202.
  • Step S1020 The detection unit 202 inputs the input images a and b input by the input unit 201 into the CNN, and detects the grip target object 301 from among the input images a and b based on the likelihood image of the grip target object 301 output from the CNN. Do. Then, the detection unit 202 outputs the image coordinates and sends the image coordinates to the control unit 204.
  • Step S1022 The control unit 204 causes the grasping unit 102 to approach the grasped object 301 in order to perform grasping operation on the grasping unit 102 based on the image coordinates of the grasped object 301 with respect to the input images a and b detected by the detection unit 202. Generate an instruction.
  • FIG. 14 shows an example of the image 154a and the image 154b (input images a and b) in the present embodiment.
  • the control unit 204 causes the gripping unit 102 to approach the gripping target object 301 by visual servo.
  • t a be the image coordinates of the gripping target object 301 detected in the input image a
  • t b be the image coordinates of the same gripping target object 301 detected in the input image b.
  • the image coordinates of the tip of the end effector 303 detected in each input image are e a and e b , respectively.
  • the control unit 204 sets the image coordinates t a and t b of the object to be grasped 301 as target values, and the grasping portion 102 in a direction to make the image coordinates e a and e b of the tip of the end effector 303 coincide with t a and t b , respectively.
  • the amount of movement to the holding unit 102 is calculated.
  • the control unit 204 issues an instruction based on the calculated movement amount.
  • the processing from step S1010 to step S1026 is repeatedly performed in a short time.
  • the control unit 204 moves the movement amount in a predetermined minute time in the direction from the current e a and e b toward the target values t a and t b. calculate. That is, in general, the end effector 303 does not reach the target value in one movement. By repeating the processing from step S1010 to step S1026, the end effector 303 reaches the grip position of the grip target object 301.
  • the control unit 204 sends the issued instruction to the control unit 102.
  • the gripping unit 102 moves in accordance with the movement amount calculated in step S1022. Therefore, when the next step S1010 is performed, the imaging unit 101 performs imaging from a viewpoint position different from that of the previous step S1010. At this viewpoint position, the end effector 303 is closer to the grasped object 301 than in the previous time. Therefore, when the next step S1022 is executed, the target value of the gripping unit 102 is updated to a value different from the previous target value. Each time the processing from step S1010 to step S1026 is repeated, the end effector 303 gradually approaches the gripping target object 301.
  • neither the imaging unit 101 nor the information processing apparatus 200 performs explicit three-dimensional measurement.
  • it is similar to the three-dimensional measurement. You can get the effect. In FIG.
  • Step S1024 The gripping unit 102 operates the robot arm 302 in accordance with an instruction from the control unit 204.
  • Step S1026 When the movement amount (or movement speed) of the robot arm 302 becomes sufficiently small, the control unit 204 determines that the holding unit 102 has moved to the holding position (target value) of the holding object 301, and proceeds to step S1030. . If not, the process returns to step S1010. In this case, in the next step S1010, since the robot arm 302 is moving, the imaging unit 101 captures the input images a and b from a viewpoint position different from the previous one.
  • Step S1030 Since the gripping unit 102 has reached the gripping position of the gripping target object 301 by the processing up to step S1026, the control unit 202 does not generate a route to the gripping position of the gripping target object 301 in step S1030 of this embodiment. .
  • the control unit 204 generates an instruction for the end effector 303 to grip the gripping target object 301, a command for transporting the gripping target object 301 to the discharge tray 205, and a command for releasing the gripping target object 301. Send out.
  • the autofocus mechanism of the imaging unit 101 may be activated.
  • the end effector 303 sequentially approaches the gripping target object 301.
  • the viewpoint of the imaging unit 101 also approaches the grasped object 301, so the image of the grasped object 301 in the image is enlarged while maintaining focus and the target value is refined each time the repetition is repeated. Ru.
  • the position of an object is detected with high accuracy for randomly arranged objects. Can. Therefore, it becomes possible to hold the object accurately and stably by the holding portion.
  • the imaging unit 101 of this embodiment outputs an image 154c and a parallax image or three-dimensional coordinates instead of the images 154a and 154b.
  • the three-dimensional information calculation unit 205 is provided as in the second embodiment, and the three-dimensional information calculation unit 205 calculates the position of the grasped object 301 in the three-dimensional space.
  • the control unit 204 sets three-dimensional coordinates indicating the position of the gripping target object 301 as a target value, and performs control to bring the three-dimensional coordinates of the end effector 302 closer to the target value.
  • the sixth embodiment of the present invention is applied to the case where a three-dimensional position is detected using an imaging unit and a gripping unit such as a robot arm is used to detect a plurality of objects arranged at random positions. Describe the system that can be In the present embodiment, an operation unit and a display unit are provided, and an operation from the user is input to present the operation status to the user. As a result, it becomes possible to hold and place the object under the conditions and timing desired by the user.
  • the details of the sixth embodiment of the present invention will be described with reference to the drawings. The components already described in the first to fifth embodiments are designated by the same reference numerals, and the description thereof will be omitted.
  • FIG. 15 is a block diagram showing the overall configuration of the information processing system according to the present embodiment. Compared to the second embodiment shown in FIG. 6, an operation unit 104 and a display unit 105 are added. In the description of this figure, differences from the second embodiment will be mainly described, and the description of the same configuration as that of the second embodiment will be omitted.
  • the operation unit 104 is realized by an apparatus such as a keyboard, a mouse, a button, and a dial, receives an instruction and an intention of a user as an operation, and transmits it to the information processing apparatus 200.
  • the operation unit 104 inputs an operation from the user, and sends the input signal to the input unit 201.
  • the display unit 105 is realized by a device such as a display, visualizes and displays information from the detection unit 202, the control unit 204, and the three-dimensional information calculation unit 205, and plays a role of presenting the information to the user.
  • the input unit 201 inputs an operation signal from the operation unit 104 into the inside of the information processing apparatus 200 in addition to the input from the imaging unit 101, and sends it to the detection unit 202, the control unit 204, and the three-dimensional information calculation unit 205. .
  • the control unit 204 sends an instruction to change the focal length or the angle of view of the imaging unit 101 to the imaging unit 101 based on the operation signal from the operation unit 104 in addition to the control of the gripping unit 102.
  • FIG. 16 shows an example of a screen displayed on the display unit 105 in the present embodiment.
  • a window 180 is displayed on the display unit 105.
  • an image 154c currently captured by the imaging unit 101, sliders 181a and 181b for operating the focal length and the angle of view of the imaging unit 101, a cursor 182, and operation buttons 183a to 183d are displayed.
  • the grip target object 301 loaded in the supply tray 304 is shown, and the user can confirm the current operating state of the information processing system by the window 180 displayed in the display unit 105. it can.
  • the slider 181a can change the focal length of the imaging unit 101 as needed as the user moves left and right.
  • the slider 181 b can change the angle of view of the imaging unit 101 as needed as the user moves left and right.
  • the cursor 182 is for the user to move to an arbitrary position on the screen and select an object to be controlled (held). For example, the cursor 182 is moved on one of the grasped objects 301 disposed in the supply tray 304, and the button 183a (the button displayed as detected) is pressed to detect the object 301 indicated by the cursor 182. Explicitly detect More specifically, the operation unit 104 sends the operation information of the cursor 182 and the button 183 a to the input unit 201. The input unit 201 sends the operation information of the cursor 182 and the button 183 a to the detection unit 202. The detection unit 202 refers to the coordinates of the image 154c selected by the cursor 182, and detects the grasped object 301 present in the closest vicinity.
  • buttons 183 b and 184 c the contents of the process executed by the control unit 204 can be controlled, and the user can grasp the specific gripping target object 301 desired, and change the execution timing. is there. Further, the button 183 d can end control of the information processing apparatus 200 in the present embodiment at an arbitrary timing regardless of the condition of step S1050.
  • the present invention is not limited to this.
  • the image 154c one or both of the images 153a and 153b may be displayed, or a parallax image, a depth map, and three-dimensional coordinates may be displayed.
  • the outline or coordinates of the object to be grasped 301 detected by the detection unit 202 may be superimposed and displayed on the image 154c, or the operation area or operation state of the robot arm 302 or the end effector 303 is displayed. You may do so.
  • the detection unit 202 and the control unit 204 send information to the display unit 105, and the window 180 is drawn and displayed based on the information input by the display unit 105.
  • the user may operate the display unit 105 directly by using a device such as a touch panel.
  • a device such as a touch panel realizes the functions of both the operation unit 104 and the display unit 105.
  • the input unit 201 in each of the above-described embodiments is specified as long as visual information from the imaging unit, in which each light receiving unit on the imaging device is configured by two or more light receiving elements, can be input to the information processing apparatus It is not limited to the configuration of In addition, various types of images such as RGB color images, gray scale images, and black and white images can be applied to images included in visual information input by the input unit 201.
  • the detection unit 202 in each embodiment described above is not limited to a specific configuration as long as the object to be held and the position thereof are specified from the image captured by the imaging unit.
  • the position of the object to be grasped in the three-dimensional space may be calculated by referring to the three-dimensional coordinates from the image coordinates detected by the detection unit 201.
  • the three-dimensional coordinates are It may be a method of specifying the position of the object to be held and holding the object without using it.
  • the holding unit 203 in each embodiment described above is not limited to a specific configuration as long as it holds static settings and parameters necessary for the operation of the detection unit and the control unit.
  • control unit 204 in each of the above-described embodiments actually generates a command for performing the gripping operation and drives the grip unit.
  • the control unit 204 in each of the above-described embodiments actually generates a command for performing the gripping operation and drives the grip unit.
  • it is not limited to a specific configuration.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Processing is also feasible. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
  • a circuit eg, an ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

撮像素子上の受光部が２以上の受光素子によって構成され、対象物を含む空間を撮像する撮像手段と、前記撮像手段から出力された第１の情報を入力する入力手段と、前記対象物に関する第２の情報を保持する保持手段と、前記第１、第２の情報に基づき、前記対象物の位置を検出する検出手段と、前記対象物を把持する把持手段と、前記検出した前記対象物の位置に基づいて、前記把持手段の動作を制御する制御手段と、を有する。

Description

情報処理システム、情報処理装置、情報処理方法及びプログラム
　本発明は、対象物の位置を検出し、把持手段により対象物を把持するための技術に関する。
　無作為に配置された部品等の対象物に対して三次元計測を行い、対象物の位置を精度よく計測し、ロボットアームに取り付けられたエンドエフェクタによって対象物を把持する装置が提案されている。特許文献１には、ロボットアームに搭載した三次元視覚センサ（三次元計測装置）によって対象物の位置を計測し、ロボットアームに取り付けられたエンドエフェクタによって対象物を取り出す技術が開示されている。
特開２００４－１８８５６２号公報
　特許文献１に開示される三次元計測装置は、ロボットアーム上に搭載する必要があるため、ロボットの可動域を損なわないよう小型であることが求められている。本発明は、より小型な三次元計測装置により対象物の位置の検出を可能にすることにある。
　本発明は、撮像素子上の受光部が２以上の受光素子によって構成され、対象物を含む空間を撮像する撮像手段と、前記撮像手段から出力された第１の情報を入力する入力手段と、前記対象物に関する第２の情報を保持する保持手段と、前記第１、第２の情報に基づき、前記対象物の位置を検出する検出手段と、前記対象物を把持する把持手段と、前記検出した前記対象物の位置に基づいて、前記把持手段の動作を制御する制御手段と、を有することを特徴とする。
　本発明によれば、より小型な三次元計測装置により対象物の位置の検出を可能になる。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
第１の実施形態に係る情報処理システムの全体構成を示す概要図。 第１の実施形態に係る情報処理システムの全体構成を示すブロック図。 第１の実施形態において撮像部が備える撮像素子を説明する図。 第１の実施形態において撮像部が備える撮像素子を説明する図。 第１の実施形態において撮像部が備える撮像素子を説明する図。 第１の実施形態において撮像部が撮像する画像１５４ａ、１５４ｂの例を示す図。 第１の実施形態に係る情報処理システムによる処理の流れを示すフローチャート。 第２の実施形態に係る情報処理システムの全体構成を示すブロック図。 第２の実施形態に係る情報処理システムによる処理の流れを示すフローチャート。 第３の実施形態に係る情報処理システムの全体構成を示すブロック図。 第３の実施形態において投影部が投影するパターンおよびその撮影画像の例を示す図。 第３の実施形態において投影部が投影するパターンおよびその撮影画像の例を示す図。 第３の実施形態に係る情報処理システムの全体構成を示す概要図。 第４の実施形態に係る情報処理システムの全体構成を示す概要図。 第４の実施形態において撮像部が撮像した画像１５４ｃの例を示す図。 第５の実施形態に係る情報処理システムによる処理の流れを示すフローチャート。 第５の実施形態において撮像部が撮像する画像１５４ａ、１５４ｂの例を示す図。 第６の実施形態に係る情報処理システムの全体構成を示すブロック図。 第６の実施形態において表示部に表示される画面の例を示す図。
　［第１の実施形態］
　本実施形態では、ランダムな位置に配置された複数の対象物について、撮像部を用いて三次元位置を検出し、ロボットアーム等に取り付けられたエンドエフェクタ（把持手段）を用いて把持を行う場合に適用できるシステムについて説明する。本実施形態では、撮像素子上の各々の受光部が２以上の受光素子によって構成される撮像部が把持対象物の画像を撮像し、各画素における三次元座標を算出する。検出部は撮像した画像と三次元座標に基づいて把持対象物の位置を検出する。制御部は、検出された把持対象物を把持部が把持および載置するための制御命令を生成し、把持部は生成された制御命令に基づき把持および載置動作を行う。これにより、より小型に構成された撮像部を用いたシステムにおいても、無作為に配置された対象物に対して、対象物の位置を高精度に検出することができ、把持部によって対象物を正確かつ安定的に把持することが可能となる。本実施形態において、把持は、把握（例えば複数のフィンガーで掴んだり挟持すること）や、保持（例えば真空吸着パッドや電磁力を利用して吸着すること）という概念を含む。以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。
　図１は本実施形態における情報処理システムの全体構成を示す概要図であり、撮像部１０１、把持部１０２と把持対象物３０１との関係を示している。把持部１０２を構成するロボットアーム３０２の先には撮像部１０１およびエンドエフェクタ３０３が取りつけられており、撮像部１０１は供給トレイ３０４に入った複数の把持対象物３０１が積載された環境を撮像する。把持部１０２は、情報処理装置２００内部に備える制御部２０４からの制御に基づき、ロボットアーム３０２とエンドエフェクタ３０３を駆動し、複数の把持対象物３０１からいずれか１つを把持する。ロボットアーム３０２は把持している把持対象物３０１を排出トレイ３０５内の所定の位置まで移動させた後、エンドエフェクタ３０３は把持状態にある把持対象物３０１を解放し、排出トレイ３０５内に載置する。
　図２は本実施形態に係る情報処理システムの全体構成を示す図である。図１における長方形の枠は本実施形態の各処理を行う機能モジュールを、矢印はデータの流れを示している。本実施形態に係る情報処理システムは、情報処理装置２００とそれに接続する撮像部１０１、把持部１０２からなる。図１は、本実施形態に係る情報処理システムを実現する一例であり図示されるものに限定されない。
　撮像部１０１は、把持対象物３０１が供給トレイ３０４内部に複数配置された環境を撮影した画像（以下撮影画像）と三次元座標を含む視覚情報（第１の情報）を取得する。撮像部１０１は本装置に接続して用いられ、視覚情報が入力部２０１に入力される。
　図３は、撮像部１０１が備える撮像素子１５０を説明するための図である。本実施形態において、撮像部１０１は、内部に撮像素子１５０を備えている。図３Ａに示すように、撮像素子１５０にはその内部に受光部１５１が格子状に多数配置されている。各々の受光部１５１には、その上面にマイクロレンズ１５３が設けられ、効率的に集光できるようになっている。従来の撮像素子は１つの受光部１５１に対して１つの受光素子を備えているが、本実施形態における撮像部１０１が備える撮像素子１５０では、各々の受光部１５１は内部に複数の受光素子１５２を備えている。
　図３Ｂは、１つの受光部１５１に着目し、側面から見た様子を示すものである。図３Ｂに示すように、１つの受光部１５１の内部に２つの受光素子１５２ａおよび１５２ｂが備えられている。個々の受光素子１５２は互いに独立しており、受光素子１５２ａに蓄積された電荷が受光素子１５２ｂに移動することはなく、また逆に受光素子１５２ｂに蓄積された電荷が受光素子１５２ａに移動することはない。そのため、図３Ｂにおいて、受光素子１５２ａはマイクロレンズ１５３の右側から入射する光束を受光することになる。また逆に、受光素子１５２ｂはマイクロレンズ１５３の左側から入射する光束を受光することになる。
　撮像部１０１は、受光素子１５２ａに蓄積されている電荷のみを選択して画像１５４ａを生成することができる。また同時に、撮像部１０１は受光素子１５２ｂに蓄積されている電荷のみを選択して画像１５４ｂを生成することができる。画像１５４ａはマイクロレンズ１５３の右側からの光束、画像１５４ｂはマイクロレンズ１５３の左側の光束のみを選択して生成されるため、図４に示すように、画像１５４ａと画像１５４ｂは、互いに異なる撮影視点から撮影された画像となる。
　また、撮像部１０１が各受光部１５１から、受光素子１５２ａ、１５２ｂの両方に蓄積されている電荷を用いて画像を形成すると、従来の撮像素子を用いた場合と同じようにある視点から撮影した画像である画像１５４ｃ（不図示）が得られることになる。撮像部１０１は、以上説明した原理によって、撮影視点の異なる画像１５４ａ、１５４ｂと、従来の画像１５４ｃを同時に撮像することができる。
　なお、各受光部１５１は、より多くの受光素子１５２を備えてもよく、任意の数の受光素子１５２を設定することができる。例えば、図３Ｃは、受光部１５１の内部に４つの受光素子１５２ａ～１５２ｄを設けた例を示している。
　撮像部１０１は、一対の画像１５４ａ、１５４ｂから、対応点探索を行って視差画像（不図示）を算出し、さらにその視差画像に基づいてステレオ法によって画像１５４ｃを構成する各画素の三次元座標を算出する機能を有する。対応点探索やステレオ法は公知の技術であり、様々な方法を適用可能である。対応点探索には、画像の輝度情報の勾配からエッジやコーナーの特徴点を抽出し、特徴点における特徴量が類似する点を探索する手法などを用いることができる。ステレオ法では、２つの画像の座標系の関係を導出し、射影変換行列を導出し、三次元形状を算出する。撮像部１０１は画像１５４ｃに加えて、画像１５４ａ、画像１５４ｂ、視差画像、ステレオ法によって求めたデプスマップ、三次元座標を出力する機能を有している。
　なお、ここで言うデプスマップとは、画像１５４ｃを構成する各画素に対して、計測対象までの距離（奥行き）と相関のある値を保持する画像を指す。通常、計測対象までの距離と相関のある値は、通常の画像として構成可能な整数値であり、焦点距離から決定される所定の係数を乗ずることで、対象までの物理的な距離（例えばミリメートル）に変換することができる。この焦点距離は、先述のように撮像部１０１の固有情報に含まれる。
　また、三次元座標は、上記のようにデプスマップから変換された計測対象までの物理的な距離に対して、別途設定される三次元空間中の直交座標系における原点（撮像部の光学中心）からの各軸（Ｘ，Ｙ，Ｚ）の値として設定される座標の集合である。
　撮像部１０１は、単一の撮像素子１５０によって視点の異なる一対の画像１５４ａ、１５４ｂを取得することができるため、２つ以上の撮像部を必要とする従来のステレオ法と異なり、より小型な構成によって三次元計測を実現することが可能となる。
　撮像部１０１は、さらに光学系の焦点距離を制御するオートフォーカス機構および画角を制御するズーム機構を備える。オートフォーカス機構は有効あるいは無効を切り替え可能であり、設定した焦点距離を固定することができる。撮像部１０１は、焦点および画角を制御するために設けられた光学系制御モーターの回転角あるいは移動量といった駆動量によって規定される制御値を読み取り、不図示のルックアップテーブルを参照して焦点距離を算出し、出力することができる。また撮像部１０１は、装着されたレンズから、焦点距離範囲、口径、ディストーションの係数、光学中心などのレンズの固有情報を読み取ることができる。読み取った固有情報は、後述する視差画像及びデプスマップのレンズ歪みの補正や、三次元座標の算出に用いられる。
　撮像部１０１は、画像１５４ａ～１５４ｃおよび視差画像、デプスマップのレンズ歪みを補正する機能、主点位置の画像座標（以下、画像中心と表記する）および画像１５４ａと画像１５４ｂの基線長を出力する機能を有している。また、生成された画像１５４ａ～１５４ｃ、焦点距離、画像中心などの光学系データ、視差画像、基線長、デプスマップ、三次元座標などの三次元計測データを出力する機能を有している。本実施形態においては、これらのデータを総称して視覚情報と呼ぶ。撮像部１０１は、撮像部１０１が内部に備える記憶領域（不図示）に設定されたパラメータあるいは撮像部１０１外部から与えられる命令に応じて、視覚情報の全部あるいは一部を選択的に出力する。
　把持部１０２は、供給トレイ３０４内に複数配置された把持対象物３０１のうち１つを把持し、排出トレイ３０５内に移動させ、載置する動作を行う。本実施形態において、把持部１０２はロボットアーム３０２とエンドエフェクタ３０３の組み合わせによって実現される。エンドエフェクタ３０３は様々なものが利用可能であるが、本実施形態では、真空圧により吸着力を得る方式の吸着パッドを使用するものとする。
　次に、本実施形態に係る情報処理装置２００が備える各機能構成部について説明する。入力部２０１は、撮像部１０１から出力される視覚情報を情報処理装置２００内部に取り込む。本実施形態においては、視覚情報には撮像部１０１が撮像した画像１５４ｃと、先述の原理によって算出された三次元座標が含まれる。
　検出部２０２は、入力部２０１が入力した画像１５４ｃ（以下、入力画像）と、保持部２０３が保持している把持対象物３０１に関する物体情報（第２の情報）をもとに、把持対象物３０１が存在する三次元空間における位置を検出する。本実施形態において、検出部２０２は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）に上記入力画像を入力し、把持対象物３０１の中心の画像座標を得る。本実施形態において、ＣＮＮはカラー画像を入力として、コンボリューション層や結合層を経て、入力画像に対応する各画素が把持対象物３０１の中心である尤度を示す画像（以下、尤度画像と呼ぶ）を出力するように設計されている。
　検出部２０２は、ＣＮＮが出力した尤度画像に対して尤度が高い領域を抽出し、その重心を把持対象物３０１の中心の画像座標として出力する。次に、検出部２０２は、取得した把持対象物３０１の中心の画像座標から入力部２０１が入力した三次元座標を参照し、把持対象物３０１の中心の三次元座標を得る。検出部２０２は、得られた把持対象物３０１の中心の三次元座標を、把持対象物３０１の位置として設定する。
　保持部２０３は、検出部２０２が把持対象物３０１の位置を検出するために必要な把持対象物３０１に関する物体情報および撮像部１０１と把持部１０２との間の幾何変換パラメータを保持する。本実施形態において、物体情報は検出部２０２がＣＮＮを実行するために必要なＣＮＮモデル構造と重みパラメータを含む。本実施形態において、ＣＮＮモデル構造とは先述のコンボリューション層や結合層の構成を定義するデータである。重みパラメータは、コンボリューション層や結合層に設定される重み係数の集合である。ＣＮＮモデル構造と重みパラメータは把持対象物３０１の種別によって異なるため、保持部２０３は重みパラメータを把持対象物３０１の種別ごとに保持する。撮像部１０１と把持部１０２との間の幾何変換パラメータは、本情報処理装置の起動に先立ち、ハンドアイキャリブレーションと呼ばれる方法を用いて事前に算出して設定される。
　制御部２０４は、検出部２０２が検出した把持対象物３０１の位置に基づき、把持対象物３０１を把持可能な位置および姿勢に把持部１０２を移動させ、把持対象物３０１を把持するための制御をする。そして、把持した把持対象物３０１を排出トレイ３０５へ搬送し、把持対象物３０１を解放して排出トレイ３０５に置載させるための制御を行う。制御部２０４は、把持部１０２を移動させるための軌道の生成と、ロボットアーム３０２やエンドエフェクタ３０３を動作させるための命令を発行する。
　以上のような構成を備えた本実施形態の情報処理システムにおいて、対象物を把持する制御について以下説明する。図５は、本実施形態に係る情報処理システムによる処理の流れを示すフローチャートである。
　（ステップＳ１０００）
　本実施形態に係る情報処理システムの起動に際して、初期化処理が行われる。ステップＳ１０００の初期化処理には、撮像部１０１、把持部１０２の起動、保持部２０３が物体情報、幾何変換パラメータを装置外部から読み込み保持する処理や、検出部２０２がＣＮＮモデル構造や重みパラメータからＣＮＮを構成する処理が含まれる。
　（ステップＳ１０１０）
　撮像部１０１は、供給トレイ３０４内に複数積載された把持対象物３０１の画像を撮像し、画像中の各画素の三次元座標を算出して視覚情報を入力部２０１に送出する。入力部２０１は、撮像部１０１から視覚情報である画像１５４ｃと三次元座標を情報処理装置２００の内部に入力し、検出部２０２に送出する。
　（ステップＳ１０２０）
　検出部２０２は、ＣＮＮに画像１５４ｃを入力し、把持対象物３０１の中心の画像座標を抽出する。検出部２０２は、抽出した画像座標と入力部２０１が入力した三次元座標とを参照して、把持対象物３０１の三次元空間中での位置を検出する。検出された把持対象物３０１が複数存在する場合には、検出部２０２は最も表層に存在するもの、あるいは隠れが少なく、検出された把持対象物３０１の領域が最も大きいものを選択する。
　（ステップＳ１０３０）
　制御部２０４は、検出部２０２が検出した把持対象物３０１の位置に基づき、把持部１０２に対して把持動作を行うための命令を生成する。以下、本実施形態において制御部２０４が実行する具体的な処理の内容について説明する。
　まず、制御部２０４は、保持部２０３から撮像部１０１と把持部１０２間の幾何変換パラメータを入力し、ステップＳ１０２０において算出した把持対象物３０１の撮像部１０１の座標系における位置を、把持部１０２の座標系における位置に変換する。
　次に把持部１０２からエンドエフェクタ３０３の現在の位置姿勢を読み出し、エンドエフェクタ３０３の現在の位置から、把持対象物３０１の位置へと至る経路を算出する。本実施形態では、エンドエフェクタ３０３を把持対象物３０１の上部に移動させ、把持対象物３０１の上部から下降して把持対象物３０１の位置へと至る経路を算出する。制御部２０４は、算出した経路に従ってロボットアーム３０２を移動させるための一連の命令を生成する。
　次に制御部２０４は、エンドエフェクタ３０３が把持対象物３０１の位置に至った時点で、エンドエフェクタ３０３が把持対象物３０１を把持するための命令を生成する。本実施形態において、エンドエフェクタ３０３が把持対象物３０１を把持するための命令として、制御部２０４は吸着パッドから吸引するエアーの流量を指定する。
　次に制御部２０４は、エンドエフェクタ３０３を把持対象物３０１の把持位置から、排出トレイ３０５まで搬送する経路を算出する。
　次に制御部２０４は、把持対象物３０１を把持しているエンドエフェクタ３０３に対して、排出トレイ３０５内で解放するための命令を生成する。本実施形態において、エンドエフェクタ３０３は把持を開始した時点から継続して吸引を行っているため、この時点で流量を０にして吸引を停止する。吸引を停止すると、エンドエフェクタ３０３と把持対象物３０１との間の真空圧が失われるため、把持対象物３０１はエンドエフェクタ３０３から開放される。
　制御部２０４は、以上の手順で生成した命令群を把持部１０２に送出する。
　（ステップＳ１０４０）
　把持部１０２は、制御部２０４からの命令に従って、ロボットアーム３０２およびエンドエフェクタ３０３を動作させ、把持対象物３０１を把持および載置する。
　（ステップＳ１０５０）
　制御部２０４が、所定数の把持対象物３０１の把持および載置を完了したと判断した場合には、本実施形態における処理を終了する。そうでない場合には、ステップＳ１０１０の処理に戻る。
　上述の説明では、把持部１０２は一組のロボットアーム３０２およびエンドエフェクタ３０３から構成される例について説明したが、複数の把持部１０２を備え、複数の把持対象物３０１を同時に把持できる構成にしてもよい。
　また、本実施形態では、検出部２０２は把持対象物３０１の中心の画像座標を検出する例について説明したが、検出部２０２は、例えば窪みや突起部など、把持対象物３０１の特徴的な部位の画像座標を検出するようにしてもよい。いずれにしても、本実施形態は、把持対象物３０１の所定の位置を検出するという構成に広く適用できるものである。
　また、本実施形態では、検出部２０２は把持対象物３０１の三次元空間における位置のみを算出したが、位置に加えて姿勢を算出するようにしてもよい。そして、制御部２０４は、検出部２０２が算出した姿勢に応じて、エンドエフェクタ３０３が把持対象物３０１を把持するための命令を生成することにより、より正確に把持できるようになる。なお、把持対象物３０１の姿勢は、例えば、入力部２０１が入力した三次元座標を参照して、把持対象物３０１の面の向きを求めることにより算出できる。
　また、本実施形態では、制御部２０４は把持対象物３０１の上空から検出位置に至る軌道を生成する例について説明したが、軌道生成の方法はこれに限らず任意に定めることができる。移動経路に他の部品やトレイの壁などの障害物がある場合には、障害物を避ける軌道を生成するようにしてもよいし、位置のみでなく把持に適した姿勢を取るように、姿勢を変化させる軌道を生成してもよい。
　また、本実施形態では、エンドエフェクタ３０３に真空圧により吸着力を得る方式の吸着パッドを用いる例について説明したが、電磁力による吸着パッド、グリッパーなど、他のものを用いてもよい。この場合、制御部２０４は、把持対象物３０１を把持および解放するために、エンドエフェクタ３０３の方式に適合する命令を生成する。例えば、電磁力による吸着パッドであれば、吸着あるいは解放の命令として所定の電流値を指定する。グリッパーであれば、トルク値などを指定する。
　また、本実施形態のステップＳ１０４０では、制御部２０４は把持部１０２への命令群を一度に生成し、把持部１０２に送出する例について説明したが、これに限られない。制御部２０４は、把持部１０２への命令を生成するごとにその情報を逐次送出するようにしてもよい。
　また、本実施形態のステップＳ１０５０では、制御部２０４が所定数の把持対象物の把持および載置を完了したと判断した場合に、本実施形態における処理を終了する例について説明したが、これに限られない。制御部２０４は、所定の時間が経過した後に処理を終了するようにしてもよいし、ユーザからの入力に従って処理を終了するようにしてもよい。また、エンドエフェクタ３０３が把持対象物３０１の把持に失敗した場合に処理を終了するようにしてもよい。
　以上述べたように、本実施形態によれば、より小型に構成された撮像部を用いるシステムにおいても、無作為に配置された対象物に対して、対象物の位置を高精度に検出することができる。そのため、把持部によって対象物を正確かつ安定的に把持することが可能となる。
　（変形例）
　本実施形態では、検出部２０２が、ＣＮＮに入力画像を入力し、把持対象物３０１の画像上の位置を検出する構成について説明したが、入力画像に加えてデプスマップを入力するようにしてもよい。このとき、撮像部１０１が出力する視覚情報には、画像１５４ｃと三次元座標に加えて、デプスマップが含まれることになる。また同様に、入力部２０１は画像１５４ｃと三次元座標に加えて、撮像部１０１からデプスマップを入力する。保持部２０３が保持するＣＮＮモデル構造は、入力画像とデプスマップの両方を入力可能なものとする。この構成によって、検出部２０２は、把持対象物３０１の位置をより正確に検出することが可能になる。
　［第２の実施形態］
　第２の実施形態では、ランダムな位置に配置された複数の対象物について、撮像部を用いて三次元位置を検出し、ロボットアーム等の把持部を用いて把持を行う場合に適用できるシステムについて説明する。第１の実施形態では、撮像部によって対象物の三次元座標を算出する構成を説明した。これに対し、本実施形態においては、情報処理装置内部に備える三次元座標算出部によって対象物の三次元座標を算出することで、撮像部の処理負荷を軽減する。
　本実施形態では、撮像素子上の各々の受光部が２以上の受光素子によって構成される撮像部が把持対象物を含む空間の画像と視差画像を取得する。三次元座標算出部は、入力した画像と視差画像に基づいて三次元座標を算出する。検出部は入力した画像と三次元座標に基づいて把持対象物の三次元位置を検出する。制御部は、検出された把持対象物を把持および載置する制御命令を生成し、把持部は制御命令に基づき把持および載置動作を行う。これにより、より小型に構成された撮像部を用いるシステムにおいても、無作為に配置された対象物に対して、対象物の位置を高精度に検出することができる。そのため、把持部によって対象物を正確かつ安定的に把持することが可能となる。
　以下、本発明の第２の実施形態の詳細について図面を参照しつつ説明する。なお、第１の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。
　図６は、本実施形態に係る情報処理システムの全体構成を示すブロック図である。図２に示した第１の実施形態に係る全体構成と比較すると、本実施形態では、三次元情報算出部２０５が追加されている。ここでは、第１の実施形態との差異を中心に説明する。
　図６において、本実施形態では、撮像部１０１が出力する視覚情報には画像１５４ｃ、視差画像、焦点距離、画像中心、基線長が含まれる。入力部２０１は、視覚情報として画像１５４ｃ、視差画像、焦点距離、画像中心、基線長を情報処理装置２００内部に取り込む。
　三次元情報算出部２０５は、入力部２０１が入力した視覚情報のうち、視差画像、焦点距離、基線長を用いて三次元情報を算出する。本実施形態において、三次元情報には、視差画像の各画素における三次元座標が含まれる。三次元情報算出部２０５は、算出した三次元座標を検出部２０２に送出する。
　以上のような構成を備えた本実施形態の情報処理システムにおいて、対象物を把持する制御について以下説明する。図７は、本実施形態に係る情報処理システムによる処理の流れを示すフローチャートである。
　（ステップＳ１０１０）
　撮像部１０１は、供給トレイ３０４内に複数積載された把持対象物３０１の画像を撮像し、視覚情報を入力部２０１に送出する。先述のように、撮像部１０１は画像１５４ａと画像１５４ｂから視差画像を算出する。入力部２０１は、撮像部１０１から、画像１５４ｃに加えて、視差画像、焦点距離、画像中心、基線長を情報処理装置２００の内部に入力し、検出部２０２に送出する。
　（ステップＳ１０１５）
　三次元情報算出部２０５は、入力部２０１が入力した視覚情報のうち、視差画像、焦点距離、画像中心、基線長を用いて、視差画像の各画素における三次元座標を算出する。以下、三次元座標算出処理について具体的に説明する。
　三次元情報算出部２０５は、視差画像を構成する各画素Ｉ（ｕ，ｖ）について、数式１によって三次元座標Ｘ（ｕ，ｖ），Ｙ（ｕ，ｖ），Ｚ（ｕ，ｖ）を算出する。ｕ，ｖは画素の位置を表すインデックス、ｂは基線長、ｆは焦点距離、ｕ０，ｖ０は画像中心の座標を示す。
Ｚ（ｕ，ｖ）＝ｆ・ｂ／Ｉ（ｕ，ｖ）
Ｘ（ｕ，ｖ）＝（ｕ－ｕ０）・Ｚ（ｕ，ｖ）／ｆ　　　　　　　　　　…（数式１）Ｙ（ｕ，ｖ）＝（ｖ－ｖ０）・Ｚ（ｕ，ｖ）／ｆ
　三次元情報算出部２０５は、数式１を用いて算出した三次元座標Ｘ（ｕ，ｖ），Ｙ（ｕ，ｖ），Ｚ（ｕ，ｖ）を検出部２０２に送出する。
　以上述べたように、本実施形態によれば、より小型に構成された撮像部を用いるシステムにおいても、無作為に配置された対象物に対して、対象物の位置を高精度に検出することができる。そのため、把持部によって対象物を正確かつ安定的に把持することが可能となる。また、本実施形態においては、情報処理装置内部に備える三次元座標算出部によって対象物の三次元座標を算出するため、撮像部の処理負荷を軽減することができる。
　（変形例）
　撮像部１０１は、視差画像に替えて画像１５４ａと画像１５４ｂを出力するようにしてもよい。入力部２０１は視差画像に替えて画像１５４ａと画像１５４ｂを入力し、三次元情報算出部２０５に送出する。ステップＳ１０１５において、三次元情報算出部２０５は、画像１５４ａと画像１５４ｂから視差画像を算出した後、数式１に基づいて三次元座標を算出する。一対の画像から視差画像を算出する方法は、従来から数多くの手法が提案されているが、要求に応じて適切な手法を選択すればよい。撮像部１０１に替えて三次元情報算出部２０５で視差画像を算出することにより、撮像部１０１の処理負荷をさらに軽減することが可能となる。また、撮像部１０１を改変することなく、視差画像を生成する精度や質を柔軟に制御することが可能となる。
　［第３の実施形態］
　本実施形態では、ランダムな位置に配置された複数の対象物について、撮像部を用いて三次元位置を検出し、ロボットアーム等の把持部を用いて把持を行う場合に適用できるシステムについて説明する。本実施形態は、さらにパターンを投影する投影部を備え、対象物の色や模様によらず、正確かつ安定的に対象物の三次元座標を算出できるものである。本実施形態では、撮像素子上の各々の受光部が２以上の受光素子によって構成される撮像部が把持対象物を含む空間の画像と視差画像を取得する。投影部はパターンを対象物に向けて投影する。三次元座標算出部は、入力した画像と視差画像に基づいて三次元座標を算出する。検出部は入力した画像と三次元座標に基づいて把持対象物の三次元位置を検出する。制御部は、検出された把持対象物を把持および載置する制御命令を生成し、把持部は制御命令に基づき把持および載置動作を行う。これにより、より小型に構成された撮像部を用いるシステムにおいても、無作為に配置された対象物に対して、対象物の位置を高精度に検出することができる。そのため、把持部によって対象物を正確かつ安定的に把持することが可能となる。
　以下、本発明の第３の実施形態の詳細について図面を参照しつつ説明する。なお、第１、第２の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。
　図８は、本実施形態に係る情報処理システムの全体構成を示すブロック図である。図６に示した第２の実施形態に係る全体構成と比較すると、本実施形態では、投影部１０３が追加されている。ここでは、第２の実施形態との差異を中心に説明する。
　投影部１０３は不図示の光源とスライドマスクを備え、把持対象物３０１が存在する領域（供給トレイ３０４の近傍）に向けて、スライドマスクによって決められる所定のパターンを投影する。図９は、本実施形態において投影部１０３が投影するパターンおよびその撮影画像の例を示す図であり、図９Ａは投影部１０３が投影するパターン１６０の例を示している。同図に示すように、パターン１６０は投影および非投影の領域がランダムに配置されている。
　図１０は、第３の実施形態に係る情報処理システムの全体構成を示す概要図である。同図において、投影部１０３は撮像部１０１と共にロボットアーム３０２の先に取り付けられており、撮像部１０１の視野と略一致するように設置されている。
　図９Ｂは、図１０に示す配置関係において、投影部１０３がパターン１６０を投影したときに、撮像部１０１によって撮像される画像１５４ａ（あるいは１５４ｂ）の例を示している。投影部１０３が投影するパターン１６０によって、把持対象物３０１にランダムな模様が付加されるため、把持対象物３０１の表面が一様である場合においても、ステレオ法による三次元計測が安定して行えるようになる。
　以上のような構成を備えた本実施形態の情報処理システムにおいて、対象物を把持する制御について以下説明する。本実施形態に係る情報処理システムによる処理の流れを示すフローチャートは図７と同様であるが、一部のステップの処理の内容が第２の実施形態と異なる。
　（ステップＳ１０１０）
　制御部２０４は、投影部１０３に点灯の命令を送出する。投影部１０３はパターン１６０を把持対象物３０１が積載されている供給トレイ３０４に向けて投影する。
　次に撮像部１０１は、１回目の撮像を行い、第１の視覚情報を入力部２０１に送出する。第１の視覚情報には、画像１５４ａと画像１５４ｂから生成される視差画像、焦点距離、画像中心、基線長が含まれる。撮像部１０１は、第１の視覚情報を入力部２０１に送出する。
　次に制御部２０４は、投影部１０３に消灯の命令を送出する。投影部１０３はパターン１６０の投影を停止する。
　次に撮像部１０１は、２回目の撮像を行い、第２の視覚情報を入力部２０１に送出する。第２の視覚情報には、画像１５４ｃが含まれる。撮像部１０１は、第２の視覚情報を入力部２０１に送出する。入力部２０１は、第１の視覚情報と第２の視覚情報を撮像部１０１より入力し、第１の視覚情報に含まれる視差画像、焦点距離、画像中心、基線長、第２の視覚情報に含まれる画像１５４ｃを検出部２０２に送出する。
　このとき、検出部２０２は、パターン１６０が投影されない状態で撮像された画像１５４ｃと、パターン１６０が投影された状態で算出された視差画像とが入力されることになる。これにより、検出部２０２はパターン１６０を含まない入力画像をＣＮＮに入力して、把持対象物３０１の位置を検出することが可能となる。また、本実施形態では、パターン１６０が投影された状態で算出された三次元情報（第１の視覚情報）をもとに、高精度でノイズが少ない三次元座標を算出することも可能となる。
　なお、上述の説明において、パターン１６０は投影および非投影の領域がランダムに配置されるように生成されるものとして説明したが、本実施形態はこれに限られない。例えば、パターン１６０は、特定の模様や色、所定の規則によって生成されるパターンであってもよい。
　また、本実施形態において、投影部１０３は光源及びスライドマスクによって構成されるものとして説明したが、本実施形態はこれに限られない。例えば、レーザー光源と回折光学素子を組み合わせることによって、レーザービームを不規則に分岐させ、あたかもランダムパターンのような模様を投影することが可能である。また、データプロジェクターを用いて、所定の画像を投影するようにしてもよいし、時間経過に伴ってパターンを変更あるいは変形させるようにしてもよい。
　また、本実施形態において、撮像部１０１と投影部１０３はロボットアーム３０２上に隣接するように設置するものとして説明したが、撮像部１０１と投影部１０３とを異なる場所に設置してもよい。例えば、投影部１０３をロボットアーム３０２上でなく、供給トレイ３０４の上方に設置するようにしてもよい。また、投影部１０３を可動式の雲台上などに設置し、ロボットアーム３０２の動きに合わせて雲台の姿勢を制御し、投影する方向を適応的に変更するようにしてもよい。
　また、本実施形態のステップＳ１０１０において、撮像部１０１は投影部１０３が点灯および消灯された状態で２回の撮像を行う方法について説明したが、本実施形態はこれに限られない。投影部１０３を常に点灯させた状態で撮像を行い、検出部２０２はパターン１６０が投影された状態で撮影された画像１５４ｃをＣＮＮに入力し、把持対象物３０１を検出するようにしてもよい。この場合、パターン１６０が投影された状態で撮影した把持対象物３０１の画像に対して学習を行い、ＣＮＮの重みパラメータを設定する。
　以上述べたように、本実施形態によれば、より小型に構成された撮像部を用いるシステムにおいても、無作為に配置された対象物に対して、対象物の位置を高精度に検出することができる。そのため、把持部によって対象物を正確かつ安定的に把持することが可能となる。また、本実施形態においては、対象物の色や模様によらず、正確かつ安定的に対象物の三次元座標を算出することが可能になる。
　（変形例）
　変形例では、本実施形態のステップＳ１０１０において、制御部２０４は投影部１０３に点灯命令を送出せず、撮像部１０１は第２の実施形態と同様に、パターン１６０を投影しない状態で画像を撮像する。ステップＳ１０１５において、三次元情報取得部２０５が三次元座標を適切に算出できない、あるいは、算出された三次元座標の精度が悪いと判断された場合のみ、ステップＳ１０１０に戻る。そして、ステップＳ１０１０において、本実施形態において説明したステップＳ１０１０の処理、すなわち、制御部２０４が投影部１０３に点灯命令を送出した後、撮像部１０１が撮像する。
　この場合、把持対象物３０１が正しく計測できない場合のみパターン１６０が投影されるため、把持対象物３０１が正しく計測できる限りにおいては、撮像は一度のみとなり、処理時間の短縮が可能になる。
　なお、算出した三次元座標は、例えば以下のようにして評価することができる。ステレオ法により対応点探索を行う際、左右の画像からサンプルされるパッチ（部分画像）に対して類似度を求める。そして、求めた類似度のうち、最も類似度が高い座標を対応点とする処理が行われる。なお、類似度としては、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）やＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）等を用いることができる。
　このとき、対応点における類似度とその近傍での類似度の値とを比較する。対応点における類似度が、近傍での類似度に対して突出して高い場合には、三次元座標を適切に算出できている（あるいは精度が高い）と評価される。一方、対応点における類似度が近傍での類似度の値に近い場合には、ノイズなどの要因で対応点が変化しやすいため不安定であり、三次元座標が適切に算出されていないと評価される。
　［第４の実施形態］
　第４の実施形態では、ランダムな位置に配置された複数の対象物について、撮像部を用いて三次元位置を検出し、ロボットアーム等の把持部を用いて把持を行う場合に適用できるシステムについて説明する。本実施形態では、供給トレイの周囲に複数のマーカー（指標）を配置し、事前に算出したマーカー相互の距離を用いることで、撮像部が備えるオートフォーカス機構による焦点距離の変動がある場合においても、高精度に三次元座標を算出できる。
　本実施形態では、撮像素子上の各々の受光部が２以上の受光素子によって構成される撮像部が把持対象物を含む空間の画像と視差画像を取得する。三次元座標算出部は、入力した画像と視差画像に基づいて三次元座標を算出した後、マーカー相互の距離を用いて、三次元座標を補正する。検出部は入力した画像と三次元座標に基づいて把持対象物の三次元位置を検出する。制御部は、検出された把持対象物を把持および載置する制御命令を生成し、把持部は制御命令に基づき把持および載置動作を行う。これにより、より小型に構成された撮像部を用いるシステムにおいても、無作為に配置された対象物に対して、対象物の位置を高精度に検出することができる。そのため、把持部によって対象物を正確かつ安定的に把持することが可能となる。
　以下、本発明の第４の実施形態の詳細について図面を参照しつつ説明する。なお、第１～第３の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。
　図１１は、本実施形態に係る情報処理システムの全体構成を示す概要図である。同図に示すように、本実施形態では、供給トレイ３０４の周囲にマーカー３０６が複数配置されている。
　図１２は、図１１の状況において、撮像部１０１が撮像した画像１５４ｃの例を示している。本実施形態においてマーカー３０６は円形であり、形状、色、大きさ等の幾何情報は既知である。マーカー３０６が図１２のように画像１５４ｃ中に観測された場合、本実施形態の情報処理システムでは、画像処理によってその中心座標を高精度に特定できるように構成されている。なお、三次元空間における複数のマーカー３０６間の相互の距離は事前に精密に測定されている。また、本実施形態における距離とは、三次元空間中に存在する２点の間で定義されるユークリッド距離を意味する。
　本実施形態において、撮像部１０１のオートフォーカス機構は有効化されている。撮像部１０１が出力する視覚情報には、第２実施形態と同じく画像１５４ｃ、視差画像、焦点距離、画像中心、基線長が含まれる。そのため、本実施形態において焦点距離は常時変化するものの、合焦後の焦点距離が撮像部１０１から出力され、入力部２０１によって情報処理装置２００に取り込まれる。
　保持部２０３は、把持対象物３０１に関する物体情報、撮像部１０１と把持部１０２との間の幾何変換パラメータに加えて、基準サイズ情報を保持する。本実施形態における基準サイズ情報は、三次元空間中での複数のマーカー３０６間の距離を含む。
　三次元情報算出部２０５は、入力部２０１が入力した視覚情報のうち、視差画像、焦点距離、基線長を用いて三次元情報を算出する。本実施形態において、三次元情報は、視差画像の各画素における三次元座標が含まれる。また、一度算出した三次元情報について、入力画像と保持部２０３が保持する基準サイズ情報を参照して、三次元情報を修正する。
　以上のような構成を備えた本実施形態の情報処理システムにおいて、対象物を把持する制御について以下説明する。本実施形態に係る情報処理システムによる処理の流れを示すフローチャートは図７と同様であるが、一部のステップの処理の内容が第２の実施形態と異なる。
　（ステップＳ１０００）
　本実施形態に係る情報処理システムの起動に際して、初期化処理が行われる。保持部２０３は、物体情報、幾何変換パラメータに加えて、基準サイズ情報を読み込み保持する。
　（ステップＳ１０１０）
　撮像部１０１は、把持対象物３０１を含む環境の画像を撮像し、視覚情報を入力部２０１に送出する。本実施形態では、先述のように、撮像部１０１のオートフォーカス機構が有効化されており、合焦後の焦点距離が視覚情報に含まれる。
　（ステップＳ１０１５）
　三次元情報算出部２０５は、入力部２０１が入力した視覚情報のうち、視差画像、焦点距離、画像中心、基線長を用いて、視差画像の各画素における三次元座標を算出する。その後、三次元情報算出部２０５は、算出した三次元情報について、入力画像と保持部２０３が保持する基準サイズ情報を参照して、三次元情報を修正する。
　数式１によって算出される三次元座標の精度は、撮像部１０１から出力される焦点距離ｆの精度に依存する。焦点距離は、光学系制御モーターの回転角あるいは移動量によって規定される制御値から、ルックアップテーブルを参照することで算出される。しかしながら、回転角（あるいは移動量）の読取り値に含まれる誤差や、ルックアップテーブル作成時に発生する誤差によって、三次元座標の算出精度が低下する場合がある。この誤差を、例えばモーターに付随するエンコーダーを高精度化するなど、撮像部１０１の変更によって低減させるのはコスト増につながる。本実施形態では、撮像部１０１の構成を変えることなく、マーカー３０６を用いて、三次元座標を修正して精度を向上させる。以下、三次元座標を修正する方法について説明する。
　三次元情報算出部２０５は、三次元情報を算出した後、入力画像から複数のマーカー３０６の画像座標を検出する。図１２に示す画像から形状およびサイズが既知であるマーカー３０６を検出することは一般的な画像処理によって実現可能であり、各種手法を適用できる。
　三次元情報算出部２０５は、検出した複数のマーカー３０６の画像座標から、既に算出した三次元座標を参照し、マーカー３０６相互の距離ｄｍを算出する。三次元情報算出部２０５は、保持部２０３から基準サイズ情報として、事前に計測して設定されたマーカー３０６相互の距離ｄｒを読み出す。三次元情報算出部２０５は、数式２により、ｄｍとｄｒを用いて三次元座標Ｘ（ｕ，ｖ），Ｙ（ｕ，ｖ），Ｚ（ｕ，ｖ）を補正し、補正後の三次元座標Ｘ’（ｕ，ｖ），Ｙ’（ｕ，ｖ），Ｚ’（ｕ，ｖ）を算出する。
Ｘ’（ｕ，ｖ）＝Ｘ（ｕ，ｖ）・ｄｒ／ｄｍ
Ｙ’（ｕ，ｖ）＝Ｙ（ｕ，ｖ）・ｄｒ／ｄｍ　　　　　　　　　　　　　…（数式２）
Ｚ’（ｕ，ｖ）＝Ｚ（ｕ，ｖ）・ｄｒ／ｄｍ
　三次元情報算出部２０５は、算出した補正後の三次元座標Ｘ’（ｕ，ｖ），Ｙ’（ｕ，ｖ），Ｚ’（ｕ，ｖ）を検出部２０２に送出する。
　以上の本実施形態の説明では、マーカー３０６に円形のものを用いる方法について説明したが、これに限られない。マーカー３０６に矩形のものを用いてもよいし、マーカー３０６の内部に固有の模様を付加し、個々のマーカー３０６を識別し、特定できるように構成してもよい。
　また、本実施形態において、三次元情報算出部２０５は、マーカー３０６相互の距離を用いて、一度算出した三次元情報を補正する方法について説明したが、これに限られない。数式１にｄｒ／ｄｍを乗じてＸ、Ｙ、Ｚを介さずに直接Ｘ’、Ｙ’、Ｚ’を算出してもよい。また、マーカー３０６相互の距離に替えて、複数のマーカー３０６の配置情報を用いることにより、マーカー３０６が配置されている平面（本実施例においては、供給トレイ３０４の底面）を定義するパラメータＰｍを算出することができる。一方、三次元情報算出部２０５が算出した三次元情報Ｘ、Ｙ、Ｚから、供給トレイ３０４の底面を構成する平面パラメータＰｒを求め、ＰｒをＰｍに一致させるように補正を行ってもよい。
　また、本実施形態において、基準サイズ情報は、新たに設けたマーカー３０６相互の距離を用いる方法について説明したが、これに限られない。マーカー３０６を設けずに、供給トレイ３０４の一辺の長さや、把持対象物３０１の特定の部位の長さを基準サイズ情報としてもよい。三次元情報算出部２０５は、画像１５４ｃから供給トレイ３０４や把持対象物３０１の特定の部位を検出してその距離を算出し、基準サイズ情報と比較して三次元情報の補正を行ってもよい。
　以上述べたように、本実施形態によれば、より小型に構成された撮像部を用いるシステムにおいても、無作為に配置された対象物に対して、対象物の位置を高精度に検出することができる。そのため、把持部によって対象物を正確かつ安定的に把持することが可能となる。また、本実施形態においては、撮像部が備えるオートフォーカス機構による焦点距離の変動がある場合においても、高精度に三次元座標を算出できる。
　（変形例）
　本変形例では、撮像部１０１は、一回の撮像において、オートフォーカス機構によって光学系を合焦させるまでの間に、焦点距離を変更しながら複数回の撮像を行う。そして、この過程におけるすべての画像１５４ｃと焦点距離とを対応付けて保持しておき、これらを視覚情報に含めるようにする。すなわち、本変形例において、入力部２０１は、視覚情報として、視差画像、画像中心、基線長に加えて、さらにＮ枚の入力画像群と、対応するＮ個の合焦に至るまでの焦点距離を入力する。三次元情報算出部２０５は、Ｎ枚の入力画像群に対して、画素ごとに最もコントラストの高い画像番号Ｍ（０≦Ｍ≦Ｎ）に対応する焦点距離ｆｍ（ｕ，ｖ）を選択する。三次元情報算出部２０５は、数式１のｆに替えてｆｍ（ｕ，ｖ）を用いることで、より高精度な三次元座標を算出する。
　［第５の実施形態］
　本発明の第５の実施形態では、ランダムな位置に配置された複数の対象物について、撮像部を用いて三次元位置を検出し、ロボットアーム等の把持部を用いて把持を行う場合に適用できるシステムについて説明する。本実施形態では、事前に撮像部と把持部との間の幾何変換パラメータを算出せず、撮像部の視野内に常に把持部が存在するようにシステムを構成し、ビジュアルサーボによって制御を行う。このような構成により、対象物を正確に把持する。
　本実施形態では、撮像素子上の各々の受光部が２以上の受光素子によって構成される撮像部が把持対象物を含む空間の画像を取得する。三次元座標算出部は、入力した画像に基づき三次元座標を算出する。検出部は入力した画像と三次元座標に基づき把持対象物の三次元位置を検出する。制御部は、入力画像中で検出される対象物と把持部の位置関係に基づき、把持部を対象物に接近させる制御命令を生成する。把持部は制御命令に基づき、対象物への接近動作を行う。撮像部は再び画像を取得する。以上の撮像部と把持部の制御を短時間に繰り返し実行する。これにより、小型かつ低コストに情報処理装置を構成しつつも、事前に撮像部と把持部との間の幾何変換パラメータを算出することなく、把持装置によって対象物を正確かつ安定的に把持することが可能となる。これにより、より小型に構成された撮像部を用いるシステムにおいても、無作為に配置された対象物に対して、対象物の位置を高精度に検出することができる。そのため、把持部によって対象物を正確かつ安定的に把持することが可能となる。
　以下、本発明の第５の実施形態の詳細について図面を参照しつつ説明する。なお、第１～第４の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。
　本実施形態に係る情報処理システムの全体構成を示すブロック図は、図２の第１実施形態と同様である。ここでは、第１実施形態との相違点を中心に説明し、同じ構成の部分についてはその説明を省略する。
　本実施形態において、撮像部１０１が出力する視覚情報には画像１５４ａ、１５４ｂ、画像中心が含まれる。入力部２０１は、視覚情報として画像１５４ａ、１５４ｂ、画像中心を情報処理装置２００内部に取り込む。本実施形態においては、撮像部１０１の視野内に常にエンドエフェクタ３０３が存在するように撮像部１０１の画角や、ロボットアーム３０２に対する撮像部１０１の取り付け位置が定められている。すなわち、撮像する画像１５４ａ、１５４ｂ中に、常にエンドエフェクタ３０３の像が写っていることになる。
　検出部２０２は、入力部２０１が入力した画像１５４ａ、１５４ｂ（以下、入力画像ａ、ｂ）と、保持部２０３が保持している把持対象物３０１に関する物体情報をもとに、入力画像ａ、ｂのそれぞれで把持対象物３０１の中心の画像座標を検出する。また、それぞれの入力画像において、エンドエフェクタ３０３の先端の画像座標についても検出する。本実施形態では、把持対象物３０１の三次元座標については算出しない。
　制御部２０４は、検出部２０２が検出した入力画像ａ、ｂにおける把持対象物３０１の位置に基づき、把持対象物３０１を把持できる位置（以下、目標位置）に把持部１０２を移動させる。制御部２０４は、把持部１０２が目標位置に達すると、把持対象物３０１を把持し、排出トレイ３０５へ搬送し、把持対象物３０１を解放して排出トレイ３０５に置載させるための制御を行う。制御部２０４は、把持部１０２を目標位置に接近させるための命令や、ロボットアーム３０２やエンドエフェクタ３０３を動作させるための命令を発行する。
　以上のような構成を備えた本実施形態の情報処理システムにおいて、対象物を把持する制御について以下説明する。図１３は、本実施形態に係る情報処理システムによる処理の流れを示すフローチャートである。本実施形態においては、ステップＳ１０１０からステップＳ１０２６までの処理を繰り返し反復実行する。
　（ステップＳ１０１０）
　撮像部１０１は、把持対象物３０１を含む環境の画像を撮像し、視覚情報を入力部２０１に送出する。入力部２０１は、撮像部１０１から視覚情報である画像１５４ａ、１５４ｂ（入力画像ａ、ｂ）、画像中心を情報処理装置２００の内部に入力し、検出部２０２に送出する。
　（ステップＳ１０２０）
　検出部２０２は、入力部２０１が入力した入力画像ａ、ｂをＣＮＮに入力し、ＣＮＮから出力された把持対象物３０１の尤度画像に基づき入力画像ａ、ｂ中から把持対象物３０１を検出する。そして、検出部２０２は、その画像座標をそれぞれ出力して、制御部２０４に送出する。
　（ステップＳ１０２２）
　制御部２０４は、検出部２０２が検出した入力画像ａ、ｂに対する把持対象物３０１の画像座標に基づき、把持部１０２に対して把持動作を行うため、把持部１０２を把持対象物３０１に接近させる命令を生成する。
　図１４は、本実施形態における画像１５４ａおよび画像１５４ｂ（入力画像ａ、ｂ）の例を示している。制御部２０４は、ビジュアルサーボによって把持部１０２を把持対象物３０１に接近させる。図１４において、入力画像ａにおいて検出された把持対象物３０１の画像座標をｔａ、入力画像ｂにおいて検出された同一の把持対象物３０１の画像座標をｔｂとする。また、それぞれの入力画像において検出されたエンドエフェクタ３０３の先端の画像座標をそれぞれｅａ、ｅｂとする。
　制御部２０４は、把持対象物３０１の画像座標ｔａ、ｔｂを目標値として、エンドエフェクタ３０３先端の画像座標ｅａ、ｅｂを各々ｔａ、ｔｂに一致させる方向に、把持部１０２を把持対象物３０１に接近させるべく、把持部１０２への移動量を算出する。そして、制御部２０４は、算出した移動量に基づいて命令を発行する。本実施形態においては、ステップＳ１０１０からステップＳ１０２６までの処理を短時間に繰り返し実行する。そのため、微小時間内に把持部１０２の動作を完了させるべく、制御部２０４は現在のｅａ、ｅｂから目標値ｔａ、ｔｂに向けた方向へ、所定の微小時間での移動量を算出する。すなわち、一般的には、一度の移動でエンドエフェクタ３０３は目標値に到達しない。ステップＳ１０１０からステップＳ１０２６までの処理を繰り返すことによって、エンドエフェクタ３０３は把持対象物３０１の把持位置へと到達することになる。制御部２０４は、発行した命令を制御部１０２に送出する。
　なお、次のステップＳ１０２４では、ステップＳ１０２２において算出した移動量に従って把持部１０２が移動する。そのため、次回のステップＳ１０１０を実行する際には、撮像部１０１は前回のステップＳ１０１０の時点と異なる視点位置から撮像を行うことになる。この視点位置においては、エンドエフェクタ３０３は、前回よりも把持対象物３０１に接近している。そのため、次回のステップＳ１０２２実行時には、把持部１０２の目標値は、前回の目標値とは異なる値に更新される。ステップＳ１０１０からステップＳ１０２６までの処理を繰り返すごとに、エンドエフェクタ３０３は次第に把持対象物３０１に接近する。
　本実施形態においては、撮像部１０１も情報処理装置２００も明示的な三次元計測を行わない。しかしながら、ステレオの対をなす入力画像ａ、ｂについて、同時にエンドエフェクタ３０３先端の画像座標と把持対象物３０１の画像座標とを一致させるような制御を行うため、三次元計測を行うのと同様の効果を得ることができる。図１４において、初期段階では把持対象物３０１よりもエンドエフェクタ３０３が手前に存在するため、エンドエフェクタ３０３先端の視差｜ｅａ－ｅｂ｜と把持対象物３０１の視差｜ｔａ－ｔｂ｜を比較すると、｜ｅａ－ｅｂ｜＞｜ｔａ－ｔｂ｜となる。ステップＳ１０１０からステップＳ１０２６までの処理を繰り返し実行することにより、｜ｅａ－ｅｂ｜と｜ｔａ－ｔｂ｜の差は次第に縮小していく。すなわち、エンドエフェクタ３０３と把持対象物３０１の奥行きも次第に近づいていき、最終的にエンドエフェクタ３０３は把持対象物３０１に至ることになる。
　（ステップＳ１０２４）
　把持部１０２は、制御部２０４からの命令に従って、ロボットアーム３０２を動作させる。
　（ステップＳ１０２６）
　制御部２０４は、ロボットアーム３０２の移動量（あるいは移動速度）が十分小さくなった場合に、把持部１０２が把持対象物３０１の把持位置（目標値）に移動したと判断し、ステップＳ１０３０に進む。そうでない場合には、ステップＳ１０１０の処理に戻る。この場合、次回のステップＳ１０１０においては、ロボットアーム３０２が移動しているため、撮像部１０１は前回とは異なる視点位置から入力画像ａ、ｂを撮像することになる。
　（ステップＳ１０３０）
　ステップＳ１０２６までの処理により、把持部１０２は把持対象物３０１の把持位置に到達しているため、本実施形態のステップＳ１０３０では、制御部２０２は把持対象物３０１の把持位置に至る経路を生成しない。制御部２０４は、エンドエフェクタ３０３が把持対象物３０１を把持するための命令、把持対象物３０１を排出トレイ２０５まで搬送する命令、把持対象物３０１を開放する命令をそれぞれ生成し、把持部１０２へ送出する。
　なお、本実施形態において、撮像部１０１のオートフォーカス機構を有効化してもよい。ステップＳ１０１０からステップＳ１０２６までの処理を反復実行することによって、エンドエフェクタ３０３は把持対象物３０１に順次接近していくことになる。この過程で撮像部１０１の視点も把持対象物３０１に接近するため、合焦を維持したまま画像中の把持対象物３０１の像が拡大していき、反復を繰り返すごとに目標値が精緻化される。結果として、対象物を正確かつ安定的に把持できるようになる。
　以上述べたように、本実施形態によれば、より小型に構成された撮像部を用いるシステムにおいても、無作為に配置された対象物に対して、対象物の位置を高精度に検出することができる。そのため、把持部によって対象物を正確かつ安定的に把持することが可能となる。
　（変形例）
　本実施例の撮像部１０１では、画像１５４ａ、１５４ｂに替えて、画像１５４ｃと視差画像あるは三次元座標を出力する。本変形例の場合、第２実施形態と同様に三次元情報算出部２０５を設け、三次元情報算出部２０５によって、把持対象物３０１の三次元空間中の位置を算出する。ステップＳ１０２２において、制御部２０４は把持対象物３０１の位置を示す三次元座標を目標値とし、エンドエフェクタ３０２の三次元座標を目標値に近づけるための制御を行う。
　［第６の実施形態］
　本発明の第６の実施形態では、ランダムな位置に配置された複数の対象物について、撮像部を用いて三次元位置を検出し、ロボットアーム等の把持部を用いて把持を行う場合に適用できるシステムについて説明する。本実施形態では、操作部と表示部を備え、ユーザからの操作を入力し、動作状況をユーザに提示する。これにより、ユーザが所望する条件やタイミングで、対象物の把持や載置を行うことが可能となる。以下、本発明の第６の実施形態の詳細について図面を参照しつつ説明する。なお、第１～第５の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。
　図１５は本実施形態に係る情報処理システムの全体構成を示すブロック図である。図６に示した第２実施形態と比較すると、操作部１０４および表示部１０５が追加されている。同図の説明では、第２実施形態との相違点を中心に説明し、第２の実施形態と同様の構成については説明を省略する。
　操作部１０４は、キーボード、マウス、ボタン、ダイヤルなどの装置によって実現され、ユーザの指示、意図を操作として受け付け、情報処理装置２００に伝達する。操作部１０４はユーザからの操作を入力し、入力した信号を入力部２０１に送出する。
　表示部１０５は、ディスプレイなどの装置によって実現され、検出部２０２、制御部２０４、三次元情報算出部２０５からの情報を可視化して表示し、ユーザに提示する役割を果たす。
　入力部２０１は、撮像部１０１からの入力に加えて、操作部１０４からの操作信号を情報処理装置２００の内部に入力し、検出部２０２、制御部２０４、三次元情報算出部２０５に送出する。
　制御部２０４は、把持部１０２の制御に加えて、操作部１０４からの操作信号に基づき、撮像部１０１の焦点距離または画角を変更する命令を撮像部１０１に送出する。
　以上のような構成を備えた本実施形態の情報処理システムにおいて、対象物を把持する制御について以下説明する。本実施形態に係る情報処理システムによる処理の流れを示すフローチャートは図７（第２の実施形態）と同様であるため、その説明は省略する。
　図１６は、本実施形態において表示部１０５に表示される画面の例を示している。表示部１０５にはウィンドウ１８０が表示される。ウィンドウ１８０内には、撮像部１０１が現在撮像している画像１５４ｃ、撮像部１０１の焦点距離および画角を操作するスライダ１８１ａ、１８１ｂ、カーソル１８２、操作ボタン１８３ａ～１８３ｄが表示されている。画像１５４ｃには、供給トレイ３０４内に積載された把持対象物３０１が映っており、ユーザは表示部１０５内に表示されているウィンドウ１８０によって、情報処理システムの現在の稼働状態を確認することができる。
　スライダ１８１ａは、ユーザが左右に移動させることにより、撮像部１０１の焦点距離を随時変更することができる。スライダ１８１ｂは、ユーザが左右に移動させることにより、撮像部１０１の画角を随時変更することができる。
　カーソル１８２は、ユーザが画面上の任意の場所に移動させ、制御（把持）を行う対象物を選択するためのものである。例えば、供給トレイ３０４内に配置されている把持対象物３０１の一つの上にカーソル１８２を移動させ、ボタン１８３ａ（検出と表示されているボタン）を押すことによって、カーソル１８２が示す検出対象物３０１を明示的に検出する。より具体的には、操作部１０４は、カーソル１８２とボタン１８３ａの操作情報を入力部２０１に送出する。入力部２０１は、カーソル１８２とボタン１８３ａの操作情報を検出部２０２に送出する。検出部２０２は、カーソル１８２が選択している画像１５４ｃの座標を参照し、その最近傍に存在する把持対象物３０１を検出する。
　同様に、ボタン１８３ｂ、１８４ｃについても、制御部２０４が実行する処理の内容を制御し、ユーザが所望する特定の把持対象物３０１を把持させることや、実行するタイミングを変更することができるものである。また、ボタン１８３ｄは、ステップＳ１０５０の条件によらず、任意のタイミングで本実施形態における情報処理装置２００の制御を終了することができるものである。
　以上述べたように、本実施形態によれば、より小型に構成された撮像部を用いるシステムにおいて、ユーザが所望する条件やタイミングで、対象物の把持や載置を行うことが可能となる。
　（変形例）
　第６の実施形態の図１６では、表示部１０５がウィンドウ１８０内に画像１５４ｃを表示する例について説明したが、これに限られない。画像１５４ｃに替えて画像１５３ａ、１５３ｂの片方あるいは両方を表示するようにしてもよいし、視差画像、デプスマップ、三次元座標を表示するようにしてもよい。また、画像１５４ｃ上に検出部２０２が検出した把持対象物３０１の概形や座標を重畳して表示するようにしてもよいし、ロボットアーム３０２やエンドエフェクタ３０３の稼働域や稼働状況を表示するようにしてもよい。この場合、検出部２０２や制御部２０４が表示部１０５に情報を送出し、表示部１０５が入力した情報に基づき、ウィンドウ１８０を描画して表示する。
　また、タッチパネル等の装置を用いて、ユーザが表示部１０５を直接操作できるようにしてもよい。この場合、タッチパネル等の装置が、操作部１０４と表示部１０５の両方の機能を実現していることになる。
　［その他の実施形態］
　上述した各実施形態における入力部２０１は、撮像素子上の各々の受光部が２以上の受光素子によって構成される撮像部からの視覚情報を、情報処理装置に入力できる構成となっていれば特定の構成に限定されるものではない。また、入力部２０１が入力する、視覚情報に含まれる画像についても、ＲＧＢカラー画像、グレイスケール画像、白黒画像など、種々の種類の画像が適用可能である。
　上述した各実施形態における検出部２０２は、撮像部が撮像した画像から、把持する対象物とその位置を特定するものであれば特定の構成に限定されるものではない。なお、検出部２０１により検出された画像座標から三次元座標を参照し、把持対象物の三次元空間内での位置を算出してもよいし、第５の実施形態のように三次元座標は用いずに把持対象物の位置を特定し、把持する方法であってもよい。
　上述した各実施形態における保持部２０３は、検出部や制御部の動作に必要となる、静的な設定やパラメータを保持するものであれば、特定の構成に限定されるものではない。
　上述した各実施形態における制御部２０４は、検出部２０２が検出した対象物を把持するために、実際に把持部が把持動作を実行するためのコマンドを生成して把持部を駆動するものであれば特定の構成に限定されるものではない。
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１８年１月１２日提出の日本国特許出願特願２０１８－００３８１４を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (20)

  1. 　撮像素子上の受光部が２以上の受光素子によって構成され、対象物を含む空間を撮像する撮像手段と、
    　前記撮像手段から出力された第１の情報を入力する入力手段と、
    　前記対象物に関する第２の情報を保持する保持手段と、
    　前記第１、第２の情報に基づき、前記対象物の位置を検出する検出手段と、
    　前記対象物を把持する把持手段と、
    　前記検出した前記対象物の位置に基づいて、前記把持手段の動作を制御する制御手段と、
    　を有することを特徴とする情報処理システム。
  2. 　前記対象物を含む空間に対して所定のパターンを投影する投影手段を更に有することを特徴とする請求項１に記載の情報処理システム。
  3. 　前記第１の情報は、前記２以上の受光素子それぞれの出力に基づいて生成された２以上の画像に基づいて前記撮像手段により求められた前記対象物の三次元座標を含むことを特徴とする請求項１または２に記載の情報処理システム。
  4. 　前記対象物の三次元座標を算出する算出手段を更に有し、
    　前記第１の情報は、前記２以上の受光素子それぞれの出力に基づいて２以上の画像もしくは当該２以上の画像に基づいて生成された視差画像と、視差と、焦点距離と、基線長とを含み、
    　前記算出手段は、前記第１の情報に基づいて、前記対象物の三次元座標を算出することを特徴とする請求項１または２に記載の情報処理システム。
  5. 　前記撮像手段は、光学系の焦点距離または画角を変更する機能を有することを特徴とする請求項４に記載の情報処理システム。
  6. 　前記撮像手段は、前記光学系の駆動量に基づいて前記焦点距離を算出することを特徴とする請求項５に記載の情報処理システム。
  7. 　前記算出手段は、前記空間に配置された指標の既知の幾何情報に基づき、前記空間の三次元座標を算出することを特徴とする請求項５または６に記載の情報処理システム。
  8. 　前記第１の情報は、焦点距離が異なる複数の画像と前記複数の画像それぞれの焦点距離とが対応付けられた情報を含み、
    　前記算出手段は、前記焦点距離が異なる複数の画像と前記複数の画像それぞれの焦点距離とが対応付けられた情報に基づき、前記空間の三次元座標を算出することを特徴とする請求項５から７のいずれか１項に記載の情報処理システム。
  9. 　前記制御手段は、前記把持手段の動作に係る情報を生成することにより前記把持手段を制御することを特徴とする請求項１から８のいずれか１項に記載の情報処理システム。
  10. 　前記制御手段は、前記把持手段を目標の位置に移動させる処理と、前記把持手段を含む画像に基づいて前記把持手段の位置を検出する処理とを繰り返し実行することにより、前記把持手段の動作を制御することを特徴とする請求項１から８のいずれか１項に記載の情報処理システム。
  11. 　前記第１の情報は、前記２以上の受光素子の両方の出力に基づいて生成された画像を含み、
    　前記検出手段は、前記２以上の受光素子の両方の出力に基づいて生成された画像と、前記第２の情報とを、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋに入力することにより、前記対象物の位置を検出することを特徴とする請求項１から１０のいずれか１項に記載の情報処理システム。
  12. 　前記検出手段は、更に、前記第１、第２の情報に基づき、前記対象物の姿勢を検出し、前記制御手段は、前記検出した前記対象物の位置と姿勢とに基づいて、前記把持手段の動作を制御することを特徴とする請求項１から１１のいずれか１項に記載の情報処理システム。
  13. 　前記制御手段の制御に対するユーザの指示を、前記ユーザの操作によって受け付ける操作手段を更に有することを特徴とする請求項１から１２のいずれか１項に記載の情報処理システム。
  14. 　前記制御手段は、前記操作手段に対するユーザの操作に基づいて、前記撮像手段の焦点距離を変更することを特徴とする請求項１３に記載の情報処理システム。
  15. 　前記制御手段は、前記操作手段に対するユーザの操作に基づいて、前記撮像手段の画角を変更することを特徴とする請求項１３または１４に記載の情報処理システム。
  16. 　前記検出手段は、前記操作手段に対するユーザの操作に基づいて、複数の対象物のうちの少なくとも１つの対象物に関し、当該対象物の位置を検出し、
    　前記制御手段は、前記検出手段が検出した対象物の位置に基づいて、前記把持手段の動作を制御することを特徴とする請求項１３から１５のいずれか１項に記載の情報処理システム。
  17. 　前記第１の情報、前記第２の情報、前記対象物の位置、前記撮像手段の状態、前記把持手段の状態のうちの少なくとも１つを表示する表示手段を更に有することを特徴とする請求項１から１６のいずれか１項に記載の情報処理システム。
  18. 　撮像素子上の受光部が２以上の受光素子によって構成され、対象物を撮像するための撮像手段から出力された第１の情報を入力する入力手段と、
    　前記対象物に関する第２の情報を保持する保持手段と、
    　前記第１、第２の情報に基づき、前記対象物の位置を検出する検出手段と、
    　前記検出した前記対象物の位置に基づいて、前記対象物を把持するための把持手段の動作を制御する制御手段と、
    　を有することを特徴とする情報処理装置。
  19. 　撮像素子上の受光部が２以上の受光素子によって構成された撮像手段を用いて、対象物を含む空間を撮像するステップと、
    　前記撮像手段から出力された第１の情報を入力するステップと、
    　前記対象物に関する第２の情報を保持するステップと、
    　前記第１、第２の情報に基づき、前記対象物の位置を検出するステップと、
    　前記検出した前記対象物の位置に基づいて、前記対象物を把持する把持手段の動作を制御するステップと、
    　を有することを特徴とする情報処理方法。
  20. 　コンピュータを請求項１８に記載の情報処理装置として機能させるためのプログラム。
PCT/JP2018/047026 2018-01-12 2018-12-20 情報処理システム、情報処理装置、情報処理方法及びプログラム WO2019138835A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018003814A JP2019125056A (ja) 2018-01-12 2018-01-12 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2018-003814 2018-01-12

Publications (1)

Publication Number Publication Date
WO2019138835A1 true WO2019138835A1 (ja) 2019-07-18

Family

ID=67218959

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047026 WO2019138835A1 (ja) 2018-01-12 2018-12-20 情報処理システム、情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2019125056A (ja)
WO (1) WO2019138835A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021014563A1 (ja) * 2019-07-23 2021-01-28
CN114694125A (zh) * 2022-05-31 2022-07-01 杭州蓝芯科技有限公司 一种用于轨道异物识别的数据处理方法
CN114901441A (zh) * 2020-01-23 2022-08-12 欧姆龙株式会社 机器人系统的控制装置、机器人系统的控制方法、计算机控制程序及机器人系统
WO2024090328A1 (ja) * 2022-10-24 2024-05-02 ソフトバンクグループ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117716205A (zh) * 2021-07-26 2024-03-15 京瓷株式会社 信息处理装置、信息处理方法、成像装置和信息处理系统
WO2023119442A1 (ja) 2021-12-21 2023-06-29 ファナック株式会社 ロボットシステム及び撮像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674762A (ja) * 1992-08-31 1994-03-18 Olympus Optical Co Ltd 距離測定装置
JPH1199491A (ja) * 1997-09-26 1999-04-13 Toyoda Mach Works Ltd ロボット制御装置
JP2008241491A (ja) * 2007-03-28 2008-10-09 Hitachi Ltd ３次元計測装置
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
JP2017202549A (ja) * 2016-05-11 2017-11-16 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674762A (ja) * 1992-08-31 1994-03-18 Olympus Optical Co Ltd 距離測定装置
JPH1199491A (ja) * 1997-09-26 1999-04-13 Toyoda Mach Works Ltd ロボット制御装置
JP2008241491A (ja) * 2007-03-28 2008-10-09 Hitachi Ltd ３次元計測装置
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
JP2017202549A (ja) * 2016-05-11 2017-11-16 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIJIMA, TAKAFUMI ET AL.: "Study on object recognition by active stereo camera for clean-up robot", 2017 17TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS, 18 October 2017 (2017-10-18), pages 27 - 31, XP033269359, doi:10.23919/ICCAS.2017.8204418 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021014563A1 (ja) * 2019-07-23 2021-01-28
JP7341238B2 (ja) 2019-07-23 2023-09-08 株式会社Fuji 自動組立システム
CN114901441A (zh) * 2020-01-23 2022-08-12 欧姆龙株式会社 机器人系统的控制装置、机器人系统的控制方法、计算机控制程序及机器人系统
CN114694125A (zh) * 2022-05-31 2022-07-01 杭州蓝芯科技有限公司 一种用于轨道异物识别的数据处理方法
CN114694125B (zh) * 2022-05-31 2022-08-26 杭州蓝芯科技有限公司 一种用于轨道异物识别的数据处理方法
WO2024090328A1 (ja) * 2022-10-24 2024-05-02 ソフトバンクグループ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
JP2019125056A (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
WO2019138835A1 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
Pauwels et al. Simtrack: A simulation-based framework for scalable real-time object pose detection and tracking
TWI521255B (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
JP5896390B2 (ja) カメラのフォーカスを合わせるための方法、装置、システム、およびソフトウェア
JP5567908B2 (ja) ３次元計測装置、その計測方法及びプログラム
US7001024B2 (en) Image input apparatus using projected light
US9832362B2 (en) Image-capturing apparatus
CN108234984A (zh) 双目深度相机系统和深度图像生成方法
JP6092530B2 (ja) 画像処理装置、画像処理方法
CN114174006A (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
WO2019193859A1 (ja) カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
KR101639065B1 (ko) 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치
JP2017144498A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN108007426A (zh) 一种摄像头测距方法和系统
CN113298886A (zh) 一种投影仪的标定方法
US20140094951A1 (en) Working unit control device, working robot, working unit control method, and working unit control program
CN110580716A (zh) 一种深度信息采集方法、装置以及介质
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2006021300A (ja) 推定装置および把持装置
JP2007033087A (ja) キャリブレーション装置及び方法
WO2021097332A1 (en) Scene perception systems and methods
CN117237414A (zh) 移动机器人平台下基于双目图像的抓取引导方法及系统
JP6768997B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JPH09323280A (ja) マニピュレータの制御方法及びシステム
JP2020131296A (ja) 制御装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18899314

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18899314

Country of ref document: EP

Kind code of ref document: A1