WO2019093299A1 - 位置情報取得装置およびそれを備えたロボット制御装置 - Google Patents

位置情報取得装置およびそれを備えたロボット制御装置 Download PDF

Info

Publication number
WO2019093299A1
WO2019093299A1 PCT/JP2018/041109 JP2018041109W WO2019093299A1 WO 2019093299 A1 WO2019093299 A1 WO 2019093299A1 JP 2018041109 W JP2018041109 W JP 2018041109W WO 2019093299 A1 WO2019093299 A1 WO 2019093299A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional coordinates
position information
unit
acquired
Prior art date
Application number
PCT/JP2018/041109
Other languages
English (en)
French (fr)
Inventor
茂男 井原
大田　佳宏
正志 高村
憲裕 小泉
恭平 冨田
亮祐 近藤
Original Assignee
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京大学 filed Critical 国立大学法人東京大学
Publication of WO2019093299A1 publication Critical patent/WO2019093299A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a position information acquisition apparatus for acquiring position information of an operation target in a storage unit capable of storing a plurality of operation targets of a robot having a visual sensor, and a robot control apparatus including the position information acquisition apparatus.
  • the template information storage unit of the robot apparatus includes template image data of a surface with respect to the gaze direction, information indicating the position and orientation of the surface in the robot coordinate system, and imaging in the robot coordinate system for each gaze direction from the imaging unit with respect to the reference. It stores template information including information representing a part and a posture. Then, the position and orientation data generation unit detects a visible surface from the image of the target object included in the image data generated by the imaging unit, and reads template information corresponding to the visible surface from the template information storage unit. Based on the template information, position and orientation data representing the position and orientation of the target object in the robot coordinate system is generated.
  • an image acquisition device configured to acquire one or more images of a sample container of a sample container holder, and an image analysis connected to the image acquisition device
  • an image analysis device capable of selecting a sample container according to the analysis result of the image analysis device from the sample container holder (see, for example, Patent Document 2).
  • the image analysis device of the system analyzes the image of the sample container in the sample container holder and the sample container holder by the processor to determine whether the tube cap indicator of the sample container is the centrifugation indicator or the emergency sample indicator Do.
  • the position and orientation of a target object (operation target object) in the robot coordinate system can be obtained from an image acquired by the imaging unit of the robot apparatus. Furthermore, by providing a marker such as a tube cap indicator described in Patent Document 2 to the operation object of the robot, the position and posture of the plurality of operation objects from the image acquired by the image acquisition device Can be determined more precisely. However, depending on the characteristics such as the number, shape, and material of the operation object, it is difficult to apply the above-described marker to all the operation objects. In addition, even if markers can be attached to each of a plurality of operation objects, the calculation load and processing speed in recognition processing of the markers in the image increase, and position information of the operation objects is acquired at high speed and accurately It will be difficult to do.
  • the present disclosure has as its main object to make it possible to obtain position information of an operation target in a storage unit at high speed and with high accuracy without attaching a marker to the operation target of a robot having a visual sensor.
  • the positional information acquisition apparatus is a positional information acquisition apparatus for acquiring positional information of the operation target in a storage unit capable of storing a plurality of operation targets of a robot having a visual sensor, which is acquired by the visual sensor Acquiring a two-dimensional coordinate in a plane coordinate system of the images of the plurality of markers given to the storage unit from the image of the storage unit, and a sensor of the center of gravity of a plane region determined from the two-dimensional coordinates of the plurality of markers An image of the planar region based on a first coordinate attitude acquisition unit that acquires a three-dimensional coordinate and a rotational attitude in a coordinate system, the image acquired by the visual sensor, and the two-dimensional coordinates of the plurality of markers Based on a plurality of images taken from a plurality of angles of a flat area image generation unit that generates the image and a storage unit that stores the total number of the operation objects.
  • a template generation unit that generates a first template image corresponding to the three-dimensional coordinates of the center of gravity of the planar area and a rotational attitude, and the operation target object by template matching between the image of the planar area and the first template image
  • the template matching between the image of the flat area and the second template image showing the storage unit and the operation object viewed in plan view.
  • the two-dimensional coordinates in the plane coordinate system of the position at which the degree of correlation obtained becomes maximum are acquired, and the three-dimensional coordinates and rotational attitude of the operation object in the sensor coordinate system are calculated based on the acquired two-dimensional coordinates.
  • a second coordinate attitude acquisition unit acquired as information.
  • the first coordinate posture acquiring unit of the position information acquiring device of the present disclosure acquires two-dimensional coordinates in the plane coordinate system of the images of the plurality of markers provided to the storage unit from the image of the storage unit acquired by the visual sensor. At the same time, three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of gravity of the plane area determined from the two-dimensional coordinates of the plurality of markers are acquired.
  • the flat region image generation unit generates an image of the flat region based on the image acquired by the visual sensor and the two-dimensional coordinates of the plurality of markers.
  • the template generation unit is a first template corresponding to the three-dimensional coordinates of the center of gravity of the plane area and the rotational attitude based on a plurality of images captured from a plurality of angles of the storage unit storing all the operation objects. Generate an image.
  • the second coordinate attitude acquisition unit determines the presence or absence of the operation target object by template matching between the image of the flat area and the first template image.
  • the second coordinate posture obtaining unit is a correlation obtained by template matching of the image of the plane region and the second template image showing the storage unit viewed in plan and the operation target for each operation target present in the storage unit. Acquire two-dimensional coordinates in the plane coordinate system of the position where the degree is maximum. Then, the second coordinate attitude acquisition unit acquires, as position information, the three-dimensional coordinates and the rotational attitude in the sensor coordinate system of the operation target based on the acquired two-dimensional coordinates.
  • the position information acquisition device of the present disclosure performs template matching of the first and second template images with an image of a flat area generated based on a relatively small number of markers assigned to the storage unit.
  • three-dimensional coordinates and rotational attitude in the sensor coordinate system of the operation target are acquired.
  • it is not necessary to provide a marker to the operation target and it is possible to significantly reduce the calculation load and processing speed in the recognition processing of the marker in the image acquired by the visual sensor.
  • by executing template matching using the first and second template images it is possible to obtain three-dimensional coordinates and rotational attitude in the sensor coordinate system of the operation object with high accuracy.
  • the flat area image generation unit converts the image acquired by the visual sensor into a normalized image by homography conversion based on the two-dimensional coordinates of the plurality of markers, and converts the normalized image into a predetermined color.
  • the image of the planar area may be generated by converting it into a space image. This makes it possible to further improve the accuracy and robustness of template matching using the first and second template images.
  • the second coordinate posture acquiring unit is configured to determine, based on the image of the planar region and the two-dimensional coordinates of a position where the degree of correlation is maximized, for each of the operation objects present in the storage unit.
  • the plurality of sums of luminance values of pixels located on the same circumference are calculated, and the two-dimensional coordinates in the plane coordinate system of the center of the circumference where the sum of the luminance values is maximized are acquired and acquired Three-dimensional coordinates and a rotational attitude of the operation target in the sensor coordinate system may be acquired from the coordinates.
  • the second coordinate posture acquiring unit may be configured such that the value decreases as the distance from the position at which the degree of correlation is maximized is decreased based on the degree of correlation for each of the operation objects present in the storage unit.
  • a plurality of one index may be calculated, and the calculated first index may be displayed on the display device together with an image indicating the storage unit in a manner that allows visual recognition.
  • the second coordinate posture acquiring unit becomes smaller as the movement distance from the current position of the robot hand of the robot becomes longer and the larger the first index becomes larger for each of the operation objects present in the storage unit.
  • the second index may be calculated, and the access order of the robot hand to the operation target present in the storage unit may be set based on the calculated second index. This makes it possible to further improve the work efficiency of processing on the operation target using the robot.
  • the second coordinate orientation acquisition unit may display the second index on the display device together with an image indicating the storage unit in a visually comprehensible manner.
  • the operation target may be a bottomed cylindrical container held by the storage unit such that the opening is positioned above. That is, the position information acquisition device of the present disclosure is extremely useful for acquiring position information in the storage unit of a bottomed cylindrical container that is difficult to provide a marker.
  • the operation target in the present disclosure is not limited to such a container.
  • a robot control device includes any one of the above-described position information acquisition devices, and the robot control device according to the present invention is based on three-dimensional coordinates and rotational attitudes of the operation object in the sensor coordinate system acquired by the second coordinate attitude acquisition device. It may control a robot. This makes it possible to realize high-speed and high-precision work by the robot.
  • FIG. 5 is a flowchart illustrating another routine executed by the robot control device of the present disclosure. It is explanatory drawing which illustrates the image displayed on the display apparatus connected to the robot control apparatus of this indication.
  • FIG. 1 is a schematic configuration view showing a robot apparatus RD including a robot 1 and a robot control apparatus 10 of the present disclosure
  • FIG. 2 is a control block diagram of the robot apparatus RD.
  • the robot 1 automatically performs a predetermined process such as the injection of a drug or the like to a large number of test tubes TT stored in the test tube rack 100 as a storage unit.
  • the robot controller 10 is controlled by the disclosed robot controller 10.
  • a test tube TT which is an operation target of the robot 1 is a bottomed cylindrical container having a circular opening, and the test tube rack 100 has a plurality of holding holes 101. Each holding hole 101 is opened at the upper surface of the test tube rack 100, and holds the test tube TT inserted from above.
  • the upper surface of the test tube rack 100 has a rectangular shape, and at least three or more image markers M are provided on the upper surface.
  • a total of four image markers M are provided at four corners of the upper surface of the test tube rack 100, and each image marker M has the same or unique characteristic texture pattern.
  • the robot 1 includes an articulated arm mechanism 2 in which a robot hand (not shown) is attached to a tip end (hand tip), an actuator 3 (see FIG. 2) for driving the articulated arm mechanism 2, and an articulated arm mechanism 2. And a visual sensor 4 attached to the tip.
  • the robot arm attached to the articulated arm mechanism 2 is configured to, for example, inject a drug or the like into the test tube TT.
  • the robot arm is not limited to this.
  • the robot arm may be configured to grip the test tube TT and insert and remove the test tube from the holding hole 101 of the test tube rack 100.
  • the vision sensor 4 is an optical digital camera, which captures an image of the test tube rack 100 in accordance with an imaging command signal from the robot control device 10, and transmits image data indicating the test tube rack 100 to the robot. It gives to the control device 10.
  • the vision sensor 4 may be an imaging device other than the optical digital camera.
  • the robot control device 10 is a computer having a CPU, a ROM, a RAM, an input / output port and the like which are not shown.
  • a plane recognition processing unit (first coordinate attitude acquiring unit) is realized by cooperation of hardware such as a CPU, ROM, and RAM and software such as a control program installed in the ROM.
  • template generation unit 30, position information processing unit (second coordinate attitude acquisition unit) 40, and operation control unit 50 are constructed as functional blocks (modules), and plane recognition processing unit 20, template generation unit 30 and position information processing
  • the part 40 comprises the positional information acquisition apparatus of this indication.
  • a display device 60 such as a liquid crystal monitor for displaying various information when working with the robot 1 is connected to the robot control device 10, and the robot control device 10 controls a display device 60 not shown. Further includes
  • the plane recognition processing unit 20 includes a marker recognition unit 21 and a plane area estimation unit 22 which are constructed by cooperation of hardware such as a CPU and software.
  • the sensor coordinate system is a right-handed coordinate system including the optical axis of the optical system of the visual sensor 4 as one of coordinate axes, and the rotational attitude indicates an inclination with respect to the optical axis.
  • the marker recognition unit 21 indicates a two-dimensional coordinate in the plane coordinate system (XY coordinate system) of the image of the center of gravity of the image marker M. (Hereinafter, simply referred to as "two-dimensional coordinates".) Get M g i .
  • planar region estimation unit 22 determines a rectangular planar region determined from the two-dimensional coordinates M g i of the image marker M based on the two-dimensional coordinates M g i of the center of gravity of the image marker M acquired by the marker recognition unit 21. Acquire the three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of gravity of L Mi ⁇ .
  • the template generation unit 30 receives the three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of gravity of the plane area L Mi ⁇ from the plane area estimation unit 22 of the plane recognition processing unit 20.
  • the template image used for the existence determination is generated by a learned neural network.
  • the template generation unit 30 includes an image database 31 storing a large number of images obtained by photographing the test tube rack 100 in which test tubes TT are inserted into all the holding holes 101 from various angles. Then, the template generation unit 30 corresponds to the three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of gravity of the planar area L Mi ⁇ acquired by the planar area estimation unit 22 based on the image stored in the image database 31. Generate a first template image.
  • the image stored in the image database 31 is converted into, for example, a color space image (hereinafter referred to as “HSV image” as appropriate) obtained by extracting and emphasizing only a predetermined color area in the HSV color space. Further, in the image stored in the image database 31, an image obtained by photographing the periphery of the single holding hole 101 into which the test tube TT is inserted from directly above is only a certain color region in the HSV color space. The extracted and emphasized second template image (HSV image) is included.
  • HSV image color space image
  • the position information processing unit 40 includes a plane area image generation unit 41, existence / nonexistence determination unit 42, position / posture estimation unit 43, and position information calculation unit 44, which are constructed by cooperation of hardware such as CPU and software, respectively.
  • the planar region image generation unit 41 generates the planar region L Mi ⁇ based on the image data from the visual sensor 4 and the two-dimensional coordinates M g i of the center of gravity of the image marker M acquired by the planar recognition processing unit 20. Generate an image (planar image).
  • the presence / absence determination unit 42 performs template matching between the image generated by the flat area image generation unit 41 and the first template image generated by the template generation unit 30, and determines presence / absence of the test tube TT in the test tube rack 100. Do.
  • the position and orientation estimation unit 43 of the position information processing unit 40 executes template matching between the image generated by the planar region image generation unit 41 and the second template image stored in the image database 31 of the template generation unit 30, For each test tube TT present in the test tube rack 100, two-dimensional coordinates in the plane coordinate system of the image of the center (center of gravity) of the opening are acquired.
  • the position information calculation unit 44 calculates the three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of the opening of the test tube TT present in the test tube rack 100 based on the two-dimensional coordinates and the like acquired by the position and posture estimation unit 43. And calculate the position information.
  • the operation control unit 50 includes a position / posture correction unit 51 and a joint angle calculation unit 52 which are constructed by the cooperation of hardware such as a CPU and software.
  • the position and orientation correction unit 51 sets three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of the opening of the test tube TT acquired by the position information processing unit 40 (position information calculation unit 44) in the hand coordinate system of the robot 1 Convert to coordinates and rotation attitude.
  • the joint angle calculation unit 52 calculates the angle of each joint of the multi-joint arm mechanism 2 based on the coordinates and the rotational attitude acquired by the position and orientation correction unit 51, and based on the calculated angle of each joint.
  • the actuator 3 that drives the articulated arm mechanism 2 is controlled.
  • FIG. 3 is a flowchart showing an example of a routine executed by the plane recognition processing unit 20 of the robot control device 10.
  • the flat surface recognition processing unit 20 transmits an imaging command signal to the visual sensor 4 according to an operation start command of the robot 1 by the worker, and inputs image data indicating the test tube rack 100 from the visual sensor 4 (step S100).
  • the image data input in step S100 is appropriately referred to as "initial image data”.
  • the plane recognition processing unit 20 (marker recognition unit 21) analyzes the input image data, and determines whether at least one of the plurality of image markers M given to the test tube rack 100 is detected. (Step S110).
  • step S110 When it is determined in step S110 that the image marker M applied to the test tube rack 100 is not detected (step S110: NO), the flat surface recognition processing unit 20 transmits the imaging command signal to the visual sensor 4 again. Image data is input again from the visual sensor 4 (step S100).
  • “Development of an augmented reality system construction tool ARToolKit” H. Kato, Technical report of IEICE. PRMU 101 (652), 79-86, 2002-02-14 The method described in can be used.
  • step S110 When it is determined in step S110 that at least one image marker M applied to the test tube rack 100 is detected (step S110: YES), the plane recognition processing unit 20 (marker recognition unit 21) detects Three-dimensional coordinates and rotational attitude M G i in the sensor coordinate system of the center of gravity of the image marker M are acquired (step S120). In step S120, the plane recognition processing unit 20 (marker recognition unit 21) determines the plane coordinate system (XY coordinates of the image of the center of gravity of the image marker M based on the three-dimensional coordinates of the image marker M and the rotational attitude M G i.
  • Two-dimensional coordinates M g i in the The two-dimensional coordinates M g i are obtained from the two-dimensional coordinates on the image of the four corner portions of the image marker M acquired by the image analysis based on the three-dimensional coordinates of the image marker M and the rotational attitude M G i .
  • the plane recognition processing unit 20 determines a plane area determined from the two-dimensional coordinates M g i of the image marker M based on the two-dimensional coordinates M g i of the center of gravity of the image marker M. Acquire the three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of gravity of L Mi ⁇ .
  • the marker recognition unit 21 when the two-dimensional coordinates M g i of the center of gravity of all the image markers M of the test tube rack 100 are not acquired by the marker recognition unit 21, the three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of gravity of the flat region L Mi ⁇ The three-dimensional coordinates of the center of gravity of the image marker M and the rotational orientation M G i and the two-dimensional coordinates M g i obtained by the marker recognition unit 21 It is estimated based on
  • the plane recognition processing unit 20 transmits the photographing command signal to the visual sensor 4 again, and inputs the image data from the visual sensor 4 (step S130).
  • the image data input in step S130 is appropriately referred to as "next image data”.
  • the plane recognition processing unit 20 (marker recognition unit 21) is based on the next image data input in step S130 and the three-dimensional coordinates of the center of gravity of the image marker M acquired in step S120 and the rotational attitude M G i.
  • the particle filter processing estimates the three-dimensional coordinates of the center of gravity of the image marker M in the next image data and the rotational attitude M G i (step S140).
  • the particle filter used in step S130 is “Improved camera tracking accuracy using a two-dimensional rectangular marker for mixed reality” (Uematsu Yuko et al., “Image Recognition and Understanding Symposium (MIRU 2007)” July 2007. What is described in the above is modified to enable estimation regarding translational motion.
  • the plane recognition processing unit 20 determines the image marker in the next image data based on the three-dimensional coordinates of the center of gravity of the image marker M in the estimated next image data and the rotational attitude M G i as in step S120.
  • the two-dimensional coordinates M g i of the center of gravity of M and the three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of gravity of the plane region L Mi ⁇ determined from the two-dimensional coordinates M g i are acquired.
  • the plane recognition processing unit 20 After estimating the three-dimensional position of the center of gravity of the image marker M and the rotational attitude M G i in the next image data in step S140, the plane recognition processing unit 20 (marker recognition unit 21) acquires the next acquired in step S130.
  • the likelihood is calculated from the three-dimensional coordinates of the center of gravity of the image marker M in the image data and the rotational attitude M G i (step S150), and it is determined whether the calculated likelihood is equal to or more than a threshold (step S160).
  • the likelihood is the contour of the image marker M considering the similarity between the image marker M and the external environment, the texture pattern of the image marker M, and the input image in addition to the contour information of the image marker M.
  • the threshold used in step S160 may be changed according to the three-dimensional coordinates of the center of gravity of the image marker M in the next image data and the time required to estimate the rotational orientation M G i .
  • step S160 determines the three-dimensional coordinates of the center of gravity of the image marker M in the next image data estimated in step S140 and The three-dimensional coordinates and rotational attitude of the rotational orientation M G i , the two-dimensional coordinates M g i of the center of gravity of the image marker M, and the center of gravity of the flat region L Mi ⁇ determined from the two-dimensional coordinates M g i are not shown.
  • the plane recognition processing unit 20 determines the three-dimensional coordinates of the center of gravity of the image marker M in the next image data estimated in step S140 and The three-dimensional coordinates and rotational attitude of the rotational orientation M G i , the two-dimensional coordinates M g i of the center of gravity of the image marker M, and the center of gravity of the flat region L Mi ⁇ determined from the two-dimensional coordinates M g i are not shown.
  • RAM the three-dimensional coordinates of the center of gravity of the image marker M in the next image data estimated in step S140.
  • step S160 determines the three-dimensional coordinates of the center of gravity of the image marker M in the initial image data acquired in step S120. And the rotational orientation M G i , the two-dimensional coordinates M g i of the center of gravity of the image marker M, and the three-dimensional coordinates and rotational orientation in the sensor coordinate system of the center of gravity of the planar region L Mi ⁇ determined from the two-dimensional coordinates M g i Do not store in RAM.
  • step S190 determines whether the operator has issued an operation start command of the robot 1 (step S190), and determines that the operation start command has not been issued. , (Step S190: NO)
  • Step S190: NO The above-mentioned processing after step S100 is executed again.
  • step S190: YES the routine of FIG. 3 is ended at that time.
  • FIG. 4 is a flow chart showing an example of a routine executed by the position information processing unit 40 of the robot control device 10 in response to a worker's operation start command of the robot 1.
  • the position information processing unit 40 (the planar area image generation unit 41), three-dimensional coordinates of the center of gravity of the image marker M, which is stored in the RAM (not shown) by the plane recognition processing unit 20 and the rotational orientation M G i, 2-dimensional coordinates M g i of the center of gravity of the image marker M, and inputs the three-dimensional coordinates and rotational orientation on the sensor coordinate system of the plane area L Mi ⁇ centroid determined from the 2-dimensional coordinates M g i (step S200) .
  • it is determined whether data necessary for processing can be acquired (step S210), and if data necessary for processing is not acquired (step S210: NO)
  • the routine of FIG. 4 is ended at that time. , Instructs to re-execute the routine of FIG.
  • step S210 If it is determined in step S210 that data necessary for processing has been obtained (step S210: YES), the position information processing unit 40 (planar area image generation unit 41) determines the center of gravity of the image marker M read out in step S200. the initial image data or the next image data corresponding to the two-dimensional coordinates M g i into a normalized image by homography transformation based on the two-dimensional coordinates M g i in (step S220).
  • the homography conversion used in step S220 “three-dimensional deformation of developable surface object from monocular moving image and restoration of its developed texture” (Hiroki Hayama et al., “Image Recognition and Understanding Symposium (MIRU 2011)” 2011 (July year) can be used.
  • the position information processing unit 40 (planar area image generating unit 41) generates an image of the planar area L Mi ⁇ by converting the normalized image obtained in step S220 into an HSV image (step S230).
  • the position information processing unit 40 (presence / non-existence judging unit 42) generates a first template image corresponding to the three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of gravity of the flat area L Mi ⁇ read in step S200.
  • the template generation unit 30 is requested, and the first template image generated by the template generation unit 30 is acquired (step S240).
  • the position information processing unit 40 (presence / non-existence judging unit 42) executes template matching between the HSV image of the flat area L Mi ⁇ and the first template image (step S250).
  • step S250 while scanning the HSV image of the flat region L Mi ⁇ with the first template image, a normalized cross-correlation value that is resistant to variations in brightness taking into account the average value of the brightness values of both images is determined.
  • the presence or absence of the test tube TT can be determined by comparing the threshold value with the cross-correlation value.
  • the influence of noise can be reduced by setting the image of the flat region L Mi ⁇ and the first template image as an HSV image in which only a predetermined color region is extracted and emphasized in the HSV color space. .
  • the position information processing unit 40 determines whether or not the test tube TT exists in the test tube rack 100 (step S260). When it is determined in step S260 that the test tube TT does not exist in the test tube rack 100 (step S260: NO), the position information processing unit 40 (presence determination unit 42) ends the routine of FIG. 4 at that time. Let In this case, the position information processing unit 40 executes predetermined processing such as displaying a predetermined error display on the display device 60 after the routine of FIG. 4 ends.
  • step S260 when it is determined in step S260 that the test tube TT is present in the test tube rack 100 (step S260: YES), the position information processing unit 40 (position / posture estimation unit 43)
  • step S 270 The above-mentioned second template image showing a part of the test tube TT and the test tube rack 100 viewed in plan is input (step S 270), and template matching between the HSV image of the flat region L Mi ⁇ and the second template image is performed. (Step S280).
  • step S280 the correlation degree p of both images is obtained while scanning the HSV image of the flat region L Mi ⁇ with the second template image for each of the test tubes TT whose existence has been confirmed.
  • the position information processing unit 40 After obtaining the degree of correlation p by the template matching in step S280, the position information processing unit 40 (position and orientation estimation unit 43) generates an HSV image of the flat region L Mi ⁇ for each test tube TT present in the test tube rack 100. Two-dimensional coordinates in the plane coordinate system at a position where the degree of correlation p between the second template image and the second template image is maximum are acquired (step S290). Further, the position information processing unit 40 (position / posture estimation unit 43) sets the center of the circle within a predetermined two-dimensional area including the two-dimensional coordinates acquired in step S290 for each test tube TT present in the test tube rack 100.
  • the two-dimensional coordinates based on the degree of correlation p obtained by template matching between the HSV image of the flat region L Mi ⁇ and the second template image are corrected by the brightness value of the image, and then the center of the opening of the test tube TT It will be acquired as two-dimensional coordinates of.
  • the position information processing unit 40 determines the two-dimensional coordinates of the center of the opening of the test tube TT acquired at step S300 as the three-dimensional coordinates of each image marker M acquired by the marker recognition unit 21. By projecting onto the sensor coordinate system based on the rotational attitude M G i , three-dimensional coordinates of the center of the opening and the rotational attitude are calculated (step S310). Furthermore, the position information processing unit 40 (position information calculation unit 44) calculates a first index P (r) to be provided to the worker (step S320).
  • step S320 under the assumption that the first index P has the maximum degree of correlation p obtained by the template matching in step S280 at the center of the opening of the test tube TT, the distance r from the center of the opening decreases.
  • a plurality of values are calculated for each test tube TT present in the test tube rack 100 according to the following equation (1) so that the value decreases as
  • the distance r is changed at predetermined intervals with the radius of the circumference at which the sum of the luminance values obtained in step S300 is maximized as the maximum.
  • the position information processing unit 40 (position information calculation unit 44) is to improve the operation efficiency of the processing by the robot 1 based on the movement distance L from the current position of the robot hand of the robot 1 and the first index P.
  • the second index Q of is calculated (step S330).
  • the second index Q decreases as the movement distance L from the current position of the robot hand of the robot 1 increases for each opening center of the test tube TT present in the test tube rack 100 and the first index It is calculated according to the following equation (2) so as to be larger as P is larger.
  • the coefficient a is a predetermined negative constant value
  • the coefficient b is a predetermined positive constant value.
  • step S330 for each test tube TT present in the test tube rack 100, the second index Q at the center of the opening is calculated based on the stop position (standby position) of the robot hand. Furthermore, in step S330, the test tube TT corresponding to the calculated two-dimensional coordinates of the opening center that maximizes the second index Q is determined as the first movement destination of the robot hand, and thereafter, the second index Q is large. In order, the access order of the robot hand to the test tubes TT present in the test tube rack 100 is determined.
  • the position information processing unit 40 calculates the three-dimensional coordinates and rotational attitude of the calculated test tube TT (center of opening) present in the test tube rack 100 and the robot hand.
  • the position information such as the access order is transmitted to the operation control unit 50, and the two-dimensional coordinates of the test tube TT (center of the opening) present in the test tube rack 100 and the display of the first indicator P and the second indicator Q on the display 60 It transmits to a control part (illustration omitted) (step S340), and ends the routine of FIG.
  • Operation control unit 50 calculates the angle of each joint of articulated arm mechanism 2 based on the three-dimensional coordinates and rotational attitude received from position information processing unit 40, and drives articulated arm mechanism 2 according to the above-described access sequence.
  • the actuator 3 is controlled.
  • a display control unit (not shown) that receives the first and second indicators P and Q as position information from the position information processing unit 40 can visually recognize the first and second indicators P and Q.
  • the display 60 displays the test tube rack 100 and an image showing the test tube TT (for example, the image of the above-described flat area L Mi ⁇ ).
  • the first index P is larger
  • the redness is larger
  • the blueness is larger. It is displayed where the tube TT is present.
  • the second index Q is also associated with the color temperature, and the display color of the portion where the test tube TT is present on the image showing the test tube rack 100 increases in redness and decreases as the value of the second index Q increases. It is set to increase bluish.
  • the plane recognition processing unit 20 (first coordinate posture acquisition unit) of the robot control device 10 includes a plurality of test surface racks 100 provided with the image of the test tube rack 100 acquired by the visual sensor 4.
  • the two-dimensional coordinates M g i in the plane coordinate system of the image of the image marker M are obtained, and the three-dimensional coordinates and rotation in the sensor coordinate system of the center of gravity of the plane region L Mi ⁇ determined from the two-dimensional coordinates of the plurality of markers
  • the posture is acquired (steps S100 to S190 in FIG. 3).
  • planar region image generation unit 41 of the position information processing unit 40 (second coordinate posture acquisition unit) is based on the image acquired by the visual sensor 4 and the two-dimensional coordinates M g i of the plurality of image markers M. , An image (HSV image) of the flat region L Mi ⁇ (steps S220 and S230 in FIG. 4).
  • the template generation unit 30 captures a large number of images of the test tube rack 100 in which the test tubes TT are inserted into all the holding holes 101 from various angles.
  • the first template image corresponding to the three-dimensional coordinates and rotational attitude in the sensor coordinate system of the center of gravity of the flat region L Mi ⁇ is generated based on the image of (step S240 in FIG. 4).
  • the presence / absence determination unit 42 of the position information processing unit 40 determines the presence / absence of the test tube TT in the test tube rack 100 by template matching between the HSV image of the flat region L Mi ⁇ and the first template image (step of FIG. 4) S250).
  • the position / posture estimation unit 43 of the position information processing unit 40 determines the HSV image of the flat region L Mi ⁇ and part of the test tube TT and the test tube rack 100 viewed in plan for each test tube TT whose presence is confirmed. Template matching with the second template image showing (steps S270 and S280 in FIG. 4), and the two-dimensional coordinates in the plane coordinate system of the position where the degree of correlation p obtained by the Steps S290 and S300 in FIG. Then, the position information calculation unit 44 of the position information processing unit 40 acquires, as position information, the three-dimensional coordinates and rotational attitude in the sensor coordinate system of the test tube TT based on the acquired two-dimensional coordinates (step S310 in FIG. 4). .
  • the robot control device 10 generates the template of the first and second template images and the image of the flat area L Mi ⁇ generated based on the relatively small number of image markers M applied to the test tube rack 100.
  • the robot control device 10 executes matching, three-dimensional coordinates and rotational attitude in the sensor coordinate system of the test tube TT are acquired.
  • by executing template matching using the first and second template images as described above it is possible to obtain three-dimensional coordinates and rotational attitude in the sensor coordinate system of the test tube TT with high accuracy.
  • the positional information of the test tube TT in the test tube rack 100 can be acquired at high speed and with high accuracy without attaching the image marker M to the test tube TT which is the operation object of the robot 1 having the visual sensor 4
  • high-speed and high-precision robot operations can be realized.
  • planar region image generation unit 41 of the position information processing unit 40 converts the image data acquired by the vision sensor 4 into a normalized image by homography conversion based on the two-dimensional coordinates M g i of the plurality of image markers M.
  • an image of the flat region L Mi ⁇ is generated by converting the normalized image into an HSV image (steps S220 and S230 in FIG. 4). This makes it possible to further improve the accuracy and robustness of template matching using the first and second template images.
  • the position / posture estimation unit 43 of the position information processing unit 40 determines the two-dimensional position of the HSV image of the planar region L Mi ⁇ and the position where the correlation degree p is maximum. Based on the coordinates, a plurality of sums of luminance values of pixels located on the same circumference are calculated, and two-dimensional coordinates in the plane coordinate system of the center of the circumference where the sum of luminance values is maximized (figure Step S300 in 4). Then, the position information calculation unit 44 of the position information processing unit 40 obtains three-dimensional coordinates and rotational attitude in the sensor coordinate system of the test tube TT from the two-dimensional coordinates acquired by the position and attitude estimation unit 43 (step in FIG.
  • the image stored in the image database 31, the image of the flat area L Mi ⁇ , and the first and second template images may be color space images other than HSV images such as RGB images and grayscale images.
  • the position information processing unit 40 of the robot control device 10 sets the value as the distance from the position at which the correlation degree p becomes maximum decreases for each test tube TT present in the test tube rack 100 based on the correlation degree p.
  • a plurality of first indices P for which the value is reduced are calculated (step S320 in FIG. 4), and the calculated first indices P are displayed on the display 60 together with the image showing the test tube rack 100 using the color temperature that can be visually grasped. (Step S340 in FIG. 4).
  • the position information processing unit 40 of the robot control device 10 decreases the moving distance L from the current position of the robot hand of the robot 1 for each test tube TT present in the test tube rack 100 and decreases the first index P
  • the second index Q which becomes larger as L increases, is calculated, and the access order of the robot hand to the test tube TT present in the test tube rack 100 is set based on the calculated second index Q (step S330 in FIG. 4). This makes it possible to further improve the working efficiency of the processing of test tubes TT using the robot 1.
  • the position information processing unit 40 of the robot control device 10 causes the display device 60 to display the second indicator Q together with the image showing the test tube rack 100 using the color temperature at which the second index Q can be visually grasped (step of FIG. 4) S340).
  • the display device 60 causes the display device 60 to display the second indicator Q together with the image showing the test tube rack 100 using the color temperature at which the second index Q can be visually grasped (step of FIG. 4) S340).
  • the robot control apparatus 10 it becomes possible to acquire the positional information in the test tube rack 100 of the bottomed cylindrical test tube TT which is hard to attach the image marker M at high speed and accurately.
  • the operation target of the robot 1 controlled by the robot control device 10 is not limited to the bottomed cylindrical container.
  • the invention of the present disclosure can be used in industries that use robots.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

位置情報取得装置は、視覚センサにより取得された画像から保管部に付与された複数のマーカーの平面座標系における２次元座標を取得し、当該２次元座標から定まる平面領域の重心のセンサ座標系における３次元座標および回転姿勢を取得し、平面領域の画像と、上記重心の３次元座標等に対応した第１テンプレート画像とのテンプレートマッチングにより操作対象物の存否を判別し、存在する操作対象物ごとに、平面領域の画像と、平面視した保管部および操作対象物を示す第２テンプレート画像とのテンプレートマッチングにより得られる相関度が最大になる位置の２次元座標を取得し、当該２次元座標から操作対象物の３次元座標および回転姿勢を取得する。

Description

位置情報取得装置およびそれを備えたロボット制御装置
　本開示は、視覚センサを有するロボットの操作対象物を複数保管可能な保管部における当該操作対象物の位置情報を取得する位置情報取得装置およびそれを備えたロボット制御装置に関する。
　従来、対象物体を撮像して画像データを生成する撮像部と、撮像部を可動に支持するロボット本体と、テンプレート情報記憶部と、位置姿勢データ生成部とを含むロボット装置が知られている（例えば、特許文献１参照）。このロボット装置のテンプレート情報記憶部は、リファレンスに対する撮像部からの視線方向ごとに、視線方向に対する面のテンプレート画像データと、ロボット座標系における面の位置および姿勢を表す情報と、ロボット座標系における撮像部および姿勢を表す情報とを含むテンプレート情報を記憶する。そして、位置姿勢データ生成部は、撮像部が生成した画像データに含まれる対象物体の画像から可視である面を検出すると共に、テンプレート情報記憶部から可視である面に対応するテンプレート情報を読み込み、テンプレート情報に基づいてロボット座標系における対象物体の位置および姿勢を表す位置姿勢データを生成する。
　また、従来、患者サンプルを効率的に処理するためのシステムとして、サンプルコンテナホルダのサンプルコンテナの１つ以上の画像を得るように構成された画像取得デバイスと、画像取得デバイスに接続された画像分析デバイスと、サンプルコンテナホルダから画像分析デバイスの分析結果に応じたサンプルコンテナを選択可能なロボットアーム（グリッパ）とを含むものも知られている（例えば、特許文献２参照）。このシステムの画像分析デバイスは、プロセッサによって、サンプルコンテナホルダおよびサンプルコンテナホルダの中のサンプルコンテナの画像を分析し、サンプルコンテナの管キャップインジケータが遠心分離インジケータおよび緊急サンプルインジケータの何れであるかを判別する。
特開２０１２－１８５７５２号公報 特表２０１４－５３２８８０号公報
　上記特許文献１に記載されたようなテンプレートマッチングを用いることで、ロボット装置の撮像部により取得された画像からロボット座標系における対象物体（操作対象物）の位置および姿勢を求めることができる。更に、ロボットの操作対象物に対して特許文献２に記載された管キャップインジケータのようなマーカーを付与しておくことで、画像取得デバイスにより取得された画像から複数の操作対象物の位置および姿勢をより精度よく求めることができるであろう。しかしながら、操作対象物の数や形状、材質といった特性によっては、上述のようなマーカーを当該操作対象物のすべてに付与することが困難となる。また、複数の操作対象物のそれぞれにマーカーを付与し得たとしても、画像中のマーカーの認識処理における演算負荷や処理速度が増大化してしまい、操作対象物の位置情報を高速かつ精度よく取得することが困難となる。
　そこで、本開示は、視覚センサを有するロボットの操作対象物にマーカーを付与することなく、保管部における操作対象物の位置情報を高速かつ精度よく取得可能にすることを主目的とする。
　本開示の位置情報取得装置は、視覚センサを有するロボットの操作対象物を複数保管可能な保管部における前記操作対象物の位置情報を取得する位置情報取得装置であって、前記視覚センサにより取得された前記保管部の画像から前記保管部に付与された複数のマーカーの前記画像の平面座標系における２次元座標を取得すると共に、前記複数のマーカーの前記２次元座標から定まる平面領域の重心のセンサ座標系における３次元座標および回転姿勢を取得する第１座標姿勢取得部と、前記視覚センサにより取得された前記画像と、前記複数のマーカーの前記２次元座標とに基づいて、前記平面領域の画像を生成する平面領域画像生成部と、前記操作対象物を全数保管している前記保管部の複数の角度から撮影された複数の画像に基づいて、前記平面領域の前記重心の前記３次元座標および回転姿勢に対応した第１テンプレート画像を生成するテンプレート生成部と、前記平面領域の前記画像と前記第１テンプレート画像とのテンプレートマッチングにより前記操作対象物の存否を判別すると共に、前記保管部に存在する前記操作対象物ごとに、前記平面領域の前記画像と、平面視した前記保管部および前記操作対象物を示す第２テンプレート画像とのテンプレートマッチングにより得られる相関度が最大になる位置の前記平面座標系における２次元座標を取得し、取得した前記２次元座標に基づいて前記操作対象物の前記センサ座標系における３次元座標および回転姿勢を前記位置情報として取得する第２座標姿勢取得部とを含むものである。
　本開示の位置情報取得装置の第１座標姿勢取得部は、視覚センサにより取得された保管部の画像から当該保管部に付与された複数のマーカーの当該画像の平面座標系における２次元座標を取得すると共に、当該複数のマーカーの２次元座標から定まる平面領域の重心のセンサ座標系における３次元座標および回転姿勢を取得する。また、平面領域画像生成部は、視覚センサにより取得された画像と、複数のマーカーの２次元座標とに基づいて、当該平面領域の画像を生成する。更に、テンプレート生成部は、操作対象物を全数保管している保管部の複数の角度から撮影された複数の画像に基づいて、平面領域の重心の３次元座標および回転姿勢に対応した第１テンプレート画像を生成する。また、第２座標姿勢取得部は、上記平面領域の画像と第１テンプレート画像とのテンプレートマッチングにより操作対象物の存否を判別する。更に、第２座標姿勢取得部は、保管部に存在する操作対象物ごとに、平面領域の画像と、平面視した保管部および操作対象物を示す第２テンプレート画像とのテンプレートマッチングにより得られる相関度が最大になる位置の平面座標系における２次元座標を取得する。そして、第２座標姿勢取得部は、取得した２次元座標に基づいて操作対象物のセンサ座標系における３次元座標および回転姿勢を位置情報として取得する。
　このように、本開示の位置情報取得装置は、保管部に付与された比較的少数のマーカーに基づいて生成された平面領域の画像と、第１および第２テンプレート画像とのテンプレートマッチングを実行することで、操作対象物のセンサ座標系における３次元座標および回転姿勢を取得する。これにより、操作対象物にマーカーを付与する必要がなくなり、視覚センサにより取得された画像中のマーカーの認識処理における演算負荷や処理速度を大幅に低減化することが可能となる。更に、第１および第２テンプレート画像を用いたテンプレートマッチングを実行することで、操作対象物のセンサ座標系における３次元座標および回転姿勢を高精度に取得することができる。この結果、視覚センサを有するロボットの操作対象物にマーカーを付与することなく、保管部における操作対象物の位置情報を高速かつ精度よく取得することが可能となる。
　また、前記平面領域画像生成部は、前記視覚センサにより取得された画像を前記複数のマーカーの前記２次元座標に基づくホモグラフィ変換により正規化画像に変換すると共に、前記正規化画像を所定の色空間画像に変換することにより前記平面領域の前記画像を生成するものであってもよい。これにより、第１および第２テンプレート画像を用いたテンプレートマッチングの精度およびロバスト性をより向上させることが可能となる。
　更に、前記第２座標姿勢取得部は、前記保管部に存在する前記操作対象物ごとに、前記平面領域の前記画像と、前記相関度が最大になる位置の前記２次元座標とに基づいて、同一円周上に位置するピクセルの輝度値の和を複数算出すると共に、前記輝度値の和が最大になる円周の中心の前記平面座標系における２次元座標を取得し、取得した前記２次元座標から前記操作対象物の前記センサ座標系における３次元座標および回転姿勢を取得するものであってもよい。これにより、上記平面領域における操作対象物の２次元座標をより精度よく取得することができるので、操作対象物のセンサ座標系における３次元座標および回転姿勢をより一層精度よく取得することが可能となる。
　また、前記第２座標姿勢取得部は、前記保管部に存在する前記操作対象物ごとに、前記相関度に基づいて該相関度が最大になる位置からの距離が減少するにつれて値が小さくなる第１指標を複数算出し、算出した前記第１指標を視覚的に把握可能な態様で前記保管部を示す画像と共に表示装置に表示させるものであってもよい。これにより、ロボットを用いた操作対象物への処理を管理する作業者に対して、有用な操作対象物の位置情報をわかりやすく提供することが可能となり、ロボットを用いた操作対象物への処理の作業効率をより向上させることができる。
　更に、前記第２座標姿勢取得部は、前記保管部に存在する前記操作対象物ごとに、前記ロボットのロボットハンドの現在位置からの移動距離が長いほど小さくなると共に前記第１指標が大きいほど大きくなる第２指標を算出し、算出した前記第２指標に基づいて前記保管部に存在する前記操作対象物への前記ロボットハンドのアクセス順序を設定するものであってもよい。これにより、ロボットを用いた操作対象物への処理の作業効率をより向上させることが可能となる。
　また、前記第２座標姿勢取得部は、前記第２指標を視覚的に把握可能な態様で前記保管部を示す画像と共に前記表示装置に表示させるものであってもよい。これにより、ロボットを用いた操作対象物への処理を管理する作業者に対して、ロボットハンドのアクセス順序に関する有用な情報をわかりやすく提供することができるので、ロボットを用いた操作対象物への処理の作業効率をより一層向上させることが可能となる。
　更に、前記操作対象物は、開口が上方に位置するように前記保管部により保持される有底筒状の容器であってもよい。すなわち、本開示の位置情報取得装置は、マーカーを付与し難い有底筒状の容器の保管部における位置情報を取得するのに極めて有用である。ただし、本開示における操作対象物は、このような容器に限られるものではない。
　本開示のロボット制御装置は、上記何れかの位置情報取得装置を含み、前記第２座標姿勢取得装置により取得された前記操作対象物の前記センサ座標系における３次元座標および回転姿勢に基づいて前記ロボットを制御するものであってもよい。これにより、高速かつ高精度なロボットによる作業を実現することが可能となる。
本開示のロボット制御装置を含むロボット装置を示す概略構成図である。 図１に示すロボット装置の制御ブロック図である。 本開示のロボット制御装置により実行されるルーチンを示すフローチャートである。 本開示のロボット制御装置により実行される他のルーチンを示すフローチャートである。 本開示のロボット制御装置に接続された表示装置に表示される画像を例示する説明図である。
　次に、図面を参照しながら、本開示の発明を実施するための形態について説明する。
　図１は、ロボット１および本開示のロボット制御装置１０を含むロボット装置ＲＤを示す概略構成図であり、図２は、ロボット装置ＲＤの制御ブロック図である。図示するように、ロボット１は、保管部としての試験管ラック１００に保管されている多数の試験管ＴＴに対して例えば薬品等の投入といった予め定められた処理を自動的に実行するように本開示のロボット制御装置１０によって制御されるものである。ロボット１の操作対象物である試験管ＴＴは、円形の開口部を有する有底円筒状の容器であり、試験管ラック１００は、複数の保持孔１０１を有する。各保持孔１０１は、試験管ラック１００の上面で開口しており、上方から挿入された試験管ＴＴを保持する。また、本実施形態において、試験管ラック１００の上面は、四角形状を呈しており、当該上面には、少なくとも３つ以上の画像マーカーＭが設けられている。本実施形態では、合計４つの画像マーカーＭが試験管ラック１００の上面の四隅に１つずつ設けられており、各画像マーカーＭは、同一または固有の特徴的なテクスチャパターンを有する。
　ロボット１は、先端部（手先部）に図示しないロボットハンドが装着される多関節アーム機構２と、当該多関節アーム機構２を駆動するアクチュエータ３（図２参照）と、多関節アーム機構２の先端部に取り付けられた視覚センサ４とを含む。多関節アーム機構２に装着されるロボットアームは、例えば試験管ＴＴ内に薬品等を投入するように構成されたものである。ただし、ロボットアームは、これに限られるものではなく、例えば試験管ＴＴを把持して試験管ラック１００の保持孔１０１から挿脱するように構成されたもの等であってもよい。また、本実施形態において、視覚センサ４は、光学式デジタルカメラであり、ロボット制御装置１０からの撮影指令信号に応じて試験管ラック１００を撮影し、当該試験管ラック１００を示す画像データをロボット制御装置１０に与える。ただし、視覚センサ４は、光学式デジタルカメラ以外の撮像装置であってもよい。
　ロボット制御装置１０は、何れも図示しないＣＰＵ，ＲＯＭ，ＲＡＭ、入出力ポート等を有するコンピュータである。図２に示すように、ロボット制御装置１０には、ＣＰＵやＲＯＭ，ＲＡＭといったハードウエアと、ＲＯＭにインストールされた制御プログラムといったソフトウェアとの協働により、平面認識処理部（第１座標姿勢取得部）２０、テンプレート生成部３０、位置情報処理部（第２座標姿勢取得部）４０および動作制御部５０が機能ブロック（モジュール）として構築され、平面認識処理部２０、テンプレート生成部３０および位置情報処理部４０は、本開示の位置情報取得装置を構成する。また、ロボット制御装置１０には、ロボット１による作業に際して各種情報を表示させる液晶モニタ等の表示装置６０が接続されており、ロボット制御装置１０は、当該表示装置６０を制御する図示しない表示制御部を更に含む。
　平面認識処理部２０は、それぞれＣＰＵ等のハードウエアとソフトウェアとの協働により構築されるマーカー認識部２１および平面領域推定部２２を含む。マーカー認識部２１は、視覚センサ４からの試験管ラック１００を示す画像データを解析し、当該画像データから各画像マーカーＭの重心のセンサ座標系における３次元座標および回転姿勢を示すベクトルＭG i（以下、単に「３次元座標および回転姿勢」という。ただし、“ｉ”は、画像マーカーＭに付与された識別子であり、本実施形態では、ｉ＝１，…，４である。）を取得する。ここで、センサ座標系は、視覚センサ４の光学系の光軸を座標軸の１つとして含む右手座標系であり、回転姿勢は、当該光軸に対する傾きを示す。更に、マーカー認識部２１は、取得した画像マーカーＭの３次元座標および回転姿勢ＭG iに基づいて当該画像マーカーＭの重心の画像の平面座標系（ＸＹ座標系）における２次元座標を示すベクトル（以下、単に「２次元座標」という。）Ｍg iを取得する。また、平面領域推定部２２は、マーカー認識部２１により取得された画像マーカーＭの重心の２次元座標Ｍg iに基づいて、画像マーカーＭの２次元座標Ｍg iから定まる四角形状の平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢を取得する。
　テンプレート生成部３０は、平面認識処理部２０の平面領域推定部２２から上記平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢を入力し、試験管ラック１００における試験管ＴＴの存否判定に用いられるテンプレート画像を学習済みニューラルネットワークにより生成するものである。このため、テンプレート生成部３０は、すべての保持孔１０１に試験管ＴＴが挿入された試験管ラック１００を様々な角度から撮影した多数の画像を格納した画像データベース３１を含む。そして、テンプレート生成部３０は、画像データベース３１に格納された画像に基づいて、平面領域推定部２２により取得された平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢に対応した第１テンプレート画像を生成する。本実施形態において、画像データベース３１に格納される画像は、例えばＨＳＶ色空間で一定の色領域のみを抽出・強調した色空間画像（以下、適宜「ＨＳＶ画像」という。）に変換されている。また、画像データベース３１に格納される画像には、試験管ＴＴが挿入された単一の保持孔１０１の周辺を真上から撮影して得られた画像をＨＳＶ色空間で一定の色領域のみを抽出・強調した第２テンプレート画像（ＨＳＶ画像）が含まれている。
　位置情報処理部４０は、それぞれＣＰＵ等のハードウエアとソフトウェアとの協働により構築される平面領域画像生成部４１、存否判定部４２、位置姿勢推定部４３および位置情報演算部４４を含む。平面領域画像生成部４１は、視覚センサ４からの画像データと、平面認識処理部２０により取得された画像マーカーＭの重心の２次元座標Ｍg iとに基づいて、上記平面領域ＬMi＾の画像（平面画像）を生成する。存否判定部４２は、平面領域画像生成部４１により生成された画像とテンプレート生成部３０により生成された第１テンプレート画像とのテンプレートマッチングを実行し、試験管ラック１００における試験管ＴＴの存否を判定する。
　位置情報処理部４０の位置姿勢推定部４３は、平面領域画像生成部４１により生成された画像と、テンプレート生成部３０の画像データベース３１に格納された第２テンプレート画像とのテンプレートマッチングを実行し、試験管ラック１００に存在する試験管ＴＴごとに、開口部の中心（重心）の上記画像の平面座標系における２次元座標を取得する。位置情報演算部４４は、位置姿勢推定部４３により取得された２次元座標等に基づいて、試験管ラック１００に存在する試験管ＴＴの開口部の中心のセンサ座標系における３次元座標および回転姿勢といった位置情報を算出する。
　動作制御部５０は、それぞれＣＰＵ等のハードウエアとソフトウェアとの協働により構築される位置姿勢補正部５１および関節角度演算部５２を含む。位置姿勢補正部５１は、位置情報処理部４０（位置情報演算部４４）により取得された試験管ＴＴの開口部の中心のセンサ座標系における３次元座標および回転姿勢をロボット１の手先座標系における座標および回転姿勢に変換する。関節角度演算部５２は、位置姿勢補正部５１により取得された座標および回転姿勢に基づいて、多関節アーム機構２の各関節の角度を算出すると共に、算出した各関節の角度に基づいて当該多関節アーム機構２を駆動するアクチュエータ３を制御する。
　次に、図３から図５を参照しながら、ロボット制御装置１０における演算処理の手順について説明する。
　図３は、ロボット制御装置１０の平面認識処理部２０により実行されるルーチンの一例を示すフローチャートである。平面認識処理部２０は、作業者によるロボット１の作業開始指令に応じて視覚センサ４に撮影指令信号を送信し、当該視覚センサ４から試験管ラック１００を示す画像データを入力する（ステップＳ１００）。以下、ステップＳ１００にて入力される画像データを適宜「初期画像データ」という。次いで、平面認識処理部２０（マーカー認識部２１）は、入力した画像データの解析を行い、試験管ラック１００に付与された複数の画像マーカーＭの少なくとも何れか１つが検出されたか否かを判定する（ステップＳ１１０）。ステップＳ１１０にて試験管ラック１００に付与された画像マーカーＭが検出されなかったと判定した場合（ステップＳ１１０：ＮＯ）、平面認識処理部２０は、視覚センサ４に撮影指令信号を再度送信し、当該視覚センサ４から画像データを再度入力する（ステップＳ１００）。なお、画像データからの画像マーカーＭの検出には、「拡張現実感システム構築ツールARToolKitの開発」（加藤　博一、Technical report of IEICE. PRMU 101(652), 79-86, 2002-02-14）に記載された手法を用いることができる。
　ステップＳ１１０にて試験管ラック１００に付与された少なくとも何れか１つの画像マーカーＭが検出されたと判定した場合（ステップＳ１１０：ＹＥＳ）、平面認識処理部２０（マーカー認識部２１）は、検出された画像マーカーＭの重心のセンサ座標系における３次元座標および回転姿勢ＭG iを取得する（ステップＳ１２０）。また、ステップＳ１２０において、平面認識処理部２０（マーカー認識部２１）は、画像マーカーＭの３次元座標および回転姿勢ＭG iに基づいて当該画像マーカーＭの重心の画像の平面座標系（ＸＹ座標系）における２次元座標Ｍg iを取得する。２次元座標Ｍg iは、画像マーカーＭの３次元座標および回転姿勢ＭG iに基づく画像解析により取得された画像マーカーＭの４つのコーナー部の画像上における２次元座標から求められる。
　更に、ステップＳ１２０において、平面認識処理部２０（平面領域推定部２２）は、画像マーカーＭの重心の２次元座標Ｍg iに基づいて、画像マーカーＭの２次元座標Ｍg iから定まる平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢を取得する。マーカー認識部２１によって試験管ラック１００の全画像マーカーＭ（本実施形態では、４つ）の重心の２次元座標Ｍg iが取得されている場合、平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢は、すべての画像マーカーＭの重心の２次元座標Ｍg iから定まる四角形状の平面領域ＬMi＾の重心をマーカー認識部２１により取得された各画像マーカーＭの３次元座標および回転姿勢ＭG iに基づいてセンサ座標系に射影することにより求められる。また、マーカー認識部２１によって試験管ラック１００の全画像マーカーＭの重心の２次元座標Ｍg iが取得されていない場合、平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢は、予め判明している試験管ラック１００の上面の平面形状と、マーカー認識部２１により取得された画像マーカーＭの重心の３次元座標および回転姿勢ＭG i並びに２次元座標Ｍg iとに基づいて推定される。
　ステップＳ１２０の処理の後、平面認識処理部２０は、視覚センサ４に撮影指令信号を再度送信し、当該視覚センサ４から画像データを入力する（ステップＳ１３０）。以下、ステップＳ１３０にて入力される画像データを適宜「次画像データ」という。更に、平面認識処理部２０（マーカー認識部２１）は、ステップＳ１３０にて入力した次画像データと、ステップＳ１２０にて取得した画像マーカーＭの重心の３次元座標および回転姿勢ＭG iとに基づくパーティクルフィルタ処理により、次画像データにおける画像マーカーＭの重心の３次元座標および回転姿勢ＭG iを推定する（ステップＳ１４０）。ステップＳ１３０にて用いられるパーティクルフィルタは、「複合現実感のための２次元矩形マーカーを用いたカメラ追跡の精度向上」（植松裕子ら、「画像の認識・理解シンポジウム（MIRU2007）」２００７年７月）に記載されたものを並進運動に関する推定が可能となるように改変したものである。また、ステップＳ１４０において、平面認識処理部２０は、ステップＳ１２０と同様にして、推定した次画像データにおける画像マーカーＭの重心の３次元座標および回転姿勢ＭG iに基づいて次画像データにおける画像マーカーＭの重心の２次元座標Ｍg iと、当該２次元座標Ｍg iから定まる平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢とを取得する。
　ステップＳ１４０にて上記次画像データにおける画像マーカーＭの重心の三次元的位置および回転姿勢ＭG iを推定した後、平面認識処理部２０（マーカー認識部２１）は、ステップＳ１３０にて取得した次画像データにおける画像マーカーＭの重心の３次元座標および回転姿勢ＭG iから尤度を算出し（ステップＳ１５０）、算出した尤度が閾値以上であるか否かを判定する（ステップＳ１６０）。ステップＳ１５０において、尤度は、画像マーカーＭの輪郭情報に加えて、画像マーカーＭと外部環境との関係や、画像マーカーＭのテクスチャパターンと入力画像の類似度を考慮した画像マーカーＭの輪郭に対して垂直な方向のテクスチャパターン検出評価関数を用いて算出される。また、ステップＳ１６０にて用いられる閾値は、次画像データにおける画像マーカーＭの重心の３次元座標および回転姿勢ＭG iの推定に要する時間に応じて変更されるとよい。
　ステップＳ１６０にて尤度が閾値以上であると判定した場合（ステップＳ１６０：ＹＥＳ）、平面認識処理部２０は、ステップＳ１４０にて推定された次画像データにおける画像マーカーＭの重心の３次元座標および回転姿勢ＭG i、画像マーカーＭの重心の２次元座標Ｍg i、並びに当該２次元座標Ｍg iから定まる平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢を図示しないＲＡＭに格納する。また、ステップＳ１６０にて尤度が閾値未満であると判定した場合（ステップＳ１６０：ＮＯ）、平面認識処理部２０は、ステップＳ１２０にて取得した初期画像データにおける画像マーカーＭの重心の３次元座標および回転姿勢ＭG i、画像マーカーＭの重心の２次元座標Ｍg i、並びに当該２次元座標Ｍg iから定まる平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢を図示しないＲＡＭに格納する。
　ステップＳ１７０またはＳ１８０の処理の後、平面認識処理部２０は、作業者によりロボット１の動作開始指令がなされたか否かを判定し（ステップＳ１９０）、当該動作開始指令がなされていないと判定した場合、（ステップＳ１９０：ＮＯ）上述のステップＳ１００以降の処理を再度実行する。これに対して、ステップＳ１９０にて作業者によりロボット１の動作開始指令がなされたと判定した場合（ステップＳ１９０：ＹＥＳ）、その時点で図３のルーチンを終了させる。
　図４は、作業者によるロボット１の動作開始指令に応じて、ロボット制御装置１０の位置情報処理部４０により実行されるルーチンの一例を示すフローチャートである。図４のルーチンの開始に際し、位置情報処理部４０（平面領域画像生成部４１）は、平面認識処理部２０により図示しないＲＡＭに格納された画像マーカーＭの重心の３次元座標および回転姿勢ＭG i、画像マーカーＭの重心の２次元座標Ｍg i、並びに当該２次元座標Ｍg iから定まる平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢を入力する（ステップＳ２００）。次いで、処理に必要なデータを取得し得たか否かを判定し（ステップＳ２１０）、処理に必要なデータが取得されていない場合（ステップＳ２１０：ＮＯ）、その時点で図４のルーチンを終了させ、図３のルーチンの再実行を指示する。
　ステップＳ２１０にて処理に必要なデータを取得し得たと判定した場合（ステップＳ２１０：ＹＥＳ）、位置情報処理部４０（平面領域画像生成部４１）は、ステップＳ２００にて読み出した画像マーカーＭの重心の２次元座標Ｍg iに対応した初期画像データまたは次画像データを当該２次元座標Ｍg iに基づくホモグラフィ変換により正規化画像に変換する（ステップＳ２２０）。ステップＳ２２０にて用いられるホモグラフィ変換としては、「単眼動画像からの可展面物体の３次元変形とその展開テクスチャの復元」（柴山　裕樹ら、「画像の認識・理解シンポジウム（MIRU2011）」２０１１年７月）に記載されたものを用いることができる。更に、位置情報処理部４０（平面領域画像生成部４１）は、ステップＳ２２０にて得られた正規化画像をＨＳＶ画像に変換することにより平面領域ＬMi＾の画像を生成する（ステップＳ２３０）。
　続いて、位置情報処理部４０（存否判定部４２）は、ステップＳ２００にて読み出した平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢に対応した第１テンプレート画像の生成をテンプレート生成部３０に要求し、当該テンプレート生成部３０により生成された第１テンプレート画像を取得する（ステップＳ２４０）。第１テンプレート画像を取得した後、位置情報処理部４０（存否判定部４２）は、平面領域ＬMi＾のＨＳＶ画像と第１テンプレート画像とのテンプレートマッチングを実行する（ステップＳ２５０）。ステップＳ２５０では、平面領域ＬMi＾のＨＳＶ画像を第１テンプレート画像により走査しながら、両画像の輝度値の平均値を考慮した明るさの変動に強い正規化相互相関値を求めると共に、当該正規化相互相関値と閾値を比較することにより試験管ＴＴの存否が判別される。かかるテンプレートマッチングに際して、平面領域ＬMi＾の画像と第１テンプレート画像とをＨＳＶ色空間で一定の色領域のみを抽出・強調したＨＳＶ画像とすることで、ノイズの影響を低減化することができる。
　ステップＳ２５０におけるテンプレートマッチングの実行後、位置情報処理部４０（存否判定部４２）は、試験管ラック１００に試験管ＴＴが存在しているか否かを判定する（ステップＳ２６０）。ステップＳ２６０にて試験管ラック１００に試験管ＴＴが存在していないと判定した場合（ステップＳ２６０：ＮＯ）、位置情報処理部４０（存否判定部４２）は、その時点で図４のルーチンを終了させる。この場合、位置情報処理部４０は、図４のルーチンの終了後、表示装置６０に所定のエラー表示を表示させる等の予め定められた処理を実行する。
　一方、ステップＳ２６０にて試験管ラック１００に試験管ＴＴが存在していると判定した場合（ステップＳ２６０：ＹＥＳ）、位置情報処理部４０（位置姿勢推定部４３）は、テンプレート生成部３０から、平面視した試験管ＴＴおよび試験管ラック１００の一部を示す上述の第２テンプレート画像を入力し（ステップＳ２７０）、平面領域ＬMi＾のＨＳＶ画像と第２テンプレート画像とのテンプレートマッチングを実行する（ステップＳ２８０）。ステップＳ２８０では、存在が確認された試験管ＴＴごとに、平面領域ＬMi＾のＨＳＶ画像を第２テンプレート画像により走査しながら、両画像の相関度ｐが求められる。
　ステップＳ２８０のテンプレートマッチングにより上記相関度ｐを得た後、位置情報処理部４０（位置姿勢推定部４３）は、試験管ラック１００に存在する試験管ＴＴごとに、平面領域ＬMi＾のＨＳＶ画像と第２テンプレート画像との相関度ｐが最大になる位置の上記平面座標系における２次元座標を取得する（ステップＳ２９０）。更に、位置情報処理部４０（位置姿勢推定部４３）は、試験管ラック１００に存在する試験管ＴＴごとに、ステップＳ２９０にて取得した２次元座標を含む所定の２次元領域内で円の中心位置と半径とを変化させながら同一円周上に位置するピクセルの輝度値の和を複数算出すると共に、輝度値の和が最大になる円周の中心の上記平面座標系における２次元座標および半径を取得し、取得した２次元座標を当該試験管ＴＴの開口部中心の２次元座標とする（ステップＳ３００）。これにより、平面領域ＬMi＾のＨＳＶ画像と第２テンプレート画像とのテンプレートマッチングにより得られた相関度ｐに基づく２次元座標が画像の輝度値により補正された上で試験管ＴＴの開口部中心の２次元座標として取得されることになる。
　そして、位置情報処理部４０（位置情報演算部４４）は、ステップＳ３００にて取得した試験管ＴＴの開口部中心の２次元座標をマーカー認識部２１により取得された各画像マーカーＭの３次元座標および回転姿勢ＭG iに基づいてセンサ座標系に射影することにより、当該開口部中心の３次元座標および回転姿勢を算出する（ステップＳ３１０）。更に、位置情報処理部４０（位置情報演算部４４）は、作業者の便に供するための第１指標Ｐ（ｒ）を算出する（ステップＳ３２０）。ステップＳ３２０において、第１指標Ｐは、試験管ＴＴの開口部中心でステップＳ２８０のテンプレートマッチングにより得られた相関度ｐが最大になるとの仮定のもと、当該開口部中心からの距離ｒが減少するにつれて値が小さくなるように、次式（１）に従って試験管ラック１００に存在する試験管ＴＴごとに複数算出される。本実施形態において、第１指標Ｐの算出に際し、距離ｒは、ステップＳ３００にて取得された輝度値の和が最大になる円周の半径を最大として、所定間隔で変化させられる。
　Ｐ＝ｐ－α×ｒ　…（１）
　また、位置情報処理部４０（位置情報演算部４４）は、ロボット１のロボットハンドの現在位置からの移動距離Ｌと上記第１指標Ｐとに基づいてロボット１による処理の作業効率を向上させるための第２指標Ｑを算出する（ステップＳ３３０）。ステップＳ３３０において、第２指標Ｑは、試験管ラック１００に存在する試験管ＴＴの開口部中心ごとに、ロボット１のロボットハンドの現在位置からの移動距離Ｌが長いほど小さくなると共に上記第１指標Ｐが大きいほど大きくなるように次式（２）に従って算出される。式（２）において、係数ａは、予め定められた負の一定値であり、係数ｂは、予め定められた正の一定値である。ステップＳ３３０では、試験管ラック１００に存在する試験管ＴＴごとに、ロボットハンドの停止位置（待機位置）を基準として開口部中心における第２指標Ｑが算出される。更に、ステップＳ３３０では、算出された第２指標Ｑを最大にする開口部中心の２次元座標に対応した試験管ＴＴがロボットハンドの最初の移動先として定められ、以後、第２指標Ｑの大きい順に、試験管ラック１００に存在する試験管ＴＴへのロボットハンドのアクセス順序が定められる。
　Ｑ＝ａ×Ｌ＋ｂ×Ｐ　…（２）
　ステップＳ３３０の処理の完了後、位置情報処理部４０（位置情報演算部４４）は、算出した試験管ラック１００に存在する試験管ＴＴ（開口部中心）の３次元座標および回転姿勢やロボットハンドのアクセス順序といった位置情報を動作制御部５０に送信すると共に、試験管ラック１００に存在する試験管ＴＴ（開口部中心）の２次元座標や第１指標Ｐおよび第２指標Ｑを表示装置６０の表示制御部（図示省略）に送信し（ステップＳ３４０）、図４のルーチンを終了させる。動作制御部５０は、位置情報処理部４０から受け取った３次元座標および回転姿勢に基づいて多関節アーム機構２の各関節の角度を算出し、上述のアクセス順序に従って多関節アーム機構２を駆動するアクチュエータ３を制御する。
　また、位置情報処理部４０から位置情報としての第１および第２指標Ｐ，Ｑ等を受け取った図示しない表示制御部は、第１および第２指標Ｐ，Ｑを視覚的に把握可能な態様で試験管ラック１００および試験管ＴＴを示す画像（例えば、上述の平面領域ＬMi＾の画像）と共に表示装置６０に表示させる。本実施形態において、第１指標Ｐの値は、図５に示すように、値が大きいほど赤みが増し、小さいほど青みが増すように色温度を用いて試験管ラック１００を示す画像上の試験管ＴＴが存在する箇所に表示される。同様に、第２指標Ｑも色温度に対応づけられ、試験管ラック１００を示す画像上の試験管ＴＴが存在する箇所の表示色は、第２指標Ｑの値が大きいほど赤みが増し、小さいほど青みが増すように設定される。
　以上説明したように、ロボット制御装置１０の平面認識処理部２０（第１座標姿勢取得部）は、視覚センサ４により取得された試験管ラック１００の画像から当該試験管ラック１００に付与された複数の画像マーカーＭの当該画像の平面座標系における２次元座標Ｍg iを取得すると共に、当該複数のマーカーの２次元座標から定まる平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢を取得する（図３のステップＳ１００～Ｓ１９０）。また、位置情報処理部４０（第２座標姿勢取得部）の平面領域画像生成部４１は、視覚センサ４により取得された画像と、複数の画像マーカーＭの２次元座標Ｍg iとに基づいて、平面領域ＬMi＾の画像（ＨＳＶ画像）を生成する（図４のステップＳ２２０，Ｓ２３０）。
　更に、テンプレート生成部３０は、位置情報処理部４０の存否判定部４２からの要求に応じて、すべての保持孔１０１に試験管ＴＴが挿入された試験管ラック１００を様々な角度から撮影した多数の画像に基づいて、平面領域ＬMi＾の重心のセンサ座標系における３次元座標および回転姿勢に対応した第１テンプレート画像を生成する（図４のステップＳ２４０）。また、位置情報処理部４０の存否判定部４２は、平面領域ＬMi＾のＨＳＶ画像と第１テンプレート画像とのテンプレートマッチングにより試験管ラック１００における試験管ＴＴの存否を判別する（図４のステップＳ２５０）。更に、位置情報処理部４０の位置姿勢推定部４３は、存在が確認された試験管ＴＴごとに、平面領域ＬMi＾のＨＳＶ画像と、平面視した試験管ＴＴおよび試験管ラック１００の一部を示す第２テンプレート画像とのテンプレートマッチングを実行し（図４のステップＳ２７０，Ｓ２８０）、当該テンプレートマッチングにより得られる相関度ｐが最大になる位置の上記平面座標系における２次元座標を取得する（図４のステップＳ２９０，Ｓ３００）。そして、位置情報処理部４０の位置情報演算部４４は、取得した２次元座標に基づいて試験管ＴＴのセンサ座標系における３次元座標および回転姿勢を位置情報として取得する（図４のステップＳ３１０）。
　このように、ロボット制御装置１０は、試験管ラック１００に付与された比較的少数の画像マーカーＭに基づいて生成された平面領域ＬMi＾の画像と、第１および第２テンプレート画像とのテンプレートマッチングを実行することで、試験管ＴＴのセンサ座標系における３次元座標および回転姿勢を取得する。これにより、各試験管ＴＴに画像マーカーＭを付与する必要がなくなり、視覚センサ４により取得された画像中の画像マーカーＭの認識処理における演算負荷や処理速度を大幅に低減化することが可能となる。更に、上述のような第１および第２テンプレート画像を用いたテンプレートマッチングを実行することで、試験管ＴＴのセンサ座標系における３次元座標および回転姿勢を高精度に取得することができる。この結果、視覚センサ４を有するロボット１の操作対象物である試験管ＴＴに画像マーカーＭを付与することなく、試験管ラック１００における試験管ＴＴの位置情報を高速かつ精度よく取得することが可能となり、高速かつ高精度なロボットによる作業を実現することができる。
　また、位置情報処理部４０の平面領域画像生成部４１は、視覚センサ４により取得された画像データを複数の画像マーカーＭの２次元座標Ｍg iに基づくホモグラフィ変換により正規化画像に変換すると共に、正規化画像をＨＳＶ画像に変換することにより平面領域ＬMi＾の画像を生成する（図４のステップＳ２２０，Ｓ２３０）。これにより、第１および第２テンプレート画像を用いたテンプレートマッチングの精度およびロバスト性をより向上させることが可能となる。
　更に、位置情報処理部４０の位置姿勢推定部４３は、試験管ラック１００に存在する試験管ＴＴごとに、平面領域ＬMi＾のＨＳＶ画像と、上記相関度ｐが最大になる位置の２次元座標とに基づいて、同一円周上に位置するピクセルの輝度値の和を複数算出すると共に、輝度値の和が最大になる円周の中心の平面座標系における２次元座標を取得する（図４のステップＳ３００）。そして、位置情報処理部４０の位置情報演算部４４は、位置姿勢推定部４３により取得された２次元座標から試験管ＴＴのセンサ座標系における３次元座標および回転姿勢を取得する（図４のステップＳ３１０）。これにより、平面領域ＬMi＾における試験管ＴＴの２次元座標をより精度よく取得することができるので、当該試験管ＴＴのセンサ座標系における３次元座標および回転姿勢をより一層精度よく取得することが可能となる。なお、画像データベース３１に格納される画像や、平面領域ＬMi＾の画像、第１および第２テンプレート画像は、例えばＲＧＢ画像やグレースケール画像といったＨＳＶ画像以外の色空間画像であってもよい。
　また、ロボット制御装置１０の位置情報処理部４０は、試験管ラック１００に存在する試験管ＴＴごとに、相関度ｐに基づいて当該相関度ｐが最大になる位置からの距離が減少するにつれて値が小さくなる第１指標Ｐを複数算出し（図４のステップＳ３２０）、算出した第１指標Ｐを視覚的に把握可能な色温度を用いて試験管ラック１００を示す画像と共に表示装置６０に表示させる（図４のステップＳ３４０）。これにより、ロボット１を用いた試験管ＴＴへの処理を管理する作業者に対して、有用な当該試験管ＴＴの位置情報をわかりやすく提供することが可能となり、ロボット１を用いた処理の作業効率をより向上させることが可能となる。
　更に、ロボット制御装置１０の位置情報処理部４０は、試験管ラック１００に存在する試験管ＴＴごとに、ロボット１のロボットハンドの現在位置からの移動距離Ｌが長いほど小さくなると共に第１指標Ｐが大きいほど大きくなる第２指標Ｑを算出し、算出した第２指標Ｑに基づいて試験管ラック１００に存在する試験管ＴＴへのロボットハンドのアクセス順序を設定する（図４のステップＳ３３０）。これにより、ロボット１を用いた試験管ＴＴへの処理の作業効率をより向上させることが可能となる。
　加えて、ロボット制御装置１０の位置情報処理部４０は、第２指標Ｑを視覚的に把握可能な色温度を用いて試験管ラック１００を示す画像と共に表示装置６０に表示させる（図４のステップＳ３４０）。これにより、ロボット１を用いた試験管ＴＴへの処理を管理する作業者に対して、ロボットハンドのアクセス順序に関する有用な情報をわかりやすく提供することができるので、ロボット１を用いた処理の作業効率をより一層向上させることが可能となる。
　そして、ロボット制御装置１０によれば、画像マーカーＭを付与し難い有底筒状の試験管ＴＴの試験管ラック１００における位置情報を高速かつ精度よく取得することが可能となる。ただし、ロボット制御装置１０により制御されるロボット１の操作対象物は、有底筒状の容器に限られるものではない。
　なお、本開示の発明は上記実施形態に何ら限定されるものではなく、本開示の外延の範囲内において様々な変更をなし得ることはいうまでもない。更に、上記実施形態は、あくまで発明の概要の欄に記載された発明の具体的な一形態に過ぎず、発明の概要の欄に記載された発明の要素を限定するものではない。
　本開示の発明は、ロボットを利用する産業等において利用可能である。

Claims (8)

  1. 　視覚センサを有するロボットの操作対象物を複数保管可能な保管部における前記操作対象物の位置情報を取得する位置情報取得装置であって、
    　前記視覚センサにより取得された前記保管部の画像から前記保管部に付与された複数のマーカーの前記画像の平面座標系における２次元座標を取得すると共に、前記複数のマーカーの前記２次元座標から定まる平面領域の重心のセンサ座標系における３次元座標および回転姿勢を取得する第１座標姿勢取得部と、
    　前記視覚センサにより取得された前記画像と、前記複数のマーカーの前記２次元座標とに基づいて、前記平面領域の画像を生成する平面領域画像生成部と、
    　前記操作対象物を全数保管している前記保管部の複数の角度から撮影された複数の画像に基づいて、前記平面領域の前記重心の前記３次元座標および回転姿勢に対応した第１テンプレート画像を生成するテンプレート生成部と、
    　前記平面領域の前記画像と前記第１テンプレート画像とのテンプレートマッチングにより前記操作対象物の存否を判別すると共に、前記保管部に存在する前記操作対象物ごとに、前記平面領域の前記画像と、平面視した前記保管部および前記操作対象物を示す第２テンプレート画像とのテンプレートマッチングにより得られる相関度が最大になる位置の前記平面座標系における２次元座標を取得し、取得した前記２次元座標に基づいて前記操作対象物の前記センサ座標系における３次元座標および回転姿勢を前記位置情報として取得する第２座標姿勢取得部と、
    　を備える位置情報取得装置。
  2. 　請求項１に記載の位置情報取得装置において、
    　前記平面領域画像生成部は、前記視覚センサにより取得された画像を前記複数のマーカーの前記２次元座標に基づくホモグラフィ変換により正規化画像に変換すると共に、前記正規化画像を所定の色空間画像に変換することにより前記平面領域の前記画像を生成する位置情報取得装置。
  3. 　請求項１または２に記載の位置情報取得装置において、
    　前記第２座標姿勢取得部は、前記保管部に存在する前記操作対象物ごとに、前記平面領域の前記画像と、前記相関度が最大になる位置の前記２次元座標とに基づいて、同一円周上に位置するピクセルの輝度値の和を複数算出すると共に、前記輝度値の和が最大になる円周の中心の前記平面座標系における２次元座標を取得し、取得した前記２次元座標から前記操作対象物の前記センサ座標系における前記３次元座標および前記回転姿勢を取得する位置情報取得装置。
  4. 　請求項１から３の何れか一項に記載の位置情報取得装置において、
    　前記第２座標姿勢取得部は、前記保管部に存在する前記操作対象物ごとに、前記相関度に基づいて該相関度が最大になる位置からの距離が減少するにつれて値が小さくなる第１指標を複数算出し、算出した前記第１指標を視覚的に把握可能な態様で前記保管部を示す画像と共に表示装置に表示させる位置情報取得装置。
  5. 　請求項４に記載の位置情報取得装置において、
    　前記第２座標姿勢取得部は、前記保管部に存在する前記操作対象物ごとに、前記ロボットのロボットハンドの現在位置からの移動距離が長いほど小さくなると共に前記第１指標が大きいほど大きくなる第２指標を算出し、算出した前記第２指標に基づいて前記保管部に存在する前記操作対象物への前記ロボットハンドのアクセス順序を設定する位置情報取得装置。
  6. 　請求項５に記載の位置情報取得装置において、
    　前記第２座標姿勢取得部は、前記第２指標を視覚的に把握可能な態様で前記保管部を示す前記画像と共に前記表示装置に表示させる位置情報取得装置。
  7. 　請求項１から６の何れか一項に記載の位置情報取得装置において、
    　前記操作対象物は、開口が上方に位置するように前記保管部により保持される有底筒状の容器である位置情報取得装置。
  8. 　請求項１から７の何れか一項に記載の位置情報取得装置を含むロボット制御装置であって、
    　前記第２座標姿勢取得部により取得された前記操作対象物の前記センサ座標系における前記３次元座標および前記回転姿勢に基づいて前記ロボットを制御するロボット制御装置。
PCT/JP2018/041109 2017-11-09 2018-11-06 位置情報取得装置およびそれを備えたロボット制御装置 WO2019093299A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017216213A JP2019084645A (ja) 2017-11-09 2017-11-09 位置情報取得装置およびそれを備えたロボット制御装置
JP2017-216213 2017-11-09

Publications (1)

Publication Number Publication Date
WO2019093299A1 true WO2019093299A1 (ja) 2019-05-16

Family

ID=66437799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041109 WO2019093299A1 (ja) 2017-11-09 2018-11-06 位置情報取得装置およびそれを備えたロボット制御装置

Country Status (2)

Country Link
JP (1) JP2019084645A (ja)
WO (1) WO2019093299A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023098781A (ja) * 2021-12-29 2023-07-11 川崎重工業株式会社 物体検出装置、ロボットシステム及び物体検出プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295223A (ja) * 2003-03-25 2004-10-21 Fanuc Ltd 画像処理装置及びロボットシステム
JP2011209958A (ja) * 2010-03-29 2011-10-20 Fuji Xerox Co Ltd 採取対象物品の認識構造及びこれを用いた採取情報認識装置並びに採取処理装置
JP2012185752A (ja) * 2011-03-07 2012-09-27 Seiko Epson Corp ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
WO2015037178A1 (ja) * 2013-09-12 2015-03-19 トヨタ自動車株式会社 姿勢推定方法及びロボット
JP2016052695A (ja) * 2014-09-03 2016-04-14 キヤノン株式会社 ロボット装置、およびロボット装置の制御方法
JP2017071033A (ja) * 2015-10-09 2017-04-13 キヤノン株式会社 作業用基準物体、作業用基準物体の製造方法、ロボットアームの調整方法、ビジョンシステム、ロボット装置、及び指標用部材

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295223A (ja) * 2003-03-25 2004-10-21 Fanuc Ltd 画像処理装置及びロボットシステム
JP2011209958A (ja) * 2010-03-29 2011-10-20 Fuji Xerox Co Ltd 採取対象物品の認識構造及びこれを用いた採取情報認識装置並びに採取処理装置
JP2012185752A (ja) * 2011-03-07 2012-09-27 Seiko Epson Corp ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
WO2015037178A1 (ja) * 2013-09-12 2015-03-19 トヨタ自動車株式会社 姿勢推定方法及びロボット
JP2016052695A (ja) * 2014-09-03 2016-04-14 キヤノン株式会社 ロボット装置、およびロボット装置の制御方法
JP2017071033A (ja) * 2015-10-09 2017-04-13 キヤノン株式会社 作業用基準物体、作業用基準物体の製造方法、ロボットアームの調整方法、ビジョンシステム、ロボット装置、及び指標用部材

Also Published As

Publication number Publication date
JP2019084645A (ja) 2019-06-06

Similar Documents

Publication Publication Date Title
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
JP6261016B2 (ja) マーカ画像処理システム
JP6180087B2 (ja) 情報処理装置及び情報処理方法
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP6892286B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN110842901B (zh) 基于一种新型三维标定块的机器人手眼标定方法与装置
JP6331517B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
KR20170053585A (ko) 로봇 제어 장치 및 로봇 제어 방법
US11625842B2 (en) Image processing apparatus and image processing method
JPH06175715A (ja) 視覚センサ座標系設定治具及び設定方法
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
WO2019093299A1 (ja) 位置情報取得装置およびそれを備えたロボット制御装置
US20230321823A1 (en) Robot control device, and robot system
JP3516668B2 (ja) ３次元形状認識方法、装置およびプログラム
CN116867619A (zh) 示教装置
CN115082550A (zh) 从对象的相机图像中定位对象的位置的设备和方法
CN115674184A (zh) 基于机器人视觉的目标定位方法及装置
CN114043531B (zh) 台面倾角确定、使用方法、装置、机器人和存储介质
US11348280B2 (en) Method and computer readable medium for pose estimation
WO2022172471A1 (ja) 支援システム、画像処理装置、支援方法およびプログラム
WO2021177159A1 (ja) 機械学習装置
EP4382258A1 (en) Robot control device, robot control system, and robot control method
US20230010196A1 (en) Picking system
JP2012242315A (ja) 位置検知システム、それを用いた移動体、位置検知方法およびそのためのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18875560

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18875560

Country of ref document: EP

Kind code of ref document: A1