WO2020049766A1 - 対象物認識装置、マニピュレータ、および移動ロボット - Google Patents

対象物認識装置、マニピュレータ、および移動ロボット Download PDF

Info

Publication number
WO2020049766A1
WO2020049766A1 PCT/JP2019/009027 JP2019009027W WO2020049766A1 WO 2020049766 A1 WO2020049766 A1 WO 2020049766A1 JP 2019009027 W JP2019009027 W JP 2019009027W WO 2020049766 A1 WO2020049766 A1 WO 2020049766A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
unit
objects
result
calculation
Prior art date
Application number
PCT/JP2019/009027
Other languages
English (en)
French (fr)
Inventor
嘉典 小西
達也 古賀
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US17/267,039 priority Critical patent/US11964399B2/en
Priority to CN201980051605.4A priority patent/CN112534476A/zh
Priority to EP19856640.8A priority patent/EP3848898B1/en
Publication of WO2020049766A1 publication Critical patent/WO2020049766A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39484—Locate, reach and grasp, visual guided grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40014—Gripping workpiece to place it in another place
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to an object recognition device, a manipulator, and a mobile robot.
  • One embodiment of the present invention has been made in view of the above circumstances, and has as its object to provide a technique capable of recognizing states of a plurality of objects arranged in a predetermined space area.
  • an object recognition device includes a plurality of objects that calculate a posture state of the object in a predetermined space area where a plurality of objects can be arranged.
  • the arithmetic processing unit wherein each arithmetic processing unit calculates a posture state of the object by different methods from each other, and the arrangement state of the entire plurality of objects arranged in the space area,
  • a state recognition unit to be recognized a method determination unit that determines a method of using the calculation result by the plurality of arithmetic processing units in accordance with a recognition result by the state recognition unit, and use of the calculation result determined by the method determination unit
  • An object recognizing unit for recognizing a posture state of the object by a method.
  • a manipulator provides a robot arm that performs a gripping operation on an object, the object recognition device, and a result of the object recognition performed by the object recognition device. And a control unit for controlling the operation of the robot arm.
  • a mobile robot is configured to include the manipulator and an automatic guided vehicle that transports the manipulator.
  • FIG. 2 is a hardware configuration diagram of the object recognition device.
  • FIG. 2 is a block diagram illustrating a main configuration of the object recognition device.
  • (A) is a figure which shows typically the arrangement
  • (b) is a figure which shows typically the arrangement state of several whole objects of a bulk stacking state.
  • FIG. 2 is a block diagram illustrating a main part configuration of a manipulator and a mobile robot including the manipulator.
  • FIG. 2 is a perspective view illustrating an external configuration of the mobile robot.
  • FIG. 1 is a diagram illustrating an outline of a system environment in which an object recognition device 10 according to the present embodiment is used.
  • the target object recognition device 10 is a device used for recognizing the state of a plurality of target objects 2 held and transported by the robot arm 50.
  • the plurality of objects 2 are placed in a predetermined space area defined by, for example, a container 3 or a pallet.
  • the object recognition device 10 refers to the sensor information acquired from the sensor 5 and recognizes the arrangement state of the object 2 in a predetermined space area.
  • the object recognition device 10 includes a plurality of operation processing units that calculate the posture state of the object 2 in a predetermined space region, and uses the calculation result obtained by each operation processing unit to determine the arrangement of the plurality of objects 2 as a whole. Determined according to the state. Thereby, the target object recognition device 10 accurately recognizes the posture state (position and posture) of each target object 2 by a method according to the arrangement state of the plurality of target objects 2 as a whole.
  • the object recognition device 10 may constitute a manipulator 120 together with a robot arm 50 that performs a gripping operation on the object 2 and a robot controller that controls the operation of the robot arm 50.
  • the manipulator 120 moves the robot arm 50 according to the posture state of the target object 2 recognized by the target object recognition device 10 to hold and transport the target object 2.
  • the object recognition device 10 may be mounted on an unmanned transport vehicle 150 that transports the manipulator 120 as a functional unit of the manipulator 120 to configure the mobile robot 100.
  • FIG. 1 is a diagram schematically illustrating a schematic configuration of the target object recognition device 10.
  • FIG. 2 is a hardware configuration diagram of the object recognition device 10.
  • FIG. 3 is a block diagram illustrating a main configuration of the object recognition device 10.
  • the object recognition device 10 is connected to the sensor 5 and the PLC 4 (Programmable Logic Controller).
  • the object recognition device 10 acquires sensor information from the sensor 5. Further, the object recognition device 10 provides information corresponding to the sensor information acquired from the sensor 5 to the PLC 4.
  • FIG. 1 shows one sensor 5, a plurality of sensors 5 may be connected to the object recognition device 10.
  • the sensor 5 includes at least one of a camera 5a that captures a two-dimensional image, two cameras 5a that capture stereo images, and a sensor that senses reflected light of light emitted from a light irradiation unit (not shown).
  • the sensor 5 detects a state of a plurality of objects 2 (also referred to as workpieces) gripped and transported by the robot arm 50 (hereinafter, gripping and transporting is also referred to as picking).
  • the object 2 is accommodated in a container 3 that defines a space area in which the object 2 can be arranged.
  • the sensor 5 captures, for example, an image indicating the state of the plurality of objects 2 accommodated in the container 3 and outputs a captured image.
  • a CPU Central Processing Unit
  • main memory main memory
  • buffer 10c main memory
  • hard disk 10e main memory
  • input interface 10f input interface
  • display controller 10g display controller
  • PLC interface 10h communication interface
  • communication interface 10i data A reader / writer 10j is connected via a bus 10k.
  • the CPU 10a controls various components in the object recognition apparatus 10 by executing programs stored in a storage element such as a RAM or a flash memory.
  • the main memory 10b temporarily stores various data used by the CPU 10a, calculation results of the CPU 10a, and the like.
  • the main memory 10b is configured by a nonvolatile memory such as a RAM, a ROM, and a flash memory.
  • the buffer 10c temporarily holds sensor information acquired from the plurality of sensors 5.
  • the buffer 10c may include an image buffer 10d that temporarily stores image data obtained by the plurality of sensors 5 and captured by the camera 5a.
  • the hard disk 10e is a storage device that records and reads information used in the object recognition device 10.
  • the input interface 10f connects the mouse 13 to the object recognition device 10 and receives an input from the mouse 13.
  • the input interface 10f connects the mouse 13 to the object recognition device 10 via wireless communication (short-range wireless communication) or wired communication.
  • the display controller 10g connects the display 12 to the object recognition device 10 and controls the display on the display 12.
  • the PLC interface 10h connects the PLC 4 to the object recognition device 10 and performs data transmission and reception between the PLCs 4.
  • the PLC interface 10h communicates with the PLC 4 via wireless communication or wired communication.
  • the communication interface 10i connects an external device such as a console to the object recognition device 10.
  • the communication interface 10i communicates with an external device via wireless communication or wired communication.
  • the data reader / writer 10j connects an external storage device such as a memory card 14 to the object recognition device 10 and reads and writes data between the memory cards 14.
  • the object recognition device 10 includes an acquisition unit 15, a communication unit 16, a storage unit 18, and a control unit 20.
  • the acquisition unit 15 acquires sensor information output from the plurality of sensors 5.
  • the sensor 5 includes at least one of a 3D camera and a 2D camera.
  • the sensor 5 may be configured to include a plurality of cameras. Further, the sensor 5 may include a sensor such as a temperature sensor, an optical sensor, an edge sensor, and an infrared camera.
  • Each of the plurality of sensors 5 acquires an image of the object, measures the edge of the object, the texture of the surface of the object, the luminance of the surface of the object, and the distance to a predetermined point of the object. You may be able to.
  • the acquisition unit 15 provides the sensor information acquired from the sensor 5 to the control unit 20.
  • the communication unit 16 communicates with the PLC 4 that controls the target object recognition device 10, the sensor 5, and the robot arm 50.
  • the communication unit 16 provides the control information received from the PLC 4 to the control unit 20, and transmits a recognition result by the control unit 20 to the PLC 4.
  • the storage unit 18 stores various data used by the control unit 20.
  • the control unit 20 controls the whole of the object recognition apparatus 10 as a whole.
  • the control unit 20 includes a two-dimensional image calculation processing unit 21, a three-dimensional image calculation processing unit 22, a state recognition unit 23, a method determination unit 24, and an object recognition unit 25.
  • the two-dimensional image calculation processing unit 21 and the three-dimensional image calculation processing unit 22 are also collectively referred to as a calculation processing unit.
  • the two-dimensional image calculation processing unit 21 performs edge detection of each object from a two-dimensional image of a plurality of objects arranged in a predetermined space area acquired from the sensor 5 via the acquisition unit 15.
  • the two-dimensional image calculation processing unit 21 performs pattern matching of the edge of the object detected from the two-dimensional image with a model of the shape of the object stored in the storage unit 18 to thereby perform three-dimensional position and orientation of the object. Recognize.
  • the two-dimensional image calculation processing unit 21 may recognize the three-dimensional position and orientation of the object by performing pattern matching with a texture model of the surface of the object detected from the two-dimensional image.
  • the three-dimensional image calculation processing unit 22 is configured to perform a predetermined three-dimensional shape measurement method based on the sensor information acquired from the sensor 5 via the acquisition unit 15 and to perform a posture state of a plurality of objects arranged in a predetermined space area. Is calculated.
  • the senor 5 includes a light irradiation unit (not shown), and a two-dimensional pattern (periodic pattern) of light from a plurality of objects arranged in a predetermined space region from the light irradiation unit, or a linear shape. Of light. Then, the sensor 5 provides the three-dimensional image calculation processing unit 22 with an image obtained by capturing the distortion of the pattern of the light irradiated on the target object or the output of the optical sensor. The three-dimensional image calculation processing unit 22 measures a three-dimensional shape of a plurality of objects arranged in a predetermined space region based on distortion of a pattern of light irradiated on the object, and The posture state of the target object may be calculated based on the three-dimensional shape.
  • the three-dimensional image arithmetic processing unit 22 measures a distance for each pixel by a time from transmission of light to reflection to a target and reception based on sensor information acquired from the sensor 5 by a TOF (time @ of @ flight) method.
  • the posture states of a plurality of objects arranged in a predetermined space area may be calculated.
  • the senor 5 includes two cameras for stereoscopically photographing a plurality of objects arranged in a predetermined space area, and the three-dimensional image calculation processing unit 22 acquires from the sensor 5 via the acquisition unit 15.
  • the posture states of a plurality of objects arranged in a predetermined space area may be calculated with reference to an image obtained by stereo shooting the object.
  • the sensor 5 may be configured to provide a sensor output to each of the two-dimensional image calculation processing unit 21 and the three-dimensional image calculation processing unit 22. Further, the object recognition device 10 may be provided with a plurality of sensors 5 corresponding to the two-dimensional image calculation processing unit 21 and the three-dimensional image calculation processing unit 22, respectively.
  • the object recognition device 10 includes the plurality of arithmetic processing units 21 and 22 that calculate the posture state in a predetermined space area where a plurality of objects can be arranged. Then, each of the arithmetic processing units 21 and 22 calculates the posture state of a plurality of objects arranged in a predetermined space area by different techniques.
  • the state recognizing unit 23 determines, based on at least one calculation result of the arithmetic processing units 21 and 22, that the arrangement state of the plurality of objects arranged in the space area is arranged in an aligned state. The user recognizes whether they are in a certain alignment state or in a piled state.
  • the state recognition unit 23 calculates a distribution state of a surface included in the space area in a normal direction based on a calculation result of the posture states of the plurality of objects by at least one of the arithmetic processing units 21 and 22. Based on the distribution state of the planes included in the calculated space area in the normal direction, it is recognized whether the arrangement state of the plurality of objects is an aligned state or a bulk state.
  • the state recognition unit 23 calculates the reliability of the three-dimensional position / posture recognition result obtained by the two-dimensional image calculation processing unit 21. If the reliability is equal to or more than a predetermined value, the state recognition unit 23 determines that the object is in the aligned state. If is smaller than a predetermined value, the arrangement state of the plurality of objects may be recognized by determining that the objects are in the bulk state.
  • the state recognition unit 23 performs machine learning in advance on the calculation of the posture state by the predetermined arithmetic processing units 21 and 22 among the arithmetic processing units 21 and 22 for each predetermined arrangement state of the entire plurality of objects. With reference to the result, the current arrangement state of the plurality of objects may be recognized.
  • the storage unit 18 stores a learning result of machine learning as a discriminator for discriminating whether the arrangement state of a plurality of objects as a whole is in an aligned state or in a bulk state.
  • the state recognizing unit 23 compares the discriminator stored in the storage unit 18 with the calculation result of the posture state of the target object by at least one of the arithmetic processing units 21 and 22 to obtain the current plurality of positions. The arrangement state of the entire object is recognized.
  • the storage unit 18 stores a learning result obtained by machine learning in advance when the entire arrangement state of the plurality of objects is in the aligned state and a machine result in advance when the arrangement state of the entire plurality of objects is in the bulk state.
  • the learned result and the learned result may be stored.
  • the state recognizing unit 23 obtains the learning result of the machine learning for each predetermined arrangement state of the plurality of objects stored in the storage unit 18 and the target object by at least one of the arithmetic processing units 21 and 22. By comparing the posture state calculation result with the calculation result of the posture state, the current arrangement state of the plurality of objects may be recognized.
  • the storage unit 18 may store a plurality of candidates for the image data (2D, 3D) in the aligned state and a plurality of candidates for the image data (2D, 3D) in the stacked state.
  • the state recognizing unit 23 includes a current arrangement state of the plurality of objects calculated by the arithmetic processing units 21 and 22 and a plurality of image data for each arrangement state of the plurality of objects stored in the storage unit 18. Based on the degree of coincidence with or the degree of similarity, the current arrangement state of the plurality of objects may be recognized.
  • the method determining unit 24 determines a method of using the calculation results by the arithmetic processing units 21 and 22 according to the recognition result by the state recognition unit 23.
  • FIG. 4A and 4B are diagrams illustrating an example of an arrangement state of a plurality of objects in a predetermined space area, where FIG. 4A illustrates an example of an aligned state, and FIG. 4B illustrates an example of a bulk state. Is shown.
  • FIG. 4A when the arrangement state of the plurality of objects is aligned, the arrangement area of the plurality of objects becomes a single plane in the image. For this reason, when the calculation result by the three-dimensional image calculation processing unit 22 is used, it is difficult to recognize the shape and posture of each object.
  • the shape of each object is obtained by using the boundary of each object and the features such as the texture, pattern, and characters of the surface of each object.
  • the orientation such as the direction or inclination of the object.
  • the arrangement state of the plurality of objects is a bulk state
  • the illumination condition of the light from the light irradiating unit changes for an object that is arranged to be inclined with respect to the sensor 5.
  • the orientation and inclination of the object cannot be recognized from the result of the two-dimensional image calculation using the surface texture, pattern, characters, and the like.
  • the calculation result by the two-dimensional image calculation processing unit 21 it is difficult to recognize the shape and posture of each object.
  • the shape and the posture of each object can be recognized.
  • the method determination unit 24 selects to use the calculation result by the two-dimensional image calculation processing unit 21 and When the recognition result of the arrangement state of the plurality of objects as a whole by the recognition unit 23 is a bulk state, the use of the calculation result by the three-dimensional image calculation processing unit 22 may be selected.
  • the recognition result by the state recognition unit 23 is in the aligned state, it is necessary to acquire depth information on the position and orientation of the object in the three-dimensional space in order to pick the object with the robot arm 50. .
  • the method determining unit 24 recognizes the state of the boundary of the object, the orientation of the object, and the like using the calculation result by the two-dimensional image calculation processing unit 21, and further calculates by the three-dimensional image calculation processing unit 22.
  • a method of using the calculation result may be determined so as to recognize the depth and the overlapping state of the target object using the result.
  • the method determination unit 24 determines whether the calculation result by the two-dimensional image calculation processing unit 21 and the three-dimensional image calculation processing are different depending on whether the recognition result by the state recognition unit 23 is in the aligned state or the stacked state. A weight may be assigned to each of the calculation results by the unit 22.
  • the method determining unit 24 determines a calculation result of the two-dimensional image calculation processing unit 21 and a calculation result of the three-dimensional image calculation processing unit 22 based on a learning result of machine learning in advance on the arrangement state of the target object. May be changed.
  • the method determining unit 24 determines the degree of coincidence or similarity between the current arrangement state of the object calculated by the state recognition unit 23 and the learning result obtained by performing the machine learning for each predetermined arrangement state of the object. May be used to determine whether to emphasize the calculation result by the two-dimensional image calculation processing unit 21 or to emphasize the calculation result by the three-dimensional image calculation processing unit 22. Further, the method determination unit 24 calculates a calculation result by the two-dimensional image calculation processing unit 21 using the degree of coincidence or similarity between the current arrangement state of the target object and the learning result of machine learning for each arrangement state, It may be determined how much importance is attached to the calculation result by the three-dimensional image calculation processing unit 22.
  • the method determining unit 24 should use the calculation result of the two-dimensional image calculation processing unit 21 or use the calculation result of the three-dimensional image calculation processing unit 22. It should be determined whether to use the calculation result by the two-dimensional image calculation processing unit 21 and the calculation result by the three-dimensional image calculation processing unit 22.
  • the object recognizing unit 25 recognizes a posture state, such as a position, a shape, a direction, and an inclination, of a specific object among a plurality of objects, by using the calculation result determined by the method determining unit 24. I do.
  • the object recognition unit 25 recognizes the posture state of the object to be picked next by the robot arm 50 and provides the recognition result to the PLC 4 via the communication unit 16.
  • the target object recognition unit 25 recognizes the posture state of a specific target object by using the calculation result of the posture state of the target object by the arithmetic processing units 21 and 22 selected by the method determination unit 24.
  • the object recognizing unit 25 uses the posture state calculation result by the two-dimensional image calculation processing unit 21 when the method determination unit 24 selects to use the calculation result by the two-dimensional image calculation processing unit 21. Then, the posture state such as the position, shape, direction, inclination, etc. of the specific object is recognized.
  • the target object recognition unit 25 calculates the posture state by the three-dimensional image calculation processing unit 22. Is used to recognize a posture state such as a position, a shape, a direction, and an inclination of a specific target object.
  • the object recognizing unit 25 recognizes the posture state of the specific object based on the calculation results of the three-dimensional shape of the object by the arithmetic processing units 21 and 22 weighted by the method determining unit 24. May be.
  • FIG. 5 is a flowchart showing the flow of processing of the object recognition device 10.
  • Step S1 The control unit 20 of the object recognition device 10 acquires the output of the sensor 5 via the acquisition unit 15.
  • the output of the sensor 5 may include a 2D image of the object 2 in the container 3 captured by a camera included in the sensor 5.
  • the output of the sensor 5 may include a 3D image of the target object 2 in the container 3 that has been stereo-photographed by a plurality of cameras included in the sensor 5.
  • Step S2 The control unit 20 calculates the posture states of the plurality of objects 2 in the container 3 by the functions of the arithmetic processing units 21 and 22.
  • Step S3 The control unit 20 recognizes the arrangement state of the entire plurality of objects 2 arranged in the container 3 with reference to at least one of the calculation results of the arithmetic processing units 21 and 22 by the function of the state recognition unit 23. .
  • Step S4 The control unit 20 determines, by the function of the method determination unit 24, whether or not the arrangement state of the entire plurality of objects 2 recognized by the state recognition unit 23 in step 3 is an aligned state. If the method determining unit 24 determines that the arrangement state of the plurality of objects 2 is the aligned state (Yes in step S4), the method determining unit 24 selects to use the calculation result of the posture state by the two-dimensional image calculation processing unit 21. Then, the process proceeds to step S5. If the method determination unit 24 determines that the arrangement state of the plurality of objects 2 is not the aligned state (No in step S4), the method determination unit 24 selects to use the posture state calculation result by the three-dimensional image calculation processing unit 22. The process proceeds to step S6.
  • Step S5 The object recognition unit 25 uses the calculation result of the posture state by the two-dimensional image calculation processing unit 21 to determine the position, shape, orientation, inclination, and the like of a specific object among the plurality of objects 2 in the container 3. Recognize the posture state that is the state.
  • Step S6 The object recognition unit 25 uses the calculation result of the posture state by the three-dimensional image calculation processing unit 22 to determine the position, shape, direction, inclination, and the like of a specific object among the plurality of objects 2 in the container 3. Recognize the posture state that is the state.
  • Step S7 The control unit 20 transmits the recognition result of the object recognition unit 25 to the PLC 4 via the communication unit 16.
  • the PLC 4 refers to the posture state of the target object 2 provided from the target object recognition device 10 and grips and transports the specific target object 2 in the container 3 by the robot arm 50.
  • Step S8 The control unit 20 of the object recognition device 10 refers to the sensor output from the sensor 5 and determines whether or not the container 3 is empty (is there any object 2 in the container 3?). When the target object 2 remains in the container 3 (No in step S8), the control unit 20 repeats the processing of steps S1 to S8. When the target object 2 does not remain in the container 3 (Yes in step S8), the control unit 20 ends the processing.
  • the feature quantity indicating the arrangement state of the plurality of objects 2 in the container 3 changes each time the robot arm 50 picks a specific object. Therefore, each time the robot arm 50 performs picking, the control unit 20 recognizes the arrangement state of the plurality of objects 2 in the container 3 and determines which one of the calculation results of the arithmetic processing units 21 and 22 should be used. Determine the distribution. Thereby, the control unit 20 can accurately determine the posture state, such as the position, shape, orientation, and inclination, of the specific target object among the plurality of target objects in the predetermined space area every time the robot arm 50 picks the object. Can be recognized.
  • Embodiment 2 of the present invention will be described below.
  • members having the same functions as the members described in the first embodiment are denoted by the same reference numerals, and description thereof will not be repeated.
  • FIG. 6 is a block diagram illustrating a main configuration of a manipulator 120 according to the second embodiment and a mobile robot 100 including the manipulator 120.
  • FIG. 7 is a perspective view illustrating an external configuration of the mobile robot 100.
  • the manipulator 120 includes the robot arm 50, the object recognition device 10, and a robot control unit 55 (control unit).
  • the robot arm 50 performs a gripping operation on the object 2 arranged in the container 3.
  • the sensor 5 is provided, for example, in the vicinity of a grip portion of the robot arm 50 that grips the target object 2.
  • the robot controller 55 controls the operation of the robot arm 50 in accordance with control information provided from the PLC 4 and based on the result of the object recognition by the object recognition device 10.
  • the robot control unit 55 can operate the robot arm 50 to which the sensor 5 is attached so that the sensor 5 can take an image of the entirety of the plurality of objects 2 arranged in the container 3. Good.
  • the manipulator 120 may be mounted on an automatic guided vehicle 150 that transports the manipulator 120.
  • the mobile robot 100 includes a manipulator 120 and an automatic guided vehicle 150.
  • the automatic guided vehicle 150 is a robot that includes a drive unit 156 and a guided vehicle control unit 155 and is capable of autonomous traveling.
  • the driving unit 156 includes various hardware such as driving wheels, a motor, a battery, and a safety sensor for realizing the traveling of the automatic guided vehicle 150.
  • the carrier control unit 155 drives each unit of the drive unit 156 in accordance with the control information from the PLC 4 and causes the automatic guided vehicle 150 to travel.
  • the control unit 20, the robot control unit 55, and the carrier control unit 155 of the object recognition device 10 communicate with the PLC 4 to recognize the object 2, grasp the object 2 with the robot arm 50,
  • the transfer of the target object 2 by the automatic guided vehicle 150 can be performed autonomously.
  • the mobile robot 100 recognizes the arrangement state of the plurality of objects 2 arranged in the predetermined space region by the function of the object recognition device 10 and uses a calculation method suitable for the recognized arrangement state.
  • the posture state of the specific object 2 to be picked next by the robot arm 50 can be recognized.
  • the mobile robot 100 controls the robot arm 50 based on the recognition result by the target object recognition device 10 to pick the target object 2 and controls the automatic guided vehicle 150 to move the target object 2 to a predetermined location. Can be transported.
  • the mobile robot 100 controls the automatic guided vehicle 150 and moves autonomously so that the robot arm 50 can pick the object 2 from a predetermined space area where the plurality of objects 2 are arranged. be able to.
  • control blocks of the control unit 20 of the object recognition apparatus 10 are integrated. It may be realized by a logic circuit (hardware) formed in a circuit (IC chip) or the like, or may be realized by software.
  • the object recognition device 10 includes a computer that executes instructions of a program that is software for realizing each function.
  • the computer includes, for example, one or more processors and a computer-readable recording medium storing the program. Then, in the computer, the object of the present invention is achieved when the processor reads the program from the recording medium and executes the program.
  • the processor for example, a CPU (Central Processing Unit) can be used.
  • the recording medium in addition to “temporary tangible medium”, for example, ROM (Read Only Memory), tape, disk, card, semiconductor memory, programmable logic circuit, and the like can be used. Further, a RAM (Random Access Memory) for expanding the program may be further provided.
  • the program may be supplied to the computer via an arbitrary transmission medium (a communication network, a broadcast wave, or the like) capable of transmitting the program.
  • a transmission medium a communication network, a broadcast wave, or the like
  • One embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • the method of using and the specific configuration of the recognition of the posture state of the target object by the target object recognition unit 25 are not limited to the present embodiment. For example, any one of the following machine learning methods or a combination thereof is used. Can be used.
  • SVM Support Vector Machine
  • IDP Inductive Logic Programming
  • GP Genetic Algorithm
  • BN Bayesian Network
  • NN Neural Network
  • a convolutional neural network including a convolution process
  • a convolution layer for performing a convolution operation is provided as one or a plurality of layers (layers) included in the neural network, and a filter operation (product-sum operation) is performed on input data input to the layer. It may be configured.
  • processing such as padding may be used in combination, or an appropriately set stride width may be employed.
  • a multilayer or super multilayer neural network having several tens to thousands of layers may be used.
  • the machine learning used for recognizing the posture state of the target object by the target object recognition unit 25 may be supervised learning or unsupervised learning.
  • An object recognition device includes a plurality of arithmetic processing units that calculate a posture state of the object in a predetermined space area where a plurality of objects can be arranged, An arithmetic processing unit configured to calculate a posture state of the object by different methods, a state recognition unit configured to recognize an arrangement state of the plurality of objects arranged in the space area, According to a recognition result by the recognition unit, a method determining unit that determines a method of using the calculation result by the plurality of arithmetic processing units, and a method of using the calculation result determined by the method determining unit. And an object recognizing unit that recognizes the object.
  • the posture state indicating the shape, position, orientation, inclination, and the like of each object is calculated using a calculation method suitable for the arrangement state of the plurality of objects arranged in the predetermined space area. It becomes possible to recognize. Therefore, whether the plurality of objects are in the aligned state or in the bulk state, the posture state of each object can be accurately recognized regardless of the arrangement state.
  • the plurality of processing units perform edge detection of a two-dimensional image obtained by imaging the space region, and the edge detection result and a shape of the object, And a two-dimensional image calculation processing unit that calculates the posture state of the target object by performing pattern matching with at least one of the texture and the texture, and a predetermined three-dimensional shape calculation method with respect to the spatial region.
  • a three-dimensional image calculation processing unit that calculates a posture state.
  • the posture state of each object can be recognized. Therefore, the posture state of each object can be accurately recognized regardless of the arrangement state of the plurality of objects as a whole.
  • the method determination unit selects a specific arithmetic processing unit from the plurality of arithmetic processing units according to a recognition result by the state recognition unit,
  • the object recognition unit may recognize a posture state of the object based on a calculation result by an arithmetic processing unit selected by the method determination unit.
  • the calculation result of the two-dimensional image calculation processing unit and the calculation result of the three-dimensional image calculation processing unit are used by using an appropriate calculation result according to the arrangement state of the plurality of objects as a whole.
  • the posture state of each object can be accurately recognized.
  • the method determination unit assigns weights to calculation results by the plurality of arithmetic processing units in accordance with a recognition result by the state recognition unit
  • the target object recognition unit may recognize the posture state of the target object based on a calculation result by each arithmetic processing unit, which is weighted by the method determination unit.
  • both the calculation result of the two-dimensional image calculation processing unit and the calculation result of the three-dimensional image calculation processing unit are weighted according to the distribution according to the arrangement state of the plurality of objects as a whole.
  • the posture state of each object can be accurately recognized regardless of the arrangement state of the plurality of objects.
  • the state recognition unit may be included in the space area, which is calculated based on a calculation result by a predetermined calculation processing unit among the plurality of calculation processing units.
  • the arrangement state of the plurality of objects as a whole may be recognized based on the distribution state of the surface to be measured in the normal direction.
  • the arrangement state of the entire plurality of objects is recognized based on the calculation result of the two-dimensional image calculation processing unit and the calculation result of the three-dimensional image calculation processing unit, Using the calculation result suitable for the arrangement state, the posture state of each object can be accurately recognized.
  • the state recognition unit performs edge detection of a two-dimensional image obtained by imaging the space area, and detects the edge detection result, a shape of the object, and a texture. Calculating the reliability of the calculation result by the two-dimensional image calculation processing unit that calculates the posture state of the target object by performing pattern matching with at least one of the plurality of target objects based on the reliability. The entire arrangement state may be recognized.
  • the configuration it is possible to accurately recognize the arrangement state of the plurality of objects as a whole, and to accurately recognize the posture state of each object by using a calculation result suitable for the arrangement state. it can.
  • the state recognition unit may be configured to perform a predetermined arrangement of the entire plurality of objects with respect to a calculation result of the predetermined operation processing unit among the plurality of operation processing units.
  • the arrangement state of the entirety of the plurality of objects may be recognized with reference to a learning result obtained by performing machine learning for each state.
  • the configuration it is possible to accurately recognize the arrangement state of the plurality of objects with reference to the learning result obtained by performing the machine learning, and to calculate each object by using a calculation result suitable for the arrangement state.
  • the posture state of an object can be accurately recognized.
  • a manipulator controls a robot arm that performs a gripping operation on an object, the object recognition device, and an operation of the robot arm based on a result of the object recognition performed by the object recognition device.
  • a control unit that performs the control.
  • the operation of the robot arm allows the objects to be properly picked regardless of the arrangement state of the plurality of objects.
  • the mobile robot is configured to include the manipulator and an automatic guided vehicle that transports the manipulator.
  • the operations of the automatic guided vehicle and the robot arm allow the objects to be properly picked regardless of the arrangement state of the plurality of objects.

Abstract

所定の空間領域内に配置された複数の対象物の状態を認識することができる技術を提供する。互いに異なる手法によって所定の空間領域における対象物の姿勢状態を算出する複数の演算処理部（２１，２２）と、前記空間領域に配置されている複数の対象物全体の配置状態を認識する状態認識部（２３）と、前記状態認識部（２３）による認識結果に応じて、前記演算処理部（２１，２２）による算出結果の利用方法を決定する方法決定部（２４）と、決定された算出結果の利用方法によって、前記対象物の姿勢状態を認識する対象物認識部（２５）とを備える。

Description

対象物認識装置、マニピュレータ、および移動ロボット
　本発明は、対象物認識装置、マニピュレータ、および移動ロボットに関する。
　従来、隣接して荷積した複数のワークのそれぞれをロボットでピッキングすることで、ワークを把持、及び搬送する技術が知られている。これらの技術では、ワークの位置を、予めロボットにティーチングし、ティーチング位置にワークを並べることで、ロボットは、ワークをピッキングする。一方で、複数のワークを並べる位置にずれが生じた場合や、荷積された複数のワークに荷崩れが生じ、ばら積み状態となった場合には、ロボットが各ワークをピッキングすることができなくなる。
　そこで、荷積された複数のワークを撮影した全体画像から各ワークのエッジ部分を検出し、エッジ部分を境界として、各ワークの位置と姿勢を認識して、ワークをロボットでピッキングする技術が提案されている。（例えば、特許文献１参照）。
日本国特許公報「特許第５４２９６１４号明細書」
　しかしながら、ワークに荷崩れが生じ、ばら積み状態となった場合、照明条件の悪化や、背景に同色のワークがあること等により各ワークのエッジ部分の検出が困難となる。そのため、ばら積み状態のワークには、撮影画像からワークのエッジを検出して、ワークの位置と姿勢を認識する手法は有効ではなく、ワークの状態を認識することができる技術が望まれていた。
　本発明の一態様は、上述した事情に鑑みてなされたものであり、所定の空間領域内に配置された複数の対象物の状態を認識することができる技術を提供することを目的とする。
　前記の課題を解決するために、本発明の一態様に係る対象物認識装置は、複数の対象物が配置されることが可能な所定の空間領域における、前記対象物の姿勢状態を算出する複数の演算処理部であって、各演算処理部は互いに異なる手法によって前記対象物の姿勢状態を算出する複数の演算処理部と、前記空間領域に配置されている複数の対象物全体の配置状態を認識する状態認識部と、前記状態認識部による認識結果に応じて、前記複数の演算処理部による算出結果の利用方法を決定する方法決定部と、前記方法決定部によって決定された算出結果の利用方法によって、前記対象物の姿勢状態を認識する対象物認識部とを備える構成である。
　前記の課題を解決するために、本発明の一態様に係るマニピュレータは、対象物に対する把持動作を行うロボットアームと、前記対象物認識装置と、前記対象物認識装置による対象物認識結果に基づいて前記ロボットアームの動作を制御する制御部と、を備える構成である。
　前記の課題を解決するために、本発明の一態様に係る移動ロボットは、前記マニピュレータと、前記マニピュレータを搬送する無人搬送車とを備える構成である。
　本発明の一態様によれば、所定の空間領域内に配置された複数の対象物の状態を認識することができる。
本実施形態に係る対象物認識装置が使用されるシステム環境の概要を示す図である。 対象物認識装置のハードウェア構成図である。 対象物認識装置の要部構成を示すブロック図である。 （ａ）は整列状態の複数の対象物全体の配置状態を模式的に示し、（ｂ）はばら積み状態の複数の対象物全体の配置状態を模式的に示す図である。 対象物認識装の処理の流れを示すフローチャートである。 マニピュレータ、およびマニピュレータを備える移動ロボットの要部構成を示すブロック図である。 移動ロボットの外観構成を示す斜視図である。
　以下、本発明の一側面に係る実施形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。
　§１　適用例
　まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る対象物認識装置１０が使用されるシステム環境の概要を示す図である。対象物認識装置１０は、ロボットアーム５０で把持し、搬送する複数の対象物２の状態を認識するために用いられる装置である。複数の対象物２は、例えばコンテナー３、またはパレット等によって規定される所定の空間領域に載置されている。対象物認識装置１０は、センサ５から取得したセンサ情報を参照して、所定の空間領域における対象物２の配置状態を認識する。
　また、対象物認識装置１０は、所定の空間領域における対象物２の姿勢状態を算出する演算処理部を複数備え、各演算処理部による算出結果の利用方法を、複数の対象物２全体の配置状態に応じて決定する。これにより、対象物認識装置１０は、複数の対象物２全体の配置状態に応じた手法で、各対象物２の姿勢状態（位置、及び姿勢）を正確に認識する。
　対象物認識装置１０は、対象物２に対する把持動作を行うロボットアーム５０と、ロボットアーム５０の動作を制御するロボット制御部と、共に、マニピュレータ１２０を構成してもよい。マニピュレータ１２０は、対象物認識装置１０によって認識された対象物２の姿勢状態に応じて、ロボットアーム５０を動かして、対象物２を把持し、搬送する。
　また、対象物認識装置１０は、マニピュレータ１２０の機能部として、マニピュレータ１２０を搬送する無人搬送車１５０に搭載され、移動ロボット１００を構成してもよい。
　§２　構成例
　〔実施形態１〕
　以下、本発明の実施形態１に係る対象物認識装置１０の構成について、図１、図２、および図３に基づいて詳細に説明する。図１は、対象物認識装置１０の概略構成を模式的に示す図である。図２は、対象物認識装置１０のハードウェア構成図である。図３は、対象物認識装置１０の要部構成を示すブロック図である。
　図１に示すように、対象物認識装置１０は、センサ５、及びＰＬＣ４（Programmable Logic Controller）に接続されている。対象物認識装置１０は、センサ５からのセンサ情報を取得する。また、対象物認識装置１０は、センサ５から取得したセンサ情報に応じた情報をＰＬＣ４に提供する。なお、図１では、１つのセンサ５を示しているが、対象物認識装置１０には、複数のセンサ５が接続されていてもよい。
　センサ５は、２次元画像を撮像するカメラ５ａ、ステレオ撮影する２台のカメラ５ａ、および不図示の光照射部から照射された光の反射光をセンシングするセンサの少なくとも何れかを備えている。センサ５は、ロボットアーム５０によって把持、及び搬送される（以下、把持、及び搬送を、ピッキングともいう）複数の対象物２（ワークとも称する）の状態を検出する。対象物２は、対象物２を配置可能な空間領域を既定するコンテナー３内に収容されている。センサ５は、例えば、コンテナー３内に収容されている複数の対象物２の状態を示す画像を撮影し、撮影画像を出力する。
　〔対象物認識装置１０のハードウェア構成について〕
　図２に示すように、対象物認識装置１０では、ＣＰＵ（Central Processing Unit）１０ａ、メインメモリ１０ｂ、バッファ１０ｃ、ハードディスク１０ｅ、入力インターフェイス１０ｆ、表示コントローラ１０ｇ、ＰＬＣインターフェイス１０ｈ、通信インターフェイス１０ｉ、およびデータリーダ／ライタ１０ｊが、バス１０ｋを介して接続されている。
　ＣＰＵ１０ａは、例えばＲＡＭやフラッシュメモリなどの記憶素子に記憶されたプログラムを実行することにより、対象物認識装置１０内の各種構成を統括的に制御するものである。
　メインメモリ１０ｂは、ＣＰＵ１０ａが使用する各種データ、及びＣＰＵ１０ａの演算結果などを一時的に記憶する。メインメモリ１０ｂは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の不揮発性メモリにより構成されている。
　バッファ１０ｃは、複数のセンサ５から取得したセンサ情報を一時的に保持する。バッファ１０ｃは、複数のセンサ５から取得した、カメラ５ａが撮像した画像データを一時的に保持する画像バッファ１０ｄを含んでいてもよい。
　ハードディスク１０ｅは、対象物認識装置１０で使用される情報を記録し、読み出す記憶装置である。
　入力インターフェイス１０ｆは、対象物認識装置１０にマウス１３を接続し、マウス１３からの入力を受け付ける。入力インターフェイス１０ｆは、無線通信（近距離無線通信）、または有線通信を介して、マウス１３を対象物認識装置１０に接続する。
　表示コントローラ１０ｇは、対象物認識装置１０にディスプレイ１２を接続し、ディスプレイ１２の表示を制御する。
　ＰＬＣインターフェイス１０ｈは、対象物認識装置１０にＰＬＣ４を接続し、ＰＬＣ４間でのデータ送受信を行う。ＰＬＣインターフェイス１０ｈは、無線通信、または有線通信を介して、ＰＬＣ４と通信する。
　通信インターフェイス１０ｉは、対象物認識装置１０に、例えばコンソール等の外部機器を接続する。通信インターフェイス１０ｉは、無線通信、または有線通信を介して、外部機器と通信する。
　データリーダ／ライタ１０ｊは、対象物認識装置１０に外部のメモリカード１４等の記憶装置を接続し、メモリカード１４間でデータの読み出しと書き込みを行う。
　〔対象物認識装置１０の機能構成について〕
　図３に示すように、対象物認識装置１０は、取得部１５、通信部１６、記憶部１８、および制御部２０を備えている。
　取得部１５は、複数のセンサ５から出力されるセンサ情報を取得する。センサ５は、３Ｄカメラ、および２Ｄカメラの少なくとも何れかを備えている。センサ５は、複数のカメラを備えている構成であってもよい。また、センサ５は、温度センサ、光センサ、エッジセンサおよび赤外線カメラなどのセンサを備えていてもよい。複数のセンサ５は、それぞれ、対象物の画像を取得したり、対象物のエッジ、対象物の表面のテクスチャ、対象物の表面の輝度、および対象物の所定の点までの距離を計測したりすることができてもよい。取得部１５は、センサ５から取得したセンサ情報を制御部２０に提供する。
　通信部１６は、対象物認識装置１０、センサ５、およびロボットアーム５０を統括的に制御するＰＬＣ４と通信する。通信部１６は、ＰＬＣ４から受信した制御情報を制御部２０に提供すると共に、制御部２０による認識結果をＰＬＣ４に送信する。
　記憶部１８は、制御部２０が用いる各種データを記憶している。
　制御部２０は、対象物認識装置１０の全体を統括的に制御する。制御部２０は、２次元画像演算処理部２１、３次元画像演算処理部２２、状態認識部２３、方法決定部２４、対象物認識部２５を含んでいる。なお、以下の説明において、２次元画像演算処理部２１、および３次元画像演算処理部２２をまとめて演算処理部とも称する。
　２次元画像演算処理部２１は、取得部１５を介してセンサ５から取得した、所定の空間領域に配置された複数の対象物の２次元画像から、各対象物のエッジ検出を行う。２次元画像演算処理部２１は、２次元画像から検出した対象物のエッジを、記憶部１８に記憶されている対象物の形状のモデルとのパターンマッチングを行うことによって対象物の３次元位置姿勢を認識する。また、２次元画像演算処理部２１は、２次元画像から検出した、対象物の表面のテスクチャのモデルとのパターンマッチングを行うことによって対象物の３次元位置姿勢を認識してもよい。
　３次元画像演算処理部２２は、取得部１５を介してセンサ５から取得したセンサ情報に基づいて、所定の３次元形状計測手法により、所定の空間領域に配置された複数の対象物の姿勢状態を算出する。
　例えば、センサ５は、不図示の光照射部を備え、当該光照射部から所定の空間領域に配置された複数の対象物に対して２次元パターン（定周期模様）の光、または、直線状の光を照射する。そして、センサ５は、対象物に対して照射した光のパターンの歪みを撮影した画像、または光センサの出力を３次元画像演算処理部２２に提供する。３次元画像演算処理部２２は、対象物に対して照射した光のパターンの歪みに基づいて、所定の空間領域に配置された複数の対象物の３次元形状を計測し、計測した対象物の３次元形状に基づいて、対象物の姿勢状態を算出してもよい。３次元画像演算処理部２２は、センサ５から取得したセンサ情報に基づいて、光の送信から対象に反射して受信するまでの時間によって画素毎に距離を測るＴＯＦ（time of flight）方式によって、所定の空間領域に配置された複数の対象物の姿勢状態を算出してもよい。
　また、センサ５は、所定の空間領域に配置された複数の対象物をステレオ撮影する２台のカメラを備え、３次元画像演算処理部２２は、取得部１５を介してセンサ５から取得した、対象物をステレオ撮影した画像を参照して、所定の空間領域に配置された複数の対象物の姿勢状態を算出してもよい。
　なお、センサ５は、２次元画像演算処理部２１、および３次元画像演算処理部２２のそれぞれにセンサ出力を提供する構成であってもよい。また、対象物認識装置１０には、２次元画像演算処理部２１、および３次元画像演算処理部２２のそれぞれに対応するセンサ５が複数設けられていてもよい。
　このように、対象物認識装置１０は、複数の対象物が配置されることが可能な所定の空間領域における姿勢状態を算出する複数の演算処理部２１，２２を備えている。そして、各演算処理部２１，２２は、互いに異なる手法によって所定の空間領域に配置された複数の対象物の姿勢状態の算出を行う。
　状態認識部２３は、演算処理部２１，２２の少なくとも何れかの算出結果に基づいて、空間領域に配置されている複数の対象物全体の配置状態が、整列した状態で配置されている状態である整列状態であるのか、ばらばらに山積みされた状態であるばら積み状態であるのかを認識する。
　状態認識部２３は、演算処理部２１，２２の少なくとも何れか一方による、複数の対象物の姿勢状態の算出結果に基づいて、空間領域に含まれる面の法線方向の分布状態を算出し、算出した空間領域に含まれる面の法線方向の分布状態に基づいて、複数の対象物全体の配置状態が整列状態であるのか、ばら積み状態であるのかを認識する。
　また、状態認識部２３は、２次元画像演算処理部２１による３次元位置姿勢認識結果の信頼度を算出し、該信頼度が所定値以上であれば整列状態であると判定し、該信頼度が所定値未満であれば、ばら積み状態であると判定することによって、複数の対象物全体の配置状態を認識してもよい。
　また、状態認識部２３は、演算処理部２１，２２のうち、所定の演算処理部２１，２２による姿勢状態の算出に関して、複数の対象物全体の所定の配置状態毎に事前に機械学習した学習結果を参照して、現在の複数の対象物全体の配置状態を認識してもよい。記憶部１８には、複数の対象物全体の配置状態が整列状態であるのか、ばら積み状態であるのかを識別するための識別器としての機械学習の学習結果が保存されている。状態認識部２３は、記憶部１８に記憶されている識別器と、演算処理部２１，２２の少なくとも何れか一方による対象物の姿勢状態の算出結果と、を比較することで、現在の複数の対象物全体の配置状態を認識する。
　なお、記憶部１８には、複数の対象物全体の配置状態が整列状態である場合について事前に機械学習した学習結果と、複数の対象物全体の配置状態がばら積み状態である場合について事前に機械学習した学習結果と、がそれぞれ記憶されていてもよい。そして、状態認識部２３は、記憶部１８に記憶されている複数の対象物全体の所定の配置状態毎の機械学習の学習結果と、演算処理部２１，２２の少なくとも何れか一方による対象物の姿勢状態の算出結果と、を比較することで、現在の複数の対象物全体の配置状態を認識してもよい。
　記憶部１８には、複数の整列状態の画像データ（２Ｄ、３Ｄ）の候補と、複数のばら積み状態の画像データ（２Ｄ、３Ｄ）の候補とが記憶されていてもよい。状態認識部２３は、演算処理部２１，２２によって算出された現在の複数の対象物全体の配置状態と、記憶部１８に記憶されている複数の対象物全体の配置状態毎の複数の画像データとの一致度、または類似度に基づいて、現在の複数の対象物全体の配置状態を認識してもよい。
　方法決定部２４は、状態認識部２３による認識結果に応じて、演算処理部２１，２２のそれぞれによる算出結果の利用方法を決定する。
　図４は、複数の対象物全体の所定の空間領域における配置状態の例を示す図であり、図４の（ａ）は整列状態の例を示し、図４の（ｂ）はばら積み状態の例を示している。図４の（ａ）に示すように、複数の対象物全体の配置状態が整列状態である場合、複数の対象物の配置領域が、画像では１つの平面のようになる。このため、３次元画像演算処理部２２による算出結果を用いた場合、各対象物の形状、および姿勢を認識するのは困難である。一方で、２次元画像演算処理部２１による算出結果を用いることにより、各対象物の境界、および各対象物の表面のテクスチャ、模様、および文字等の特徴を用いて、各対象物の形状、および対象物の向き、または傾きなどの姿勢を認識することができる。
　また、図４の（ｂ）に示すように、複数の対象物全体の配置状態がばら積み状態である場合、複数の対象物のそれぞれの境界、および形状が見えにくくなる。また、センサ５に対して傾いて配置されている対象物では、光照射部からの光の照明条件が変化する。さらに、表面が無地である対象物では、表面のテクスチャ、模様、および文字等を用いて対象物の向き、および傾きを２次元画像算出の結果からは、認識することができない。このため、２次元画像演算処理部２１による算出結果を用いた場合、各対象物の形状、および姿勢を認識するのは困難である。一方で、３次元画像演算処理部２２による算出結果を用いることにより、各対象物の形状、および姿勢を認識することができる。
　方法決定部２４は、状態認識部２３による複数の対象物全体の配置状態の認識結果が、整列状態である場合には、２次元画像演算処理部２１による算出結果を用いることを選択し、状態認識部２３による複数の対象物全体の配置状態の認識結果が、ばら積み状態である場合には、３次元画像演算処理部２２による算出結果を用いることを選択してもよい。
　また、状態認識部２３による認識結果が整列状態である場合でも、対象物をロボットアーム５０でピッキングするためには、対象物の３次元空間での位置と姿勢に関する奥行情報を取得する必要がある。さらに、箱形状の対象物が複数段重ねて配置されていたり、大きさの違う箱形状の対象物が段違いで並べられていたりする場合には、対象物の重なり状態に関する情報を取得する必要がある。このため、方法決定部２４は、２次元画像演算処理部２１による算出結果を用いて対象物の境界、および対象物の向き等の状態を認識し、さらに、３次元画像演算処理部２２による算出結果を用いて対象物の奥行、および重なり状態を認識するように、算出結果の利用方法を決定してもよい。
　また、複数の対象物がばら積み状態である場合でも、２次元の特徴量が対象物の状態を認識するのに有効な場合もある。このため、方法決定部２４は、状態認識部２３による認識結果が、整列状態であるか、ばら積み状態であるかに応じて、２次元画像演算処理部２１による算出結果と、３次元画像演算処理部２２による算出結果とのそれぞれに対して重み付けを付与してもよい。方法決定部２４は、対象物の配置状態について事前に機械学習した学習結果に基づいて、２次元画像演算処理部２１による算出結果と、３次元画像演算処理部２２による算出結果とのそれぞれに対して付与する重みを変化させることができてもよい。
　また、方法決定部２４は、状態認識部２３によって算出された、現在の対象物の配置状態と、対象物の所定の配置状態毎に機械学習を行った学習結果との一致度、または類似度を用いて、２次元画像演算処理部２１による算出結果を重視するか、３次元画像演算処理部２２による算出結果を重視するかを決定してもよい。さらに、方法決定部２４は、現在の対象物の配置状態と、配置状態毎の機械学習の学習結果との一致度、または類似度を用いて、２次元画像演算処理部２１による算出結果と、３次元画像演算処理部２２による算出結果とをそれぞれどのくらい重視するかを決定してもよい。
　このように、方法決定部２４は、各対象物の状態を認識するために、２次元画像演算処理部２１による算出結果を利用するべきか、３次元画像演算処理部２２による算出結果を利用するべきか、２次元画像演算処理部２１による算出結果と、３次元画像演算処理部２２による算出結果との間を利用するべきかを決定する。
　対象物認識部２５は、方法決定部２４によって決定された算出結果の利用方法によって、複数の対象物のうち、特定の対象物の位置、形状、向き、傾き等の状態である姿勢状態を認識する。対象物認識部２５は、ロボットアーム５０によって次にピッキングする対象物の姿勢状態を認識し、認識結果を通信部１６を介してＰＬＣ４に提供する。
　対象物認識部２５は、方法決定部２４によって選択された演算処理部２１，２２による対象物の姿勢状態の算出結果の利用方法によって、特定の対象物の姿勢状態を認識する。対象物認識部２５は、方法決定部２４によって、２次元画像演算処理部２１による算出結果を利用することが選択された場合には、２次元画像演算処理部２１による姿勢状態の算出結果を用いて、特定の対象物の位置、形状、向き、傾き等の姿勢状態を認識する。また、対象物認識部２５は、方法決定部２４によって、３次元画像演算処理部２２による算出結果を利用することが選択された場合には、３次元画像演算処理部２２による姿勢状態の算出結果を用いて、特定の対象物の位置、形状、向き、傾き等の姿勢状態を認識する。
　また、対象物認識部２５は、方法決定部２４によって重み付けを付与された、各演算処理部２１，２２による対象物の３次元形状の算出結果に基づいて、特定の対象物の姿勢状態を認識してもよい。
　〔対象物認識装置１０の処理の流れについて〕
　図５は、対象物認識装置１０の処理の流れを示すフローチャートである。
　（ステップＳ１）
　対象物認識装置１０の制御部２０は、取得部１５を介してセンサ５の出力を取得する。センサ５の出力は、センサ５が備えるカメラによって撮影されたコンテナー３内の対象物２の２Ｄ画像を含んでいてもよい。また、センサ５の出力は、センサ５が備える複数のカメラによってステレオ撮影されたコンテナー３内の対象物２の３Ｄ画像を含んでいてもよい。
　（ステップＳ２）
　制御部２０は、演算処理部２１，２２の機能により、コンテナー３における複数の対象物２の姿勢状態を算出する。
　（ステップＳ３）
　制御部２０は、状態認識部２３の機能により、演算処理部２１，２２の少なくとも何れかの算出結果を参照して、コンテナー３に配置されている複数の対象物２全体の配置状態を認識する。
　（ステップＳ４）
　制御部２０は、方法決定部２４の機能により、ステップ３にて状態認識部２３が認識した複数の対象物２全体の配置状態が、整列状態であるか否かを判定する。方法決定部２４は、複数の対象物２の配置状態が整列状態であると判定すると（ステップＳ４でＹｅｓ）、２次元画像演算処理部２１による姿勢状態の算出結果を利用することを選択して、ステップＳ５に進む。方法決定部２４は、複数の対象物２の配置状態が整列状態ではないと判定すると（ステップＳ４でＮｏ）、３次元画像演算処理部２２による姿勢状態の算出結果を利用することを選択して、ステップＳ６に進む。
　（ステップＳ５）
　対象物認識部２５は、２次元画像演算処理部２１による姿勢状態の算出結果を利用して、コンテナー３における複数の対象物２のうち、特定の対象物の位置、形状、向き、傾き等の状態である姿勢状態を認識する。
　（ステップＳ６）
　対象物認識部２５は、３次元画像演算処理部２２による姿勢状態の算出結果を利用して、コンテナー３における複数の対象物２のうち、特定の対象物の位置、形状、向き、傾き等の状態である姿勢状態を認識する。
　（ステップＳ７）
　制御部２０は、対象物認識部２５の認識結果を通信部１６を介してＰＬＣ４に送信する。ＰＬＣ４は、対象物認識装置１０から提供された対象物２の姿勢状態を参照して、コンテナー３における特定の対象物２を、ロボットアーム５０により把持し、搬送する。
　（ステップＳ８）
　対象物認識装置１０の制御部２０は、センサ５からのセンサ出力を参照して、コンテナー３は空か（コンテナー３内に対象物２は無いか？）否かを判定する。制御部２０は、コンテナー３に対象物２が残っている場合には（ステップＳ８でＮｏ）、ステップＳ１～ステップＳ８の処理を繰り返す。制御部２０は、コンテナー３に対象物２が残っていない場合には（ステップＳ８でＹｅｓ）、処理を終了する。
　コンテナー３における複数の対象物２の配置状態を示す特徴量は、ロボットアーム５０により特定の対象物をピッキングする都度変わっていく。そのため、制御部２０は、ロボットアーム５０によるピッキングを行う度に、コンテナー３おける複数の対象物２の配置状態を認識して、演算処理部２１，２２の算出結果のどちらを、どれくらい利用するかの配分を決定する。これにより、制御部２０は、所定の空間領域における複数の対象物のうち、特定の対象物の位置、形状、向き、傾き等の状態である姿勢状態を、ロボットアーム５０によるピッキングの度に正確に認識することができる。
　〔実施形態２〕
　本発明の実施形態２について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　図６は、実施形態２に係るマニピュレータ１２０、およびマニピュレータ１２０を備える移動ロボット１００の要部構成を示すブロック図である。図７は、移動ロボット１００の外観構成を示す斜視図である。
　図６、および図７に示すように、マニピュレータ１２０は、ロボットアーム５０と、対象物認識装置１０と、ロボット制御部５５（制御部）と、を備えている。
　ロボットアーム５０は、コンテナー３内に配置された対象物２に対する把持動作を行う。センサ５は、例えば、ロボットアーム５０における、対象物２を把持する把持部の近傍に設けられている。
　ロボット制御部５５は、ＰＬＣ４から提供される、対象物認識装置１０による対象物認識結果に基づく制御情報に応じて、ロボットアーム５０の動作を制御する。また、ロボット制御部５５は、センサ５によって、コンテナー３内に配置された複数の対象物２全体の画像を撮影できるように、センサ５が取り付けられたロボットアーム５０を動作させることができてもよい。
　マニピュレータ１２０は、マニピュレータ１２０を搬送する無人搬送車１５０に搭載されていてもよい。移動ロボット１００は、マニピュレータ１２０と、無人搬送車１５０とを備えて構成されている。
　無人搬送車１５０は、駆動部１５６と、搬送車制御部１５５と、を備え、自律走行可能なロボットである。
　駆動部１５６は、駆動輪、モータ、バッテリー、セーフティーセンサー等の、無人搬送車１５０の走行を実現するための各種ハードウェアを備えている。
　搬送車制御部１５５は、ＰＬＣ４からの制御情報に応じて、駆動部１５６の各部を駆動し、無人搬送車１５０を走行させる。
　移動ロボット１００は、対象物認識装置１０の制御部２０、ロボット制御部５５、および搬送車制御部１５５が、それぞれＰＬＣ４と通信し、対象物２の認識、ロボットアーム５０による対象物２の把持、および、無人搬送車１５０による対象物２の搬送を、自律して行うことができる。
　このように、移動ロボット１００は、対象物認識装置１０の機能により、所定の空間領域に配置された複数の対象物２全体の配置状態を認識し、認識した配置状態に適した算出手法を用いて、ロボットアーム５０で次にピッキンングする特定の対象物２の姿勢状態を認識することができる。そして、移動ロボット１００は、対象物認識装置１０による認識結果におじて、ロボットアーム５０を制御し、対象物２をピッキングするとともに、無人搬送車１５０を制御して、対象物２を所定の場所に搬送することができる。また、移動ロボット１００は、無人搬送車１５０を制御し、複数の対象物２が配置された所定の空間領域からロボットアーム５０により対象物２をピッキングすることができるように、自律して移動することができる。
　〔ソフトウェアによる実現例〕
　対象物認識装置１０の制御部２０の制御ブロック（特に２次元画像演算処理部２１、３次元画像演算処理部２２、状態認識部２３、方法決定部２４、および対象物認識部２５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、対象物認識装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　なお、演算処理部２１，２２による対象物の姿勢状態の算出、状態認識部２３による対象物の配置状態の認識、方法決定部２４による姿勢状態の算出に用いる演算処理部２１，２２の算出結果の利用方法、および対象物認識部２５による対象物の姿勢状態の認識の具体構成は本実施形態を限定するものではなく、例えば、以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。
　・サポートベクターマシン（SVM: Support Vector Machine）
　・クラスタリング（Clustering）
　・帰納論理プログラミング（ILP: Inductive Logic Programming）
　・遺伝的アルゴリズム（GP: Genetic Programming）
　・ベイジアンネットワーク（BN: Bayesian Network）
　・ニューラルネットワーク（NN: Neural Network）
　ニューラルネットワークを用いる場合、データをニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データオーグメンテーション（Data Augmentation）等の手法を用いることができる。
　また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよい。より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。
　また、ニューラルネットワークとして、数十～数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。
　また、演算処理部２１，２２による対象物の姿勢状態の算出、状態認識部２３による対象物の配置状態の認識、方法決定部２４による姿勢状態の算出に用いる演算処理部２１，２２の算出結果の利用方法、および対象物認識部２５による対象物の姿勢状態の認識に用いられる機械学習は、教師あり学習であってもよいし、教師なし学習であってもよい。
　〔まとめ〕
　本発明の一態様に係る対象物認識装置は、複数の対象物が配置されることが可能な所定の空間領域における、前記対象物の姿勢状態を算出する複数の演算処理部であって、各演算処理部は互いに異なる手法によって前記対象物の姿勢状態を算出する複数の演算処理部と、前記空間領域に配置されている複数の対象物全体の配置状態を認識する状態認識部と、前記状態認識部による認識結果に応じて、前記複数の演算処理部による算出結果の利用方法を決定する方法決定部と、前記方法決定部によって決定された算出結果の利用方法によって、前記対象物の姿勢状態を認識する対象物認識部とを備える構成である。
　前記の構成によれば、所定の空間領域内に配置された複数の対象物全体の配置状態に適した算出手法を用いて、各対象物の形状、位置、向き、傾き等を示す姿勢状態を認識することが可能となる。よって、複数の対象物が整列状態であっても、ばら積み状態であっても、その配置状態によらず、各対象物の姿勢状態を正確に認識することができる。
　また、本発明の一態様に係る対象物認識装置は、前記複数の演算処理部は、前記空間領域を撮像した２次元画像のエッジ検出を行い、該エッジ検出結果と、前記対象物の形状、およびテスクチャの少なくとも何れか一方とのパターンマッチングを行うことによって前記対象物の姿勢状態を算出する２次元画像演算処理部と、前記空間領域に対して所定の３次元形状算出手法によって前記対象物の姿勢状態を算出する３次元画像演算処理部と、を含んでいてもよい。
　前記の構成によれば、２次元画像演算処理部によって算出された対象物の姿勢状態と、３次元画像演算処理部によって算出された対象物の姿勢状態と、の算出結果のうち少なくとも何れか一方を用いて、各対象物の姿勢状態を認識することができる。よって、複数の対象物全体の配置状態によらず、各対象物の姿勢状態を正確に認識することができる。
　また、本発明の一態様に係る対象物認識装置は、前記方法決定部は、前記状態認識部による認識結果に応じて、前記複数の演算処理部の中から特定の演算処理部を選択し、前記対象物認識部は、前記方法決定部によって選択された演算処理部による算出結果に基づいて、前記対象物の姿勢状態を認識してもよい。
　前記の構成によれば、２次元画像演算処理部の算出結果と、３次元画像演算処理部の算出結果と、のうち複数の対象物全体の配置状態に応じて、適した算出結果を用いて各対象物の姿勢状態を正確に認識することができる。
　また、本発明の一態様に係る対象物認識装置は、前記方法決定部は、前記状態認識部による認識結果に応じて、前記複数の演算処理部による算出結果に対して重み付けを付与し、前記対象物認識部は、前記方法決定部によって重み付けを付与された、各演算処理部による算出結果に基づいて、前記対象物の姿勢状態を認識してもよい。
　前記の構成によれば、２次元画像演算処理部の算出結果と、３次元画像演算処理部の算出結果と、の両方を複数の対象物全体の配置状態に応じた配分に応じて重み付けをして用いて、各対象物の姿勢状態を認識することができる。これにより、複数の対象物の配置状態によらず、各対象物の姿勢状態を正確に認識することができる。
　また、本発明の一態様に係る対象物認識装置は、前記状態認識部は、前記複数の演算処理部のうち、所定の演算処理部による算出結果に基づいて算出された、前記空間領域に含まれる面の法線方向の分布状態に基づいて、前記複数の対象物全体の配置状態を認識してもよい。
　前記の構成によれば、２次元画像演算処理部の算出結果と、３次元画像演算処理部の算出結果との少なくとも何れかの算出結果に基づいて複数の対象物全体の配置状態を認識し、配置状態に適した算出結果を利用して各対象物の姿勢状態を正確に認識することができる。
　また、本発明の一態様に係る対象物認識装置は、前記状態認識部は、前記空間領域を撮像した２次元画像のエッジ検出を行い、該エッジ検出結果と、前記対象物の形状、およびテクスチャの少なくとも何れか一方とのパターンマッチングを行うことによって前記対象物の姿勢状態を算出する２次元画像演算処理部による算出結果の信頼度を算出し、該信頼度に基づいて、前記複数の対象物全体の配置状態を認識してもよい。
　前記の構成によれば、複数の対象物全体の配置状態を正確に認識することができ、配置状態に応じて適した算出結果を用いて、各対象物の姿勢状態を正確に認識することができる。
　また、本発明の一態様に係る対象物認識装置は、前記状態認識部は、前記複数の演算処理部のうち、所定の演算処理部による算出結果に関して、前記複数の対象物全体の所定の配置状態毎に機械学習を行った学習結果を参照して、前記複数の対象物全体の配置状態を認識してもよい。
　前記の構成によれば、複数の対象物全体の配置状態を機械学習を行った学習結果を参照して正確に認識することができ、配置状態に応じて適した算出結果を用いて、各対象物の姿勢状態を正確に認識することができる。
　また、本発明の一態様に係るマニピュレータは、対象物に対する把持動作を行うロボットアームと、前記対象物認識装置と、前記対象物認識装置による対象物認識結果に基づいて前記ロボットアームの動作を制御する制御部と、を備える構成である。
　前記の構成によれば、ロボットアームの動作により、複数の対象物全体の配置状態に因らず、対象物を適切にピッキングすることができる。
　また、本発明の一態様に係る移動ロボットは、前記マニピュレータと、前記マニピュレータを搬送する無人搬送車とを備える構成である。
　前記の構成によれば、無人搬送車、およびロボットアームの動作により、複数の対象物全体の配置状態に因らず、対象物を適切にピッキングすることができる。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
２　対象物
３　コンテナー（所定の空間領域）
５　センサ
１０　対象物認識装置
１５　取得部
１６　通信部
１８　記憶部
２０　制御部
２１　２次元画像演算処理部（演算処理部）
２２　３次元画像演算処理部（演算処理部）
２３　状態認識部
２４　方法決定部
２５　対象物認識部
５０　ロボットアーム
５５　ロボット制御部（制御部）
１００　移動ロボット
１２０　マニピュレータ
１５０　無人搬送車

Claims (9)

  1. 　複数の対象物が配置されることが可能な所定の空間領域における、前記対象物の姿勢状態を算出する複数の演算処理部であって、各演算処理部は互いに異なる手法によって前記対象物の姿勢状態を算出する複数の演算処理部と、
    　前記空間領域に配置されている複数の対象物全体の配置状態を認識する状態認識部と、
    　前記状態認識部による認識結果に応じて、前記複数の演算処理部による算出結果の利用方法を決定する方法決定部と、
    　前記方法決定部によって決定された算出結果の利用方法によって、前記対象物の姿勢状態を認識する対象物認識部とを備える対象物認識装置。
  2. 　前記複数の演算処理部は、
    　前記空間領域を撮像した２次元画像のエッジ検出を行い、該エッジ検出結果と、前記対象物の形状、およびテスクチャの少なくとも何れか一方とのパターンマッチングを行うことによって前記対象物の姿勢状態を算出する２次元画像演算処理部と、
    　前記空間領域に対して所定の３次元形状算出手法によって前記姿勢状態を算出する３次元画像演算処理部と、を含んでいる請求項１記載の対象物認識装置。
  3. 　前記方法決定部は、前記状態認識部による認識結果に応じて、前記複数の演算処理部の中から特定の演算処理部を選択し、
    　前記対象物認識部は、前記方法決定部によって選択された演算処理部による算出結果に基づいて、前記対象物の姿勢状態を認識する請求項１または２に記載の対象物認識装置。
  4. 　前記方法決定部は、前記状態認識部による認識結果に応じて、前記複数の演算処理部による算出結果に対して重み付けを付与し、
    　前記対象物認識部は、前記方法決定部によって重み付けを付与された、各演算処理部による算出結果に基づいて、前記対象物の姿勢状態を認識する請求項１または２に記載の対象物認識装置。
  5. 　前記状態認識部は、前記複数の演算処理部のうち、所定の演算処理部による算出結果に基づいて算出された、前記空間領域に含まれる面の法線方向の分布状態に基づいて、前記複数の対象物全体の配置状態を認識する請求項１～４のいずれか一項に記載の対象物認識装置。
  6. 　前記状態認識部は、前記空間領域を撮像した２次元画像のエッジ検出を行い、該エッジ検出結果と、前記対象物の形状、およびテクスチャの少なくとも何れか一方とのパターンマッチングを行うことによって前記対象物の姿勢状態を算出する２次元画像演算処理部による算出結果の信頼度を算出し、該信頼度に基づいて、前記複数の対象物全体の配置状態を認識する請求項１～４のいずれか一項に記載の対象物認識装置。
  7. 　前記状態認識部は、前記複数の演算処理部のうち、所定の演算処理部による算出結果に関して、前記複数の対象物全体の所定の配置状態毎に機械学習を行った学習結果を参照して、前記複数の対象物全体の配置状態を認識する請求項１～４のいずれか一項に記載の対象物認識装置。
  8. 　対象物に対する把持動作を行うロボットアームと、
    　請求項１～７のいずれか一項に記載の対象物認識装置と、
    　前記対象物認識装置による対象物認識結果に基づいて前記ロボットアームの動作を制御する制御部と、を備えるマニピュレータ。
  9. 　請求項８に記載のマニピュレータと
    　前記マニピュレータを搬送する無人搬送車とを備える移動ロボット。
PCT/JP2019/009027 2018-09-07 2019-03-07 対象物認識装置、マニピュレータ、および移動ロボット WO2020049766A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/267,039 US11964399B2 (en) 2018-09-07 2019-03-07 Target object recognition device, manipulator, and mobile robot
CN201980051605.4A CN112534476A (zh) 2018-09-07 2019-03-07 对象物识别装置、操作器以及移动机器人
EP19856640.8A EP3848898B1 (en) 2018-09-07 2019-03-07 Target object recognition device, manipulator, and mobile robot

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018168033A JP7031540B2 (ja) 2018-09-07 2018-09-07 対象物認識装置、マニピュレータ、および移動ロボット
JP2018-168033 2018-09-07

Publications (1)

Publication Number Publication Date
WO2020049766A1 true WO2020049766A1 (ja) 2020-03-12

Family

ID=69721567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009027 WO2020049766A1 (ja) 2018-09-07 2019-03-07 対象物認識装置、マニピュレータ、および移動ロボット

Country Status (4)

Country Link
EP (1) EP3848898B1 (ja)
JP (1) JP7031540B2 (ja)
CN (1) CN112534476A (ja)
WO (1) WO2020049766A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6909937B1 (ja) * 2021-01-15 2021-07-28 Dmg森精機株式会社 無人搬送システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5429614B1 (ja) 1970-06-15 1979-09-25
JP2006242943A (ja) * 2005-02-04 2006-09-14 Canon Inc 位置姿勢計測方法及び装置
JP2015203680A (ja) * 2014-04-16 2015-11-16 キヤノン株式会社 情報処理装置、方法、プログラム
JP2015212644A (ja) * 2014-05-01 2015-11-26 キヤノン株式会社 情報処理装置およびその方法、計測装置、並びに、作業装置
JP2016170050A (ja) * 2015-03-12 2016-09-23 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3525896B2 (ja) * 1999-03-19 2004-05-10 松下電工株式会社 ３次元物体認識方法および同方法を使用したビンピッキングシステム
JP4992289B2 (ja) * 2006-05-11 2012-08-08 コニカミノルタホールディングス株式会社 認証システム、認証方法、及びプログラム
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
KR101225644B1 (ko) * 2010-07-16 2013-01-24 성균관대학교산학협력단 로봇의 물체 인식 및 자세 추정 방법
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
JP5786896B2 (ja) * 2013-06-07 2015-09-30 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
CN104134188A (zh) * 2014-07-29 2014-11-05 湖南大学 一种基于二维和三维摄像机融合的三维视觉信息获取方法
US9486921B1 (en) * 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6117901B1 (ja) * 2015-11-30 2017-04-19 ファナック株式会社 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム
JP2018034243A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット、ロボット制御装置、及びロボットシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5429614B1 (ja) 1970-06-15 1979-09-25
JP2006242943A (ja) * 2005-02-04 2006-09-14 Canon Inc 位置姿勢計測方法及び装置
JP2015203680A (ja) * 2014-04-16 2015-11-16 キヤノン株式会社 情報処理装置、方法、プログラム
JP2015212644A (ja) * 2014-05-01 2015-11-26 キヤノン株式会社 情報処理装置およびその方法、計測装置、並びに、作業装置
JP2016170050A (ja) * 2015-03-12 2016-09-23 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3848898A4

Also Published As

Publication number Publication date
US20210299878A1 (en) 2021-09-30
JP7031540B2 (ja) 2022-03-08
EP3848898B1 (en) 2024-04-10
JP2020042421A (ja) 2020-03-19
EP3848898A4 (en) 2022-06-15
EP3848898A1 (en) 2021-07-14
CN112534476A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
US11383380B2 (en) Object pickup strategies for a robotic device
US10933527B2 (en) Robotic system with enhanced scanning mechanism
CN111776759B (zh) 具有自动化包裹登记机构的机器人系统及其操作方法
US9630316B2 (en) Real-time determination of object metrics for trajectory planning
US9424470B1 (en) Systems and methods for scale invariant 3D object detection leveraging processor architecture
CN106575438B (zh) 立体和结构光处理的组合
CN114820772B (zh) 基于图像数据的物体检测的系统及方法
US20220016764A1 (en) Object grasping system
CN115703232A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法
WO2020049766A1 (ja) 対象物認識装置、マニピュレータ、および移動ロボット
US11964399B2 (en) Target object recognition device, manipulator, and mobile robot
US20230027984A1 (en) Robotic system with depth-based processing mechanism and methods for operating the same
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法
WO2023073780A1 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法
JP7398763B2 (ja) 重なり処理機構を備えたロボットシステム及びその操作方法
KR20220031676A (ko) 화상 인식 방법 및 화상 인식 장치
CN115609569A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19856640

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019856640

Country of ref document: EP

Effective date: 20210407