WO2022004525A1 - 情報処理装置、仕分システム、及びプログラム - Google Patents

情報処理装置、仕分システム、及びプログラム Download PDF

Info

Publication number
WO2022004525A1
WO2022004525A1 PCT/JP2021/023807 JP2021023807W WO2022004525A1 WO 2022004525 A1 WO2022004525 A1 WO 2022004525A1 JP 2021023807 W JP2021023807 W JP 2021023807W WO 2022004525 A1 WO2022004525 A1 WO 2022004525A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
identification
area
control unit
image
Prior art date
Application number
PCT/JP2021/023807
Other languages
English (en)
French (fr)
Inventor
杜朗 鳥居
琢磨 赤木
泰弘 大川
Original Assignee
株式会社東芝
東芝インフラシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝, 東芝インフラシステムズ株式会社 filed Critical 株式会社東芝
Priority to EP21833405.0A priority Critical patent/EP4173731A4/en
Priority to US18/002,547 priority patent/US20230271225A1/en
Publication of WO2022004525A1 publication Critical patent/WO2022004525A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/10—Apparatus characterised by the means used for detection ofthe destination
    • B07C3/14—Apparatus characterised by the means used for detection ofthe destination using light-responsive detecting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/02—Apparatus characterised by the means used for distribution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/147—Determination of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/424—Postal images, e.g. labels or addresses on parcels or postal envelopes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40078—Sort objects, workpieces
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45047—Sorting

Definitions

  • An embodiment of the present invention relates to an information processing device, a sorting system, and a program.
  • a process of recognizing the shape of the load may be performed.
  • the shape of the luggage is irregular or if multiple luggages are randomly loaded, it becomes difficult to accurately recognize the shape of the luggage, and the holding operation is appropriate. May not be done.
  • one of the problems of the embodiment is to provide an information processing device, a sorting system, and a program capable of realizing an appropriate holding operation regardless of the shape of the cargo.
  • the information processing device of the embodiment includes a connection unit, a recognition control unit, and an output unit.
  • the connection unit is connected to an image pickup device that captures an image of an area on which an object to be loaded is placed using the cargo handling device.
  • the recognition control unit acquires the image information of the area via the connection unit, detects the identification area including the identification information attached to the object from the image information, and recognizes the identification information in the identification area.
  • the output unit outputs the area information regarding the identification area detected by the recognition control unit and the identification information recognized by the recognition control unit.
  • FIG. 1 is a diagram showing an example of a configuration of a sorting system according to an embodiment.
  • FIG. 2 is a diagram showing an example of a box image according to an embodiment.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the control device according to the embodiment.
  • FIG. 4 is a block diagram showing an example of the functional configuration of the control device according to the embodiment.
  • FIG. 5 is a block diagram showing an example of a specific functional configuration of the recognition processing unit according to the embodiment.
  • FIG. 6 is a block diagram showing an example of a specific functional configuration of the mounting control unit according to the embodiment.
  • FIG. 7 is a block diagram showing an example of a specific functional configuration of the holding control unit according to the embodiment.
  • FIG. 1 is a diagram showing an example of a configuration of a sorting system according to an embodiment.
  • FIG. 2 is a diagram showing an example of a box image according to an embodiment.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the
  • FIG. 8 is a diagram showing a first example of the identification region according to the embodiment.
  • FIG. 9 is a diagram showing a second example of the identification region according to the embodiment.
  • FIG. 10 is a diagram showing a first example of a holding position according to an embodiment.
  • FIG. 11 is a diagram showing a second example of the holding position according to the embodiment.
  • FIG. 12 is a block diagram showing an example of a specific functional configuration of the operation information generation unit according to the embodiment.
  • FIG. 13 is a sequence diagram showing an example of a processing flow in the control device according to the embodiment.
  • FIG. 14 is a flowchart showing an example of a processing flow in the sorting system according to the embodiment.
  • FIG. 1 is a diagram showing an example of the configuration of the sorting system 1 according to the embodiment.
  • the sorting system 1 is a system that sorts the luggage 3 (object) loaded in the box 2 into a predetermined sorting destination.
  • Box 2 is a container for accommodating luggage 3 to be sorted.
  • the box 2 is an example of means for accommodating the luggage 3, and a loading platform, a pallet, a car, or the like may be used as an alternative to the box 2.
  • the sorting pocket 4 is a sorting destination of the luggage 3, and is partitioned based on a predetermined standard (for example, the destination of the luggage 3).
  • the sorting system 1 includes a robot arm 11 (cargo handling device), a camera 12 (imaging device), and a control device 13 (information processing device).
  • the robot arm 11, the camera 12, and the control device 13 are configured to be able to communicate with each other via the network 14.
  • the specific configuration of the network 14 is not particularly limited, but may be, for example, a LAN (Local Area Network), a cloud system, or the like.
  • the robot arm 11 is a device that holds the luggage 3 housed in the box 2, lifts the held luggage 3, and moves the luggage 3 to the sorting pocket 4 which is a sorting destination.
  • the robot arm 11 includes a holding mechanism 21, an arm mechanism 22, a contact sensor 23, and a drive control mechanism 24.
  • the holding mechanism 21 is a mechanism for holding the luggage 3.
  • the holding mechanism 21 according to the present embodiment includes a suction pad that sticks to the luggage 3.
  • the suction pad sucks and holds the baggage 3 by creating a negative pressure in the internal space while in contact with the surface of the baggage 3.
  • the suction pad is controlled by a control signal from the drive control mechanism 24.
  • the configuration of the holding mechanism 21 is not limited to this, and may be, for example, a configuration using a grappa that grips the luggage 3 by sandwiching the luggage 3 with a plurality of finger-shaped members.
  • the arm mechanism 22 is a mechanism for moving the holding mechanism 21.
  • the arm mechanism 22 includes a plurality of arms and a joint mechanism for connecting the plurality of arms.
  • the joint mechanism incorporates an actuator controlled by a control signal from the drive control mechanism 24.
  • the contact sensor 23 is a sensor that detects the stress applied to the holding mechanism 21.
  • the contact sensor 23 detects, for example, the stress applied to the holding mechanism 21 from the vertical direction.
  • the contact sensor 23 transmits the detection result to the drive control mechanism 24.
  • the contact sensor 23 may also detect the stress applied to the arm mechanism 22.
  • the drive control mechanism 24 controls the operation of the holding mechanism 21 and the arm mechanism 22 based on the operation information output from the control device 13.
  • the drive control mechanism 24 is configured by using, for example, a microprocessor, a memory, an ASIC (Application Specific Integrated Circuit), or the like, and controls the holding mechanism 21 and the arm mechanism 22 according to the operation information supplied from the control device 13. To generate a control signal for.
  • the operation information includes information for realizing a holding operation in which the holding mechanism 21 holds the luggage 3 and information for realizing a sorting operation for moving the held luggage 3 to the sorting destination.
  • the drive control mechanism 24 may be configured as a sequencer.
  • the camera 12 is a device for acquiring image information of the luggage 3 housed in the box 2.
  • the camera 12 outputs image information to the control device 13 via the network 14.
  • the camera 12 is a monocular camera configured by using, for example, a lens, an image pickup element that converts light formed by the lens into an electric signal, and the like. With such a configuration, the camera 12 acquires image information constituting a raster image in which coordinates (pixels) having color information are two-dimensionally arranged.
  • the raster image may be a color image or a monochrome image.
  • the angle of view of the lens of the camera 12 is adjusted so that the area including the box 2 in which the luggage 3 is housed can be imaged.
  • the optical axis of the lens of the camera 12 is adjusted so as to face the bottom surface of the box 2, in other words, to be parallel to the vertical direction.
  • the camera 12 captures a predetermined range including the box 2 from a direction facing the bottom surface of the box 2 and acquires a raster image.
  • an image in a predetermined range including the box 2 will be referred to as a box image.
  • FIG. 2 is a diagram showing an example of the box image 51 according to the embodiment.
  • the box image 51 illustrated in FIG. 2 is a two-dimensional image obtained by photographing the inside of the box 2 from above.
  • a state in which a plurality of luggage 3s are randomly loaded in the box 2 is exemplified. Further, the identification information 10 described later is attached to each baggage 3.
  • the control device 13 generates motion information for controlling the motion of the robot arm 11 based on the image information (box image 51) acquired by the camera 12, and outputs the motion information to the drive control mechanism 24.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the control device 13 according to the embodiment.
  • the control device 13 illustrated in FIG. 3 includes a CPU (Central Processing Unit) 31, a RAM (Random Access Memory) 32, a ROM (Read Only Memory) 33, an auxiliary storage device 34, and a communication I / F (Interface) 35 (connection unit). ), User I / F36, and bus 37.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • auxiliary storage device 34 a communication I / F (Interface) 35 (connection unit).
  • User I / F36 User I / F36
  • the CPU 31 performs a predetermined control calculation process with the RAM 32 as a working area according to a program stored in the ROM 33 or the auxiliary storage device 34.
  • the auxiliary storage device 34 is a non-volatile memory or the like, and stores various data necessary for processing by the CPU 31.
  • the communication I / F 35 is a device that enables information to be transmitted / received to / from an external device (camera 12, drive control mechanism 24, etc.) via an appropriate computer network (network 14 or the like).
  • the user I / F 36 is a device that enables information input / output between the control device 13 and the user, and is, for example, a keyboard, a mouse, a touch panel mechanism, a microphone, a display, a speaker, and the like.
  • the CPU 31, RAM 32, ROM 33, auxiliary storage device 34, communication I / F35, and user I / F36 are communicably connected via the bus 37.
  • FIG. 4 is a block diagram showing an example of the functional configuration of the control device 13 according to the embodiment.
  • the control device 13 exemplified in FIG. 4 includes a recognition control unit 100, an output unit 101, a mounting control unit 102, a holding control unit 103, and an operation information generation unit 104.
  • These functional elements 100 to 104 are realized, for example, by the cooperation of the hardware configuration and the program shown in FIG. It should be noted that these functional elements 100 to 104 may be configured by a plurality of physically divided hardware.
  • the recognition control unit 100 acquires the image information (box image 51) acquired by the camera 12 via the connection unit (communication I / F35 or the like) between the control device 13 and the camera 12.
  • the recognition control unit 100 detects an identification area including the identification information 10 attached to the package 3 from the acquired image information, and generates area information regarding the identification area.
  • the recognition control unit 100 recognizes the identification information 10 in the detected identification area.
  • the identification information 10 is information corresponding to the supplier of the package 3.
  • the identification information 10 may be, for example, a character string, a bar code, a two-dimensional code, or the like indicating a destination (zip code, address, etc.) or a transport destination (sorting pocket 4, etc.) of the package 3.
  • the output unit 101 outputs the identification information 10 recognized by the recognition control unit 100 to the mounting control unit 102, and outputs the area information regarding the identification area detected by the recognition control unit 100 to the holding control unit 103.
  • the loading control unit 102 sets a partition for mounting the luggage 3 held by the robot arm 11 based on the identification information 10 output from the output unit 101.
  • the holding control unit 103 sets the holding position in which the holding mechanism 21 of the robot arm 11 holds the load 3 in the identification area based on the area information output from the output unit 101.
  • the operation information generation unit 104 operates the robot arm 11 based on the supplier information indicating the supplier set by the mounting control unit 102 and the holding position information indicating the holding position set by the holding control unit 103. Generate operation information for control.
  • the holding position is set based on the position of the identification information 10.
  • an appropriate holding operation can be realized without requiring information that is difficult to recognize, such as the shape of the luggage 3 itself and the position of the luggage 3 in the three-dimensional space.
  • FIG. 5 is a block diagram showing an example of a specific functional configuration of the recognition control unit 100 according to the embodiment.
  • the recognition control unit 100 illustrated in FIG. 5 includes an OCR (Optical Character Recognition) processing unit 111, a barcode reading unit 112, a two-dimensional code reading unit 113, an identification information acquisition unit 114, and an area information acquisition unit 115.
  • OCR Optical Character Recognition
  • the OCR processing unit 111 converts the image data of the character string into text data (character code).
  • the OCR processing unit 111 acquires text data indicating a destination or the like described in the package 3 from the box image 51.
  • the OCR processing unit 111 performs image recognition processing using the given parameter set.
  • the parameter set is a set of parameters used for one or more processes included in the image recognition process, and includes, for example, a threshold value of the binarization process, a threshold value for determining success / failure of character recognition, and the like. Further, the parameter set may include, for example, a threshold value used for processing RGB (Red-Green-Blue) information when converting a color image to a binarized image.
  • the threshold value used for processing the RGB information the threshold value for recognizing the RGB information contained in the image such as red, green, etc. (background other than the characters in the address entry field) or the recognized border line is processed ( Includes the threshold to be erased).
  • the parameter set includes a threshold value that determines the contrast adjusted according to changes in the shading of printed characters, written characters, etc., and the label size of individual characters included in the image (area for recognizing individual characters in the character string).
  • a threshold value and the like for determining the above are included.
  • the threshold for determining the label size is adjusted to properly recognize the characters when the characters are blurred (large label size) or partially erased (small label size). It is a threshold value.
  • the barcode reading unit 112 reads the barcode attached to the luggage 3 from the box image 51, and acquires the barcode data indicating the configuration of the barcode.
  • the two-dimensional code reading unit 113 reads the two-dimensional code attached to the luggage 3 from the box image 51, and acquires the two-dimensional code data indicating the configuration of the two-dimensional code.
  • the identification information acquisition unit 114 outputs text data acquired by the OCR processing unit 111, barcode data acquired by the barcode reading unit 112, or two-dimensional code data acquired by the two-dimensional code reading unit 113. Output to.
  • the area information acquisition unit 115 acquires area information related to the identification area including the identification information 10 from the OCR processing unit 111, the barcode reading unit 112, or the two-dimensional code reading unit 113.
  • the area information includes information indicating the position of the identification area in the area where the luggage 3 is placed (the area in the box 2 in this embodiment).
  • the area information can be acquired, for example, based on the coordinate information indicating the area (reading area) in the box image 51 read when the identification information 10 is detected.
  • the area information acquisition unit 115 outputs the area information to the output unit 101.
  • the recognition control unit 100 includes an OCR processing unit 111, a barcode reading unit 112, and a two-dimensional code reading unit 113, but the present invention is not limited thereto. At least one of these may be provided depending on the type of identification information 10 used.
  • FIG. 6 is a block diagram showing an example of a specific functional configuration of the mounting control unit 102 according to the embodiment.
  • the mounting control unit 102 shown in FIG. 6 includes an acquisition unit 121, a destination DB (Data Base) 122, and an external search unit 123.
  • Data Base Data Base
  • the acquisition unit 121 Based on the identification information 10 (text data, bar code data, or two-dimensional code data) output from the output unit 101, the acquisition unit 121 indicates the supplier information of the package 3 to which the identification information 10 is attached. To get. The acquisition unit 121 outputs the supplier information to the operation information generation unit 104.
  • the destination DB 122 holds data in which the identification information 10 and the supplier are associated (for example, a table in which the address and the tray of the sorting pocket 4 are associated with each other).
  • the acquisition unit 121 refers to the destination DB 122, and acquires the supplier information indicating the supplier corresponding to the identification information 10 acquired from the output unit 101.
  • the external search unit 123 is a search engine that makes it possible to search using text data as a keyword and extract predetermined information.
  • the acquisition unit 121 extracts predetermined information from the external search unit 123 using the text data acquired from the output unit 101 as a keyword, and treats the extracted information as supplier information.
  • FIG. 7 is a block diagram showing an example of a specific functional configuration of the holding control unit 103 according to the embodiment.
  • the holding control unit 103 illustrated in FIG. 7 includes a holding position setting unit 131.
  • the holding position setting unit 131 sets the holding position in the identification area based on the area information acquired from the output unit 101.
  • FIG. 8 is a diagram showing a first example of the identification region 52 according to the embodiment.
  • the identification area 52 illustrated in FIG. 8 is a rectangle set so as to include the entire identification information 10 for each identification information 10.
  • Each side of the identification area 52 according to this example is parallel to each side of the box image 51.
  • FIG. 9 is a diagram showing a second example of the identification region 52 according to the embodiment.
  • the identification area 52 illustrated in FIG. 9 is a rectangle set to include the entire identification information 10 for each identification information 10, as in the first example shown in FIG. However, each side of the identification area 52 illustrated in FIG. 9 is inclined along the area where the identification information 10 exists. As a result, the ratio of the identification area 52 including the area other than the identification information 10 can be reduced.
  • the method of setting the identification area 52 is not limited to the above example.
  • the identification area 52 may be composed of, for example, a polygon other than a rectangle, a circle, a free curve, or the like.
  • the holding position setting unit 131 sets the holding position (the position where the holding mechanism 21 holds the load 3) in the identification area 52 as described above.
  • the holding position setting unit 131 sets, for example, the substantially center of gravity or the substantially center of the identification area 52 as the holding position.
  • the holding position setting unit 131 outputs the holding position information indicating the holding position to the operation information generation unit 104.
  • FIG. 10 is a diagram showing a first example of the holding position 53 according to the embodiment.
  • FIG. 11 is a diagram showing a second example of the holding position 53 according to the embodiment.
  • the holding position 53 illustrated in FIG. 10 corresponds to the identification area 52 illustrated in FIG.
  • the holding position 53 illustrated in FIG. 11 corresponds to the identification area 52 illustrated in FIG.
  • the luggage 3 can be reliably held even when the shape of the luggage 3 itself cannot be recognized.
  • FIG. 12 is a block diagram showing an example of a specific functional configuration of the operation information generation unit 104 according to the embodiment.
  • the motion information generation unit 104 exemplified in FIG. 12 includes a holding motion planning section 141, a sorting motion planning section 142, and an integration section 143.
  • the holding operation planning unit 141 plans a holding operation, which is an operation until the robot arm 11 holds the load 3, based on the holding position information acquired from the holding control unit 103.
  • the holding operation includes an operation of moving the arm mechanism 22 so as to move the holding mechanism 21 to the holding position 53, and an operation of the holding mechanism 21 reaching the holding position 53 holding the load 3 (making the inside of the suction pad negative pressure). Etc. are included.
  • the sorting operation planning unit 142 plans a sorting operation, which is an operation in which the robot arm 11 moves the load 3 to the supplier based on the supplier information acquired from the supplier specifying unit 102.
  • the holding mechanism 21 holding the luggage 3 is moved from the holding position 53 to the sorting destination (a specific tray of the sorting pocket 4 or the like), and the arm mechanism 22 is moved to move the holding mechanism 22 to reach the sorting destination.
  • the mechanism 21 includes an operation of releasing the luggage 3 (releasing the negative pressure in the suction pad) and the like.
  • the integration unit 143 integrates the holding operation planned by the holding operation planning unit 141 and the sorting operation planned by the sorting operation planning unit 142, and generates operation information indicating the overall operation plan of the robot arm 11. ..
  • the integration unit 143 outputs motion information to the robot arm 11 (drive control mechanism 24).
  • FIG. 13 is a sequence diagram showing an example of the processing flow in the control device 13 according to the embodiment.
  • the recognition control unit 100 detects the identification area 52 and the output unit 101 outputs the area information (S101)
  • the holding control unit 103 sets the holding position 53 based on the area information (S102) and indicates the holding position 53.
  • the holding position information is output to the operation information generation unit 104 (S103).
  • the operation information generation unit 104 plans a holding operation based on the acquired holding position information (S104).
  • the recognition control unit 100 recognizes the identification information 10 and the output unit 101 outputs the identification information 10 (S105)
  • the mounting control unit 102 identifies the supplier corresponding to the identification information 10 (S106), and the supplier Is output to the operation information generation unit 104 (S107).
  • the operation information generation unit 104 plans the sorting operation based on the acquired supplier information (S108). Then, the motion information generation unit 104 generates motion information indicating a comprehensive motion plan that integrates the holding motion and the sorting motion, and outputs the motion information to the drive control mechanism 24 of the robot arm 11 (S109).
  • FIG. 14 is a flowchart showing an example of the processing flow in the sorting system 1 according to the embodiment.
  • the drive control mechanism 24 determines whether or not the operation information has been received from the control device 13 (S202).
  • the image pickup by the camera 12 is continued (S201), in other words, the drive control mechanism 24 waits for the reception of the operation information.
  • the drive control mechanism 24 receives the operation information (S202: Yes)
  • the drive control mechanism 24 causes the robot arm 11 to execute the holding operation (S203).
  • the drive control mechanism 24 determines whether or not the luggage 3 is successfully held by the holding mechanism 21 (S204). The determination in step S204 may be performed based on, for example, the detection result by the contact sensor 23 or the like. If the holding is successful (S204: Yes), the drive control mechanism 24 subsequently causes the robot arm 11 to perform a sorting operation (S205). If the holding is not successful (S204: No), the drive control mechanism 24 executes error processing (S206).
  • the error processing is a processing for avoiding a problem caused by the failure to hold the baggage 3, and the specific content thereof should not be particularly limited, but for example, notification to the administrator, system stoppage, and so on. It may be a re-execution of the holding operation.
  • the program for realizing various functions in the control device 13 is a file in an installable format or an executable format, and is a CD (Compact Disc) -ROM, a flexible disc (FD), or a CD-R (Recordable). ), DVD (Digital Versatile Disk), etc., which can be recorded and provided on a computer-readable recording medium.
  • the program may be provided or distributed via a network such as the Internet.
  • control device 13 and the drive control mechanism 24 are individually provided is illustrated in the above embodiment, the configuration in which the control device 13 and the drive control mechanism 24 are integrated may be used.
  • one robot arm 11 is controlled by one control device 13
  • the present invention is not limited to this.
  • a plurality of robot arms 11 may be controlled by one control device 13.
  • the holding position 53 is set based on the position of the identification information 10
  • an appropriate holding operation can be realized regardless of the shape of the luggage 3 itself.
  • a highly reliable sorting system 1 can be provided.
  • Retention control unit 104 ... Operation information generation unit, 111 ... OCR processing unit, 112 ... Bar code reading unit, 113 ... Two-dimensional code reading unit, 114 ... Identification information acquisition unit, 115 ... Area information acquisition unit, 121 ... Acquisition unit, 122 ... Destination DB, 123 ... External search unit, 131 ... Holding position setting unit, 141 ... Holding operation planning unit, 142 ... Sorting operation planning unit, 143 ... Integration unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)
  • Sorting Of Articles (AREA)
  • Specific Conveyance Elements (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置は、接続部と、認識制御部と、出力部とを備える。接続部は、荷役装置を用いて荷役する対象となる物体が載置される領域を撮像する撮像装置と接続する。認識制御部は、接続部を介して領域の画像情報を取得し、画像情報から物体に付された識別情報が含まれる識別領域を検出し、識別領域内の識別情報を認識する。出力部は、認識制御部が検出した識別領域に関する領域情報、及び認識制御部が認識した識別情報を出力する。

Description

情報処理装置、仕分システム、及びプログラム
　本発明の実施形態は、情報処理装置、仕分システム、及びプログラムに関する。
　郵便、宅配等の業務において、ロボットアームを利用して書簡、書類、小包等の荷物を宛先等毎に仕分けるシステムが利用されている。
特開２０１９－１５０９０４号公報
　上記のようなシステムにおいて、ロボットアームが荷物を保持する保持動作を行う際に、荷物の形状を認識する処理が行われる場合がある。このような場合、荷物の形状が不定形であったり、複数の荷物が乱雑に積載された状態であったりする場合には、荷物の形状を正確に認識することが困難となり、保持動作が適切に行われない可能性がある。
　そこで、実施形態の課題の一つは、荷物の形状にかかわらず適切な保持動作を実現可能な情報処理装置、仕分システム、及びプログラムを提供することである。
　実施形態の情報処理装置は、接続部と、認識制御部と、出力部とを備える。接続部は、荷役装置を用いて荷役する対象となる物体が載置される領域を撮像する撮像装置と接続する。認識制御部は、接続部を介して領域の画像情報を取得し、画像情報から物体に付された識別情報が含まれる識別領域を検出し、識別領域内の識別情報を認識する。出力部は、認識制御部が検出した識別領域に関する領域情報、及び認識制御部が認識した識別情報を出力する。
図１は、実施形態にかかる仕分システムの構成の一例を示す図である。 図２は、実施形態にかかるボックス画像の一例を示す図である。 図３は、実施形態にかかる制御装置のハードウェア構成の一例を示すブロック図である。 図４は、実施形態にかかる制御装置の機能構成の一例を示すブロック図である。 図５は、実施形態にかかる認識処理部の具体的な機能構成の一例を示すブロック図である。 図６は、実施形態にかかる載置制御部の具体的な機能構成の一例を示すブロック図である。 図７は、実施形態にかかる保持制御部の具体的な機能構成の一例を示すブロック図である。 図８は、実施形態にかかる識別領域の第１例を示す図である。 図９は、実施形態にかかる識別領域の第２例を示す図である。 図１０は、実施形態にかかる保持位置の第１例を示す図である。 図１１は、実施形態にかかる保持位置の第２例を示す図である。 図１２は、実施形態にかかる動作情報生成部の具体的な機能構成の一例を示すブロック図である。 図１３は、実施形態にかかる制御装置における処理の流れの一例を示すシーケンス図である。 図１４は、実施形態にかかる仕分システムにおける処理の流れの一例を示すフローチャートである。
　以下、本開示のいくつかの実施形態及び変形例を図面に基づいて説明する。以下に記載する実施形態及び変形例の構成、並びに当該構成によってもたらされる作用及び効果は、あくまで一例であって、以下の記載内容に限られるものではない。
　図１は、実施形態にかかる仕分システム１の構成の一例を示す図である。仕分システム１は、ボックス２に積載された荷物３（物体）を所定の仕分先に仕分けるシステムである。
　ボックス２は、仕分作業の対象となる荷物３を収容する容器である。なお、ボックス２は荷物３を収容する手段の一例であり、ボックス２に代わるものとして、荷台、パレット、かご車等が用いられてもよい。仕分ポケット４は、荷物３の仕分先であり、所定の基準（例えば荷物３の宛先等）に基づき区画されている。
　仕分システム１は、ロボットアーム１１（荷役装置）、カメラ１２（撮像装置）、及び制御装置１３（情報処理装置）を備える。ロボットアーム１１、カメラ１２、及び制御装置１３は、ネットワーク１４を介して互いに通信可能に構成されている。ネットワーク１４の具体的構成は特に限定されるべきものではないが、例えば、ＬＡＮ（Local　Area　Network）、クラウドシステム等であり得る。
　まず、ロボットアーム１１の構成について説明する。ロボットアーム１１は、ボックス２に収容された荷物３を保持し、保持した荷物３を持ち上げ、荷物３を仕分先である仕分ポケット４に移動させる装置である。ロボットアーム１１は、保持機構２１、アーム機構２２、接触センサ２３、及び駆動制御機構２４を備える。
　保持機構２１は、荷物３を保持する機構である。本実施形態にかかる保持機構２１は、荷物３に吸着する吸着パッドを備える。吸着パッドは、荷物３の表面に接した状態で内部空間が負圧になることにより、荷物３を吸着して保持する。吸着パッドは、駆動制御機構２４からの制御信号により制御される。なお、保持機構２１の構成はこれに限定されるものではなく、例えば、複数の指状の部材により荷物３を挟むことにより荷物３を把持するグラッパを利用した構成等であってもよい。
　アーム機構２２は、保持機構２１を移動させる機構である。アーム機構２２は、複数のアームと、複数のアームを連結する関節機構とを備える。関節機構は、駆動制御機構２４からの制御信号により制御されるアクチュエータを内蔵する。
　接触センサ２３は、保持機構２１に対して加えられる応力を検知するセンサである。接触センサ２３は、例えば、保持機構２１に対して鉛直方向から加わる応力を検知する。接触センサ２３は、検知結果を駆動制御機構２４に送信する。なお、接触センサ２３は、アーム機構２２に対して加えられる応力も検知するものであってもよい。
　駆動制御機構２４は、制御装置１３から出力される動作情報に基づき保持機構２１及びアーム機構２２の動作を制御する。駆動制御機構２４は、例えば、マイクロプロセッサ、メモリ、ＡＳＩＣ（Application　Specific　Integrated　Circuit）等を利用して構成され、制御装置１３から供給される動作情報に応じて保持機構２１及びアーム機構２２を制御するための制御信号を生成する。動作情報は、保持機構２１が荷物３を保持する保持動作を実現するための情報と、保持された荷物３を仕分先へ移動させる仕分動作を実現するための情報とを含む。駆動制御機構２４は、シーケンサとして構成されていてもよい。
　次に、カメラ１２の構成について説明する。カメラ１２は、ボックス２内に収容された荷物３の画像情報を取得する装置である。カメラ１２は、ネットワーク１４を介して画像情報を制御装置１３に出力する。
　カメラ１２は、例えば、レンズ、レンズにより結像された光を電気信号に変換する撮像素子等を利用して構成される単眼カメラである。このような構成により、カメラ１２は色情報を有する座標（画素）が二次元的に配列されたラスタ画像を構成する画像情報を取得する。なお、ラスタ画像はカラー画像であってもモノクロ画像であってもよい。
　カメラ１２のレンズの画角は、荷物３が収容されたボックス２を含む領域を撮像できるように調整されている。例えば、カメラ１２のレンズの光軸は、ボックス２の底面に対向するように、換言すれば、鉛直方向に対して平行となるように調整される。カメラ１２は、ボックス２の底面に対向する方向からボックス２を含む所定範囲を撮像し、ラスタ画像を取得する。以降、ボックス２を含む所定範囲の画像をボックス画像と称する。
　図２は、実施形態にかかるボックス画像５１の一例を示す図である。図２に例示するボックス画像５１は、ボックス２の内部を上方から撮像して得られた二次元画像である。ここでは、ボックス２内に複数の荷物３が乱雑に積載された状態が例示されている。また、各荷物３には、後述する識別情報１０が付されている。
　次に、制御装置１３の構成について説明する。制御装置１３は、カメラ１２により取得された画像情報（ボックス画像５１）に基づき、ロボットアーム１１の動作を制御するための動作情報を生成し、動作情報を駆動制御機構２４に出力する。
　図３は、実施形態にかかる制御装置１３のハードウェア構成の一例を示すブロック図である。図３に例示する制御装置１３は、ＣＰＵ（Central　Processing　Unit）３１、ＲＡＭ（Random　　Access　Memory）３２、ＲＯＭ（Read　Only　Memory）３３、補助記憶装置３４、通信Ｉ／Ｆ（Interface）３５（接続部）、ユーザＩ／Ｆ３６、及びバス３７を備える。
　ＣＰＵ３１は、ＲＯＭ３３や補助記憶装置３４に記憶されたプログラムに従いＲＡＭ３２をワーキングエリアとして所定の制御演算処理を行う。補助記憶装置３４は、不揮発性メモリ等であり、ＣＰＵ３１による処理を行うために必要な各種データを蓄積する。通信Ｉ／Ｆ３５は、適宜なコンピュータネットワーク（ネットワーク１４等）を介して外部装置（カメラ１２、駆動制御機構２４等）との間で情報の送受信を可能にするデバイスである。ユーザＩ／Ｆ３６は、制御装置１３とユーザとの間で情報の入出力を可能にするデバイスであり、例えばキーボード、マウス、タッチパネル機構、マイク、ディスプレイ、スピーカ等である。ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、補助記憶装置３４、通信Ｉ／Ｆ３５、及びユーザＩ／Ｆ３６は、バス３７を介して通信可能に接続されている。
　図４は、実施形態にかかる制御装置１３の機能構成の一例を示すブロック図である。図４に例示する制御装置１３は、認識制御部１００、出力部１０１、載置制御部１０２、保持制御部１０３、及び動作情報生成部１０４を備える。これらの機能的要素１００～１０４は、例えば、図３に示すハードウェア構成及びプログラムの協働により実現される。なお、これらの機能的要素１００～１０４は、物理的に分割された複数のハードウェアにより構成されてもよい。
　認識制御部１００は、カメラ１２により取得された画像情報（ボックス画像５１）を、制御装置１３とカメラ１２との接続部（通信Ｉ／Ｆ３５等）を介して取得する。認識制御部１００は、取得した画像情報から荷物３に付された識別情報１０が含まれる識別領域を検出し、識別領域に関する領域情報を生成する。認識制御部１００は、検出した識別領域内の識別情報１０を認識する。識別情報１０は、荷物３の仕分先に対応する情報である。識別情報１０は、例えば、荷物３の宛先（郵便番号、住所等）や搬送先（仕分ポケット４等）を示す、文字列、バーコード、二次元コード等であり得る。
　出力部１０１は、認識制御部１００により認識された識別情報１０を載置制御部１０２に出力し、認識制御部１００により検出された識別領域に関する領域情報を保持制御部１０３に出力する。
　載置制御部１０２は、出力部１０１から出力された識別情報１０に基づき、ロボットアーム１１が保持した荷物３を載置する仕分先を設定する。
　保持制御部１０３は、出力部１０１から出力された領域情報に基づき、ロボットアーム１１の保持機構２１が荷物３を保持する保持位置を識別領域内に設定する。
　動作情報生成部１０４は、載置制御部１０２により設定された仕分先を示す仕分先情報と、保持制御部１０３により設定された保持位置を示す保持位置情報とに基づき、ロボットアーム１１の動作を制御するための動作情報を生成する。
　上記のように、本実施形態によれば、識別情報１０の位置に基づき保持位置が設定される。これにより、荷物３自体の形状、三次元空間における荷物３の位置等の認識困難な情報を必要とすることなく、適切な保持動作を実現できる。
　図５は、実施形態にかかる認識制御部１００の具体的な機能構成の一例を示すブロック図である。図５に例示する認識制御部１００は、ＯＣＲ（Optical　Character　Recognition）処理部１１１、バーコード読取部１１２、二次元コード読取部１１３、識別情報取得部１１４、及び領域情報取得部１１５を備える。
　ＯＣＲ処理部１１１は、文字列のイメージデータをテキストデータ（文字コード）に変換する。ＯＣＲ処理部１１１は、ボックス画像５１から荷物３に記載された宛先等を示すテキストデータを取得する。ＯＣＲ処理部１１１は、与えられたパラメータセットを用いて画像認識処理を行う。パラメータセットとは、画像認識処理に含まれる１以上の処理に用いられるパラメータの集合であり、例えば、２値化処理の閾値、文字認識の成功／不成功を決定する閾値等が含まれる。また、パラメータセットには、例えば、カラー画像から二値化画像に変換される際に、ＲＧＢ（Red-Green-Blue）情報の処理に用いられる閾値が含まれてもよい。このＲＧＢ情報の処理に用いられる閾値には、画像に含まれるＲＧＢ情報である赤、緑等の枠線（住所記載欄の文字以外の背景）を認識する閾値、又は認識した枠線を処理（消去）する閾値が含まれる。また、パラメータセットには、印字、記載された文字等の濃淡の変化に応じて調整されるコントラストを決定する閾値、画像に含まれる個別文字のラベルサイズ（文字列において個別文字を認識する領域）を決定するための閾値等が含まれる。ラベルサイズを決定するための閾値とは、文字が滲んだり（ラベルサイズが大きかったり）、文字が一部消えたり（ラベルサイズが小さかったり）した場合に、文字を適切に認識するために調整される閾値である。
　バーコード読取部１１２は、ボックス画像５１から荷物３に付されたバーコードを読み取り、当該バーコードの構成を示すバーコードデータを取得する。
　二次元コード読取部１１３は、ボックス画像５１から荷物３に付された二次元コードを読み取り、当該二次元コードの構成を示す二次元コードデータを取得する。
　識別情報取得部１１４は、ＯＣＲ処理部１１１により取得されたテキストデータ、バーコード読取部１１２により取得されたバーコードデータ、又は二次元コード読取部１１３により取得された二次元コードデータを出力部１０１に出力する。
　領域情報取得部１１５は、ＯＣＲ処理部１１１、バーコード読取部１１２、又は二次元コード読取部１１３から、識別情報１０を含む識別領域に関する領域情報を取得する。領域情報は、荷物３が載置される領域（本実施形態ではボックス２内の領域）における識別領域の位置を示す情報を含む。領域情報は、例えば、識別情報１０を検出する際に読み取られたボックス画像５１内の領域（読取領域）を示す座標情報等に基づき取得され得る。領域情報取得部１１５は、領域情報を出力部１０１に出力する。
　なお、上記においては、認識制御部１００がＯＣＲ処理部１１１、バーコード読取部１１２、及び二次元コード読取部１１３を備える例を示したが、これに限定されるものではない。使用する識別情報１０の種類に応じてこれらのうち少なくとも１つを備えればよい。
　図６は、実施形態にかかる載置制御部１０２の具体的な機能構成の一例を示すブロック図である。図６に示す載置制御部１０２は、取得部１２１、宛先ＤＢ（Data　Base）１２２、及び外部検索部１２３を備える。
　取得部１２１は、出力部１０１から出力された識別情報１０（テキストデータ、バーコードデータ、又は二次元コードデータ）に基づき、当該識別情報１０が付された荷物３の仕分先を示す仕分先情報を取得する。取得部１２１は、仕分先情報を動作情報生成部１０４に出力する。
　宛先ＤＢ１２２は、識別情報１０と仕分先とが対応付けられたデータ（例えば、住所と仕分ポケット４のトレイとが対応づけられたテーブル等）を保持している。取得部１２１は、宛先ＤＢ１２２を参照し、出力部１０１から取得した識別情報１０に対応する仕分先を示す仕分先情報を取得する。
　外部検索部１２３は、テキストデータをキーワードとして検索を行い、所定の情報を抽出することを可能にする検索エンジンである。識別情報１０がテキストデータである場合、取得部１２１は、出力部１０１から取得したテキストデータをキーワードとして外部検索部１２３から所定の情報を抽出し、抽出された情報を仕分先情報として扱う。
　図７は、実施形態にかかる保持制御部１０３の具体的な機能構成の一例を示すブロック図である。図７に例示する保持制御部１０３は、保持位置設定部１３１を備える。
　保持位置設定部１３１は、出力部１０１から取得した領域情報に基づき、識別領域内に保持位置を設定する。
　図８は、実施形態にかかる識別領域５２の第１例を示す図である。図８に例示する識別領域５２は、識別情報１０毎に識別情報１０全体を含むように設定された矩形である。本例にかかる識別領域５２の各辺は、ボックス画像５１の各辺に対して平行となっている。
　図９は、実施形態にかかる識別領域５２の第２例を示す図である。図９に例示する識別領域５２は、図８に示す第１例と同様に、識別情報１０毎に識別情報１０全体を含むように設定された矩形である。しかし、図９に例示する識別領域５２の各辺は、識別情報１０が存在する領域に沿うように傾斜している。これにより、識別領域５２内に識別情報１０以外の領域が含まれる割合を小さくできる。
　なお、識別領域５２の設定方法は、上記例に限定されるものではない。識別領域５２は、例えば、矩形以外の多角形、円形、自由曲線等から構成されてもよい。
　保持位置設定部１３１は、上記のような識別領域５２内に保持位置（保持機構２１が荷物３を保持する位置）を設定する。保持位置設定部１３１は、例えば、識別領域５２の略面重心又は略中心を保持位置として設定する。保持位置設定部１３１は、保持位置を示す保持位置情報を動作情報生成部１０４に出力する。
　図１０は、実施形態にかかる保持位置５３の第１例を示す図である。図１１は、実施形態にかかる保持位置５３の第２例を示す図である。図１０に例示する保持位置５３は、図８に例示する識別領域５２に対応するものである。図１１に例示する保持位置５３は、図９に例示する識別領域５２に対応するものである。
　上記のように、保持位置５３を識別領域５２内に設定することにより、荷物３自体の形状を認識できない場合であっても、確実に荷物３を保持できる。
　図１２は、実施形態にかかる動作情報生成部１０４の具体的な機能構成の一例を示すブロック図である。図１２に例示する動作情報生成部１０４は、保持動作計画部１４１、仕分動作計画部１４２、及び統合部１４３を備える。
　保持動作計画部１４１は、保持制御部１０３から取得した保持位置情報に基づき、ロボットアーム１１が荷物３を保持するまでの動作である保持動作を計画する。保持動作には、保持機構２１を保持位置５３まで移動させるようにアーム機構２２を動かす動作、保持位置５３に到達した保持機構２１が荷物３を保持する（吸着パッド内を負圧にする）動作等が含まれる。
　仕分動作計画部１４２は、仕分先特定部１０２から取得した仕分先情報に基づき、ロボットアーム１１が荷物３を仕分先まで移動させる動作である仕分動作を計画する。仕分動作には、荷物３を保持している保持機構２１を保持位置５３から仕分先（仕分ポケット４の特定のトレイ等）まで移動させるようにアーム機構２２を動かす動作、仕分先に到達した保持機構２１に荷物３を開放させる（吸着パッド内の負圧を解除する）動作等が含まれる。
　統合部１４３は、保持動作計画部１４１により計画された保持動作と、仕分動作計画部１４２により計画された仕分動作とを統合し、ロボットアーム１１の全体的な動作計画を示す動作情報を生成する。統合部１４３は、動作情報をロボットアーム１１（駆動制御機構２４）に出力する。
　図１３は、実施形態にかかる制御装置１３における処理の流れの一例を示すシーケンス図である。認識制御部１００が識別領域５２を検出し、出力部１０１が領域情報を出力すると（Ｓ１０１）、保持制御部１０３は、領域情報に基づき保持位置５３を設定し（Ｓ１０２）、保持位置５３を示す保持位置情報を動作情報生成部１０４に出力する（Ｓ１０３）。動作情報生成部１０４は、取得した保持位置情報に基づき保持動作を計画する（Ｓ１０４）。認識制御部１００が識別情報１０を認識し、出力部１０１が識別情報１０を出力すると（Ｓ１０５）、載置制御部１０２は、識別情報１０に対応する仕分先を特定し（Ｓ１０６）、仕分先を示す仕分先情報を動作情報生成部１０４に出力する（Ｓ１０７）。動作情報生成部１０４は、取得した仕分先情報に基づき仕分動作を計画する（Ｓ１０８）。そして、動作情報生成部１０４は、保持動作及び仕分動作を統合した総合的な動作計画を示す動作情報を生成し、動作情報をロボットアーム１１の駆動制御機構２４に出力する（Ｓ１０９）。
　図１４は、実施形態にかかる仕分システム１における処理の流れの一例を示すフローチャートである。カメラ１２がボックス２内を撮像する（ボックス画像５１を取得する）と（Ｓ２０１）、駆動制御機構２４は、制御装置１３から動作情報を受信したか否かを判定する（Ｓ２０２）。駆動制御機構２４が動作情報を受信していない場合（Ｓ２０２：Ｎｏ）、カメラ１２による撮像を続行する（Ｓ２０１）、換言すれば、駆動制御機構２４は動作情報の受信を待機する。駆動制御機構２４は、動作情報を受信した場合（Ｓ２０２：Ｙｅｓ）、ロボットアーム１１に保持動作を実行させる（Ｓ２０３）。その後、駆動制御機構２４は、保持機構２１による荷物３の保持が成功したか否かを判定する（Ｓ２０４）。このステップＳ２０４における判定は、例えば、接触センサ２３による検知結果等に基づき行われ得る。保持が成功した場合（Ｓ２０４：Ｙｅｓ）、駆動制御機構２４は、続いてロボットアーム１１に仕分動作を実行させる（Ｓ２０５）。保持が成功しなかった場合（Ｓ２０４：Ｎｏ）、駆動制御機構２４は、エラー処理を実行する（Ｓ２０６）。エラー処理は、荷物３の保持が失敗したことによる不具合を回避するための処理であり、その具体的な内容は特に限定されるべきものではないが、例えば、管理者に対する報知、システムの停止、保持動作の再実行等であり得る。
　上記実施形態にかかる制御装置１３における各種機能を実現するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact　Disc）－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital　Versatile　Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供することが可能なものである。また、当該プログラムは、インターネット等のネットワーク経由で提供又は配布されてもよい。
　なお、上記実施形態においては、制御装置１３と駆動制御機構２４とが個別に設けられる構成を例示したが、制御装置１３と駆動制御機構２４とが一体となった構成であってもよい。
　また、上記実施形態においては、１つの制御装置１３により１つのロボットアーム１１を制御する構成を例示したが、これに限定されるものではない。例えば、１つの制御装置１３により複数のロボットアーム１１を制御してもよい。
　以上のように、本実施形態によれば、識別情報１０の位置に基づき保持位置５３が設定されるため、荷物３自体の形状にかかわらず適切な保持動作を実現できる。これにより、信頼性の高い仕分システム１を提供できる。
　以上、本発明の実施形態及び変形例を説明したが、上述した実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。上述した新規な実施形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態及び変形例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
　１…仕分システム、２…ボックス、３…荷物（物体）、４…仕分ポケット、１０…識別情報、１１…ロボットアーム（荷役装置）、１２…カメラ（撮像装置）、１３…制御装置（情報処理装置）、１４…ネットワーク、２１…保持機構、２２…アーム機構、２３…接触センサ、２４…駆動制御機構、３１…ＣＰＵ、３２…ＲＡＭ、３３…ＲＯＭ、３４…補助記憶装置、３５…通信Ｉ／Ｆ（接続部）、３６…ユーザＩ／Ｆ、３７…バス、５１…ボックス画像、５２…識別領域、５３…保持位置、１００…認識制御部、１０１…出力部、１０２…載置制御部、１０３…保持制御部、１０４…動作情報生成部、１１１…ＯＣＲ処理部、１１２…バーコード読取部、１１３…二次元コード読取部、１１４…識別情報取得部、１１５…領域情報取得部、１２１…取得部、１２２…宛先ＤＢ、１２３…外部検索部、１３１…保持位置設定部、１４１…保持動作計画部、１４２…仕分動作計画部、１４３…統合部

Claims (9)

  1. 　荷役装置を用いて荷役する対象となる物体が載置される領域を撮像する撮像装置と接続する接続部と、
    　前記接続部を介して前記領域の画像情報を取得し、前記画像情報から前記物体に付された識別情報が含まれる識別領域を検出し、前記識別領域内の前記識別情報を認識する認識制御部と、
    　前記認識制御部が検出した前記識別領域に関する領域情報、及び前記認識制御部が認識した前記識別情報を出力する出力部と、
    　を備える情報処理装置。
  2. 　前記出力部から前記領域情報を取得し、前記領域情報に基づき、前記荷役装置が前記物体を保持する保持位置を前記識別領域内に設定する保持制御部、
    　を更に備える請求項１に記載の情報処理装置。
  3. 　前記出力部から前記識別情報を取得し、前記識別情報に基づき、前記荷役装置が保持した前記物体を載置する仕分先を設定する載置制御部、
    　を更に備える請求項１又は２に記載の情報処理装置。
  4. 　前記認識制御部は、前記領域における前記識別領域の位置を算出し、
    　前記領域情報は、前記認識制御部により算出された前記識別領域の位置を示す情報を含む、
    　請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記保持制御部は、前記保持位置を前記識別領域の略面重心又は略中心に設定する、
    　請求項２に記載の情報処理装置。
  6. 　前記識別情報は、文字列を含み、
    　前記認識制御部は、ＯＣＲ処理により前記識別情報を認識する、
    　請求項１～５のいずれか１項に記載の情報処理装置。
  7. 　前記識別情報は、バーコード又は二次元コードを含み、
    　前記認識制御部は、前記識別情報を認識する、
    　請求項１～５のいずれか１項に記載の情報処理装置。
  8. 　荷役装置と、
    　前記荷役装置を用いて荷役する対象となる物体が載置される領域を撮像する撮像装置と、
    　前記荷役装置を制御する情報処理装置と、
    　を備え、
    　前記情報処理装置は、
    　前記撮像装置と接続する接続部と、
    　前記接続部を介して前記領域の画像情報を取得し、前記画像情報から前記物体に付された識別情報が含まれる識別領域を検出し、前記識別領域内の前記識別情報を認識する認識制御部と、
    　前記認識制御部が検出した前記識別領域の情報、及び前記認識制御部が認識した前記識別情報を出力する出力部と、
    　を備える、
    　仕分システム。
  9. 　コンピュータに、
    　荷役装置を用いて荷役する対象となる物体が載置される領域を撮像する撮像装置から、前記撮像装置と接続する接続部を介して前記領域の画像情報を取得する処理と、
    　前記画像情報から前記物体に付された識別情報が含まれる識別領域を検出する処理と、
    　前記識別領域内の前記識別情報を認識する処理と、
    　検出された前記識別領域の情報、及び認識された前記識別情報を出力する処理と、
    　を実行させるプログラム。
PCT/JP2021/023807 2020-06-29 2021-06-23 情報処理装置、仕分システム、及びプログラム WO2022004525A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21833405.0A EP4173731A4 (en) 2020-06-29 2021-06-23 INFORMATION PROCESSING DEVICE, SORTING SYSTEM AND PROGRAM
US18/002,547 US20230271225A1 (en) 2020-06-29 2021-06-23 Information processing device, sorting system, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020112017A JP7481926B2 (ja) 2020-06-29 2020-06-29 情報処理装置、仕分システム、及びプログラム
JP2020-112017 2020-06-29

Publications (1)

Publication Number Publication Date
WO2022004525A1 true WO2022004525A1 (ja) 2022-01-06

Family

ID=79316093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023807 WO2022004525A1 (ja) 2020-06-29 2021-06-23 情報処理装置、仕分システム、及びプログラム

Country Status (4)

Country Link
US (1) US20230271225A1 (ja)
EP (1) EP4173731A4 (ja)
JP (1) JP7481926B2 (ja)
WO (1) WO2022004525A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116331763A (zh) * 2023-04-17 2023-06-27 中建幕墙有限公司 建筑幕墙型材处理装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018171579A (ja) * 2017-03-31 2018-11-08 日本電気株式会社 宛先認識装置、小包自動区分システム、宛先認識方法及びプログラム
JP2019150904A (ja) 2018-03-01 2019-09-12 株式会社東芝 情報処理装置及び仕分システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107597600B (zh) * 2017-09-26 2019-08-30 北京京东振世信息技术有限公司 分拣系统和分拣方法
CN109772718B (zh) * 2019-02-12 2020-12-01 北京极智嘉科技有限公司 包裹地址识别系统、识别方法和包裹分拣系统、分拣方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018171579A (ja) * 2017-03-31 2018-11-08 日本電気株式会社 宛先認識装置、小包自動区分システム、宛先認識方法及びプログラム
JP2019150904A (ja) 2018-03-01 2019-09-12 株式会社東芝 情報処理装置及び仕分システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4173731A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116331763A (zh) * 2023-04-17 2023-06-27 中建幕墙有限公司 建筑幕墙型材处理装置及方法
CN116331763B (zh) * 2023-04-17 2023-12-05 中建幕墙有限公司 建筑幕墙型材处理装置及方法

Also Published As

Publication number Publication date
JP7481926B2 (ja) 2024-05-13
US20230271225A1 (en) 2023-08-31
EP4173731A1 (en) 2023-05-03
JP2022011111A (ja) 2022-01-17
EP4173731A4 (en) 2024-05-22

Similar Documents

Publication Publication Date Title
CN113731862B (zh) 用于提供各种物体的分拣的分拣系统和方法
JP3124296B2 (ja) 基準マークの位置および方向の検出方法
US10229487B2 (en) Optical vibrometric testing of container for items
US20170066597A1 (en) Information processing device, information processing system, distribution system, information processing method, and program storage medium
JP2019509559A (ja) センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング
CN113351522B (zh) 物品分拣方法、装置及系统
US11288814B2 (en) System and method of object detection based on image data
US10346659B1 (en) System for reading tags
JP2010247959A (ja) 箱状ワーク認識装置および方法
US11884442B2 (en) System and method for building machine learning or deep learning data sets for recognizing labels on items
JPWO2019064802A1 (ja) 荷物仕分けシステム、投影指示装置および荷物仕分け方法
JP5780083B2 (ja) 検品装置、検品システム、検品方法及びプログラム
JP6852518B2 (ja) 宛先認識装置、小包自動区分システム、宛先認識方法及びプログラム
WO2022004525A1 (ja) 情報処理装置、仕分システム、及びプログラム
JPWO2020090897A1 (ja) 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム
JP2022505986A (ja) 食品パックに貼られたラベルを検査する方法および装置
WO2019003687A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP7288231B2 (ja) トラッキング装置、トラッキング方法、およびプログラム
JP2019098431A (ja) 情報処理装置及び仕分システム
US11163968B1 (en) Package identification using a shipping label fingerprint
JP2016181211A (ja) ラベル領域検知装置、ラベル領域検知方法、ラベル領域検知プログラム、及びラベル領域検知システム
JP7434986B2 (ja) 物品判別システム
WO2019003686A1 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
US20230060506A1 (en) Method and system for package movement visibility in warehouse operations
JPWO2019065153A1 (ja) 荷物仕分けシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21833405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021833405

Country of ref document: EP

Effective date: 20230130