WO2019003686A1 - 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 - Google Patents

荷物認識装置、荷物仕分けシステムおよび荷物認識方法 Download PDF

Info

Publication number
WO2019003686A1
WO2019003686A1 PCT/JP2018/018943 JP2018018943W WO2019003686A1 WO 2019003686 A1 WO2019003686 A1 WO 2019003686A1 JP 2018018943 W JP2018018943 W JP 2018018943W WO 2019003686 A1 WO2019003686 A1 WO 2019003686A1
Authority
WO
WIPO (PCT)
Prior art keywords
package
color
image
processor
luggage
Prior art date
Application number
PCT/JP2018/018943
Other languages
English (en)
French (fr)
Inventor
隆昭 守山
隆明 出良
紹二 大坪
ポンサック ラサン
タクリット タナッニティクル
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US16/623,667 priority Critical patent/US11145066B2/en
Priority to EP18822731.8A priority patent/EP3647232A4/en
Priority to JP2019526669A priority patent/JP7126065B2/ja
Publication of WO2019003686A1 publication Critical patent/WO2019003686A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/10—Apparatus characterised by the means used for detection ofthe destination
    • B07C3/14—Apparatus characterised by the means used for detection ofthe destination using light-responsive detecting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C7/00—Sorting by hand only e.g. of mail
    • B07C7/005—Computer assisted manual sorting, e.g. for mail
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present disclosure relates to a package recognition device, a package sorting system, and a package recognition method useful for sorting packages.
  • the sorting operation for sorting the packages according to the destination is a time-consuming process, and has relied on manual operations from before, but a technique for automating at least a part of the sorting operation has also been proposed.
  • Patent Document 1 tracks moving packages, determines an image to be displayed based on information on a package read from the package and information on the location of the package, projects an image on the package from the projector, and places the image on the package Disclosed is a system for displaying.
  • the present disclosure relates to techniques for more efficiently and accurately sorting packages.
  • the present disclosure is a package recognition apparatus for recognizing the package based on a color image including one or more packages, comprising: a processor and a memory, the processor cooperating with the memory to convert the color
  • the area of the one or more luggage in the image is estimated, the color of the background which is the area excluding the area of the one or more luggage in the color image is switched, and the color of the background of the color switched is used. Recognize each of the one or more packages based on it.
  • the present disclosure includes a projection instruction device including the above-described package recognition device, a label reader for reading package specific information from a label attached to a package, a distance image sensor for acquiring a distance image including the package, and the package It is a package sorting system provided with a color image sensor which acquires a color image, and an image projector which projects a projection image which shows a classification place on the package.
  • the present disclosure is a method of package recognition that recognizes the package based on a color image including one or more packages, wherein a processor cooperates with a memory to estimate a region of the one or more packages in the color image. And switching a color of a background which is an area excluding the area of the one or more packages in the color image, and recognizing each of the one or more packages based on the background of which the color is switched and the color of the area of the package. .
  • sorting of packages can be performed more efficiently and accurately, and further increase in the circulation volume of packages can be coped with.
  • the package color can be recognized even when the color of the package is close to or the same as the color of the belt of the transfer conveyor, and degradation of the package tracking accuracy can be prevented.
  • FIG. 1 is a block diagram showing the configuration of a package sorting system according to the embodiment.
  • FIG. 2 is a block diagram showing the configuration of the projection instruction apparatus according to the embodiment.
  • FIG. 3A is a conceptual view showing a state in which the package sorting system is installed in the distribution center and in operation.
  • FIG. 3B is a view showing a projected image including numbers on a top surface of the luggage.
  • FIG. 4 is a view showing an example of a projection image generated by the projection instruction apparatus according to the embodiment.
  • FIG. 5 is a flowchart showing an outline procedure of an operation mainly performed by the projection instruction apparatus.
  • FIG. 6 is a flowchart showing the package recognition and tracking process.
  • FIG. 7 is a diagram showing an example of switching the background color on a frame-by-frame basis.
  • the embodiment which specifically discloses a package recognition device, a package sorting system, and a package recognition method according to the present disclosure will be described in detail with reference to the drawings as appropriate.
  • the detailed description may be omitted if necessary.
  • detailed description of already well-known matters and redundant description of substantially the same configuration may be omitted. This is to avoid unnecessary redundancy in the following description and to facilitate understanding by those skilled in the art.
  • the attached drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and they are not intended to limit the claimed subject matter.
  • FIG. 1 is a block diagram showing the configuration of a package sorting system according to the embodiment.
  • the package sorting system 100 shown in FIG. 1 is installed, for example, at a distribution center.
  • the package sorting system 100 includes a label reader 10, an image sensor 20, a projection instruction device 30, and a projector 40.
  • the package sorting system 100 is a system that supports the work of a worker who sorts the packages transported by the transport conveyor.
  • the package sorting system 100 is installed at a distribution center owned by, for example, a retailer, a wholesaler, an internet distributor, and the like.
  • the luggage to be sorted generally has a substantially rectangular parallelepiped shape, its outer shape is not particularly limited, and the type of luggage is also not particularly limited.
  • the configuration of the package sorting system is not limited to that described in FIG.
  • the quantity of each component can be appropriately changed according to the purpose, such as connecting a plurality of image sensors 20, the projection instruction device 30, and the projector 40 to one label reader 10.
  • the label reader 10 as a reading device is a device including various elements such as a lens, an image sensor and the like (not shown). By using the label reader 10, it is possible to read label recording information in which various information related to the package is recorded from a label attached to the package transported by the transport conveyor. The package can be identified by using the read label recording information. Package specific information is defined by the read information.
  • the image sensor 20 is an imaging device including various elements such as a lens, an image sensor, and the like (not shown).
  • the image sensor 20 is generally configured as an imaging camera.
  • the imaging camera is a three-dimensional camera, a plurality of two-dimensional cameras, or the like.
  • the image sensor 20 includes a distance image sensor 22 and a color image sensor 24.
  • the distance image sensor 22 picks up an item transported by the transfer conveyor and generates a distance image.
  • the generated distance image is used as information indicating the position of the package, the distance to the package, the size of the package, and the like.
  • the “distance image” refers to an image containing distance information indicating the distance from the imaging position to the position (including the surface of the luggage) indicated by each pixel (that is, in the present disclosure, the word “image” is a distance image). including). Further, the term “distance image” includes those that can not be recognized as an image by human eyes, such as a table listing numerical values indicating distances.
  • the “distance image” may be any information as long as it indicates the relationship between the coordinates in the imaged area and the distance, and the data structure does not matter.
  • the distance image sensor 22 is used to identify the position of the package. Therefore, the distance image sensor 22 may be replaced by another sensing device (ultrasonic sensor, infrared sensor, stereo camera, monocular video camera).
  • the color image sensor 24 captures a package for which a distance image has been generated, and generates a color image.
  • Color image refers to an image in which the color of the surface of the package is expressed in a predetermined gradation, and "gradation” includes not only 256 gradations of RGB but also all kinds such as gray scale.
  • the color image sensor 24 is used to track each package for the package specified by the distance image sensor 22.
  • the color image sensor 24 can also be replaced with another sensing device (ultrasonic sensor, infrared sensor, stereo camera, single-eye video camera).
  • the term "image" includes both a distance image and a color image.
  • information output from an image sensor as a sensing device including a distance image sensor and a color image sensor is referred to as sensing information.
  • the present embodiment will be described using an image sensor 20 (including a distance image sensor 22 and a color image sensor 24) as an example of a sensing device. Further, in the present embodiment, as an example of sensing information, the description will be made using a distance image which is an output of the distance image sensor 22 and a color image which is an output of the color image sensor 24.
  • the projection instruction device 30 plays a role as an arithmetic device in the luggage sorting system 100.
  • the projection instruction device 30 includes an input unit 32, a processor 34, a memory 36, and an output unit 38 connected via a bus.
  • the input unit 32 receives package specification information that can specify the package acquired from the label recording information read by the label reader 10, the distance image generated by the distance image sensor 22, and the color image generated by the color image sensor 24.
  • the processor 34 is configured by a general computing device, and generates a projection image to be projected onto a package based on the package specific information, the distance image and the color image.
  • the memory 36 as a storage device performs operations such as reading of control programs necessary for various processes by the processor 34 and saving of data.
  • processor 34 and the memory 36 cooperate to control various processes by the projection instruction device 30.
  • the output unit 38 outputs the projection image generated by the processor 34 to the projector 40.
  • processor does not mean only a single processor.
  • processor is a term that means an operation subject in the case where a plurality of processors with the same purpose and processors with different purposes (for example, a general-purpose CPU (Central Processing Unit) and a GPU (Graphic Processing Unit)) perform processing jointly. Also used as.
  • the projector 40 is constituted by a general projection device, projects the projection light including the projection image received from the projection instructing device 30 onto a package, and displays the projection light on the package.
  • the package sorting system 100 can be constructed by connecting the label reader 10, the image sensor 20 (the distance image sensor 22 and the color image sensor 24), the projection instruction device 30, and the projector 40 by wired communication or wireless communication. Further, two or more devices among the label reader 10, the image sensor 20, the projection instruction device 30, and the projector 40 can be constructed as an integrated device. For example, the image sensor 20 and the projector 40 can be combined to construct an integrated imaging and projection apparatus (see FIG. 3A).
  • FIG. 3A is a conceptual view showing a state in which the package sorting system 100 is installed in the distribution center and in operation.
  • each worker M visually checks the label affixed to each package P transported by the transport conveyor 50 in the direction of arrow X, and the package for which the worker himself is in charge of delivery arrives Then, it was necessary to pick up the package (pickup) and place it in the vicinity of the worker's own foot, a car, a truck bed and the like.
  • sorting by visual inspection of the workers since there is a limit to the work efficiency of the workers, it was necessary to suppress the transport speed to a predetermined value or less.
  • positioned above the conveyance conveyor 50 reads the label stuck on each package P conveyed by the conveyance conveyor 50.
  • the label describes label recording information including various information on the package.
  • the label record information includes information similar to the package identification number individually assigned to the package, the sender's name, address, telephone number, recipient's name, address, telephone number, package type, and the like. The reading of the label may be performed by the worker in charge corresponding to the barcode in the label with the barcode reader as the label reader 10 by hand.
  • the image sensor 20 picks up an image (distance image and color image) of the package P transported by the transport conveyor 50, and the position of the package P, the distance to the package P, the size of the package P (the package P is a rectangular parallelepiped) In the case of three side lengths), the color of the package P, the pattern of the package P, etc. are acquired.
  • positioning position of the label reader 10 and the image sensor 20, the kind of sensing device, and the order of a process in particular are not limited to the form shown in figure.
  • the image sensor 20 and the projector 40 are constructed as an integrated imaging and projecting device 60 and disposed above the transport conveyor 50.
  • the projection instruction device 30 which is not shown in FIGS. 3A and 3B, is constituted by a computer disposed, for example, in the vicinity of the transport conveyor 50 or in another room, and information for identifying the package acquired by the label reader 10, and an image. Based on the distance image and the color image generated by the sensor 20, a projection image to be displayed on the package P (for example, the upper surface when the package P is a rectangular parallelepiped) is generated.
  • the projection instructing device 30 sends to the projector 40 a projection instruction to project the projection image onto the package P.
  • the projector 40 as an image projection apparatus projects the projection light including the projection image generated by the projection instructing device 30 onto the package P, and displays the projection image on the package P.
  • the projection image displayed on the package P is, for example, a circled number image having a color indicating the sorting place corresponding to the delivery address of the package P (see FIG. 3B).
  • the circled numbers correspond to, for example, the number of the truck carrying the sorted luggage P (the number of the truck itself, the parking lot number, etc.), the number of the shelf or box to be carried into the truck, etc. ing.
  • a zip code corresponding to the delivery address, or a number of a worker who should pick up the package P may be used.
  • arrows indicating the sorting direction such as right or left with respect to the transport direction of the transport conveyor 50
  • characters such as "left” or "right”
  • the form of the display is not limited to the circled numbers, and various numbers may be considered such as the numbers enclosed by squares ("3", “359", "24735") as shown in FIG.
  • the projected image is not limited to one enclosing a number or letter by a frame, and may be an open number or letter with a background.
  • the shapes of numbers or characters to be displayed may be switched.
  • the projection image is not limited to a still image, and may be animation.
  • the animation it is conceivable to blink, scale, or change the color of each example described above.
  • an animation reflecting the sorting direction may be projected.
  • Examples of animation reflecting the sorting direction include, for example, moving a light beam or a light spot in the sorting direction, forming all or part of a projected image in the sorting direction, or changing the color, Various things can be considered, such as moving and displaying an arrow in the sorting direction.
  • moving and displaying an arrow in the sorting direction When only part of the projected image is targeted for animation, the part that has a large influence on the judgment of the sorting destination by the operator, such as numbers and arrows, is not changed, and the part that has little influence on the sorting destination such as a frame It is conceivable to change it. However, in situations where it is more efficient to intuitively convey the sorting direction than the meaning of numbers etc.
  • the “image projection device” is not limited to one that directly projects a light beam onto a package.
  • the "image projection apparatus” also includes glasses capable of displaying an image. That is, in the present disclosure, when expressing projection light on a package, displaying an image on a package, projecting an image on a package, etc., the expression is simulated through glasses capable of displaying an image. Also, including making the worker recognize as if the projection light is projected on the package. That is, when the operator wears special glasses capable of displaying an image, the projection image may be superimposed on the image of the luggage P visually recognized through the glasses.
  • FIG. 3A at the side of the transfer conveyor 50, there is a worker M who is in charge of picking up a package (other workers are omitted), and the package that has reached their respective area is circled number 1, circled number. 2. Pick up from the transfer conveyor 50 as shown by circle 3 and so on.
  • the package P1 has package specification information of “AAA 111” in the label, and that the package specification information of “AAA 111” is to be a target of sorting in the area A. Therefore, when the package P1 arrives at the specific area, the processor 34 transmits the projection image generated as shown in FIG. 3B to the projector 40. Then, the projector 40 projects the projection image onto the package P1. Therefore, it is possible for the worker in the relevant area to easily pay attention to the package P1 to be picked up which has arrived in the specific area for which he is in charge, and as a result, it is possible to sort the packages more efficiently and accurately. It becomes possible.
  • the presence or absence of the projection of a plurality of specific areas may be switched to one projector 40, and the plurality of projectors 40 may be switched in their respective specific areas.
  • the presence or absence of projection may be switched.
  • FIG. 5 is a flowchart showing an outline of an operation procedure mainly performed by the projection instruction device 30 of the present embodiment, in particular the processor 34 of the projection instruction device 30.
  • the input unit 32 of the projection instruction device 30 acquires package specification information corresponding to the label recording information from the label reader 10 (step S1).
  • the package identification information is at least one of information similar to the package identification number individually assigned to the package, the sender's name, address, phone number, recipient's name, address, phone number, package type, etc.
  • the processor 34 assigns an ID as a package identification number for identifying the package to the package identifying information, and records the ID together with time information corresponding to the time when the ID is assigned (step S2).
  • the ID recorded in the memory 36 may be a package identification number originally recorded in the package identification information, or the projection instructing device 30 may generate and assign a new ID.
  • step S1 after capturing of the distance image of the luggage by the distance image sensor 22 of the image sensor 20, the input unit 32 of the projection instructing device 30 receives the distance image as sensing information from the distance image sensor 22 It acquires (step S20).
  • the processor 34 determines whether an ID corresponding to a package present in the distance image is present in the memory 36.
  • the processor 34 moves the package between the label reader 10 and the distance image sensor 22 from the distance (known) between the label reader 10 and the distance image sensor 22 and the speed of the transfer conveyor 50. Calculate the time required. Then, by subtracting the time from the time when the distance image is acquired, it is possible to estimate the time when the package present in the distance image is given an ID by the label reader 10 (and the processor 34). Then, it can be estimated that the ID given close to the estimated time is the ID corresponding to the package present in the distance image.
  • the method of installing another distance image sensor in the label reader 10 vicinity is mentioned. That is, from when the label reader 10 assigns an ID (and the processor 34), the other distance image sensor installed in the vicinity of the label reader 10 is used to track the package to which the ID is assigned, for each time The distance between the package (and the ID) and the label reader 10 is measured.
  • the processor 34 determines a predetermined distance from the distance between the measured package (and the ID) and the label reader 10, the distance of the package in the distance image acquired in step S20, and the distance (known) between the two distance image sensors. It is possible to estimate the ID of the package in the distance image acquired in step S20.
  • the processor 34 determines whether or not the ID corresponding to the package included in the distance image is present in the memory 36 (step S30). That is, as described in step S2, in the memory 36, time information corresponding to the time when the package identification information, the ID, and the ID are given is recorded in advance. On the other hand, the processor 34 subtracts the time required for the package to move between the label reader 10 and the range image sensor 22 from the time when the range image is acquired, for example, as described above, so that the package exists in the range image. The time when the ID is given by the label reader 10 (and the processor 34) can be estimated.
  • the processor 34 compares the time information recorded in advance in the memory 36 with the estimated time, and if these values are close (for example, when the time difference is less than or equal to a predetermined threshold time), It can be determined that the corresponding ID exists in the memory 36. If it is determined that the ID corresponding to the package exists in the memory 36 (step S30; Yes), the process proceeds to the process of step S60 and subsequent steps.
  • step S30 If it is determined that the ID corresponding to the package does not exist in the memory 36 (step S30; No), the processor 34 specifies again the position of the package on the premise that the ID is not assigned to the package (step S30) S40), to give an ID to the package (step S50).
  • the color image sensor 24 In parallel with the above-described steps, the color image sensor 24 generates a color image of each package for which the distance image has been acquired. Then, based on the color image from the color image sensor 24 acquired by the input unit 32, the processor 34 tracks the luggage with an ID which is transported and moved by the transport conveyor 50 (step S60). Then, the processor 34 determines, based on the color image, whether or not the package being tracked is picked up by the operator (step S70). If it is determined that the package is not picked up by the worker (Step S70; No), the processor 34 determines whether the package exists in a specific area (a predetermined sorting area where the package is to be picked up) described later. judge.
  • a specific area a predetermined sorting area where the package is to be picked up
  • step S80 When it is determined that the package is in the specific area (reached) (step S80; Yes), the processor 34 generates a projection image and transmits it to the projector 40 (step S90). If it is not determined that the package exists in the specific area (reached) (step S80; No), the process returns to step S60, and the processor 34 continues tracking the package.
  • step S70 If it is determined in step S70 that the package has been picked up by the worker (step S70; Yes), the processor 34 reads the detailed information of the package from the memory 36 (step S100), and generates a projection image including the detailed information
  • the projection image generated by the output unit 38 is output to the projector 40 (step S90).
  • the projector 40 that has acquired the projection image from the projection instructing device 30 projects the projection image onto the corresponding luggage.
  • step S70 is not limited to that described above.
  • the determination in step S70 may be omitted.
  • contact determination with a worker's hand and a package, and a color image, a distance image, etc. is also possible to use contact determination with a worker's hand and a package, and a color image, a distance image, etc. for implementation of determination of step S70.
  • the detailed procedure of each process is further described.
  • the color of the background is mainly the color of the belt of the transfer conveyor 50. If the color of the package is close to or the same as this color, it will be difficult to recognize the package, and furthermore, There is a possibility that tracking will not be possible.
  • the package can be reliably identified by tracking the package.
  • the processor 34 performs mask processing of the image to detect the package from the distance image of the package included in the sensing information, and thereafter obtains a background area excluding the package in the color image of the package included in the sensing information, Switch the background color.
  • the processor 34 performs mask processing of the image to detect the package from the distance image of the package included in the sensing information, and thereafter obtains a background area excluding the package in the color image of the package included in the sensing information, Switch the background color.
  • the color of the background which is an area excluding the package in the color image
  • the package can be recognized even if the color of the package is close to or the same as the color of the belt of the transfer conveyor 50.
  • recognition of the package becomes difficult. Therefore, by preparing a plurality of types of background color and switching them, it becomes possible to recognize the package.
  • the switching of the plurality of background colors is performed, for example, at predetermined intervals including each frame.
  • the background color to a plurality of colors different from the color of the package and switching the colors, the package can be reliably recognized, and the tracking accuracy can be kept high.
  • FIG. 6 is an example of a flow corresponding to the above-described processing.
  • the flow shown here shows the detailed processing in step S60 in the flowchart of the outline procedure in FIG. That is, the processor 34 detects the package from the distance image of the package included in the sensing information, and cuts out the region of the package detected from the distance image (step S101).
  • the processor 34 detects the package from the distance image of the package included in the sensing information, and cuts out the region of the package detected from the distance image (step S101).
  • the positional relationship between the distance image and the color image needs to be known in advance.
  • the positional relationship between the distance image and the color image can be recognized, for example, by extracting a parameter indicating the correspondence between the distance image and the coordinate system of the color image by image processing and generating a transformation matrix.
  • the processor 34 detects a package from the distance image, generates a mask image Imm obtained by cutting out the detected package area, and uses this mask image Imm to load the package in the package color image Imc included in the sensing information. Ask for backgrounds to exclude. Then, the obtained background color is switched at predetermined intervals (step S102). The switching of the background color is performed, for example, for each frame described above. Also, the background color to be switched selects a color different from the currently recognized color of the package. For example, among the background color candidates, one having a large difference in pixel value between the package color and the background color candidate is selected.
  • FIG. 7 is a diagram showing an example of switching the background color on a frame-by-frame basis.
  • three colors of pink, yellow and blue are prepared as background colors, and these colors are switched for each frame.
  • the difference between pink, yellow and blue is represented by the density of dots. That is, pink is the coarsest, blue is the finest, and yellow is the middle of them.
  • the color of the background is switched to pink at frame t1, to yellow at frame t2, and to blue at frame t3. Thereafter, the switching is repeated in the same manner.
  • a color different from the color of the luggage is selected. For example, when the color of the luggage is yellow, yellow is excluded from the background color candidates, and pink and blue are switched.
  • the processor 34 recognizes the package by switching the background color for each frame (step S103). In this case, if there is a plurality of packages, recognition is performed for all of them.
  • the processor 34 starts tracking the recognized packages (step S104). Note that, as described above, the processor 34 generates a projection image for the recognized package, and the output unit 38 outputs the generated projection image to the projector 40. For example, a red circle 1, a green circle 2, or a blue circle 3 is projected onto each package.
  • the tracking accuracy of the package is improved by estimating the region of the package in the color image using the distance image and tracking each package by the color image.
  • recognition may be missed if the background color and the package color are similar, so in the present disclosure, the background color is switched. It reduces the possibility of such mistakes.
  • the background color is switched between the three colors of pink, yellow and blue for each frame, but the present invention is not limited to this.
  • the background color may be another color prepared in advance, or may be generated as needed for each frame. For example, if the color of the package is different from the color of the belt of the transfer conveyor 50, the color of the belt of the transfer conveyor 50 may be added as a candidate for the background color.
  • RGB values that define the background color with a function using a frame number. For example, when each of RGB has 256 tones, a value obtained by adding a remainder obtained by dividing a frame number by 256 to a predetermined initial value may be used.
  • the initial value or the value dividing the frame number is randomly set, the background color can be set more variously, and the tracking accuracy can be maintained.
  • the background color is switched for each frame, but the present invention is not limited to this.
  • the switching may be performed every two or more predetermined frames, or the switching cycle itself may be variable.
  • the cycle may be shortened if the frequency of occurrence of tracking errors of packages increases.
  • the background color may not be switched. Switching the background color can maintain the tracking accuracy of the package on average, but if the switched background color itself is similar to the color of the package, it is better to keep the tracking accuracy of the package if you do not switch the reverse There are times when you can do it. In such a case, it is desirable to use the background color for which tracking is successful as long as possible.
  • the tracking accuracy can be evaluated, for example, by determining whether or not the package detected in the past frame has increased or decreased in the current frame.
  • the number of packages also increases or decreases as the worker installs them on the pickup or the transfer conveyor 50, an increase or decrease in one package can occur even without a tracking error. Therefore, in the case where the tracking accuracy is determined by the number of packages, it is desirable to provide a predetermined threshold (increase or decrease of at least two or more).
  • the user may be able to set the background color candidate.
  • the color itself may be specified, or a color range may be specified. For example, assuming that the package is a general cardboard box, it is very likely that the brown package will be transported, but the red or green package is unlikely to be transported. Therefore, by setting to avoid a color close to brown as a candidate for the background color, or by setting red or green, it is possible to reduce the possibility of setting a color that falls in recognition accuracy as the background color.
  • the background color candidate may be set in consideration of the color of the package. For example, by setting the background color candidate so as to avoid the color of the package successfully tracked in the previous frame, the possibility of losing the package already successfully tracked can be reduced. Selection of such background color candidates can be realized, for example, by evaluating the RGB values of the package being tracked. For example, for each RGB value, extract the closest value among packages under tracking, and set the median of the values as the background color, and set the color far from any package color as the background color I can do it.
  • the distance image is used to obtain information indicating the position of the load, the distance to the load, the size of the load, etc., but the present invention is not limited to this.
  • the above embodiment roughly estimates the position, distance, size, etc. of the package, and then sets the background color for accurate tracking by the color image, so it is used at the rough estimation stage.
  • the means For example, if a two-dimensional barcode or the like attached to a package is used, it is possible to recognize the position, distance, size, and the like of the package without using a distance image.
  • the present disclosure is useful for providing a package recognition device, a package sorting system, and a package recognition method that can reliably recognize the package even if the package color is close to or the same as the color of the transfer conveyor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Sorting Of Articles (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

１以上の荷物を含む色画像に基づき、荷物を認識する荷物認識装置であって、プロセッサと、メモリと、を備え、プロセッサは、メモリと協働して、色画像における１以上の荷物の領域を推定し、色画像における１以上の荷物の領域を除く領域である背景の色を切り替え、色を切り替えた背景と荷物の領域の色とに基づいて、１以上の荷物それぞれを認識する。

Description

荷物認識装置、荷物仕分けシステムおよび荷物認識方法
　本開示は、荷物の仕分けに有用な荷物認識装置、荷物仕分けシステムおよび荷物認識方法に関する。
　近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。
　特許文献１は、移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に投射して画像を荷物上に表示するシステムを開示している。
米国特許第７０９０１３４号明細書
　しかしながら、昨今荷物の流通量はますます増大するとともに、荷物の種類も様々なものとなっており、荷物をより効率的かつ正確に仕分ける技術が求められている。
　本開示は、荷物の仕分けをより効率的かつ正確に行うための技術に関する。
　本開示は、１以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記色画像における前記１以上の荷物の領域を推定し、前記色画像における前記１以上の荷物の領域を除く領域である背景の色を切り替え、前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記１以上の荷物それぞれを認識する。
　本開示は、上述の荷物認識装置を含む投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記荷物を含む距離画像を取得する距離画像センサと、前記荷物を含む色画像を取得する色画像センサと、仕分け先を示す投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステムである。
　本開示は、１以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、プロセッサがメモリと協働して、前記色画像における前記１以上の荷物の領域を推定し、前記色画像における前記１以上の荷物の領域を除く領域である背景の色を切り替え、前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記１以上の荷物それぞれを認識する。
　本開示によれば、荷物の仕分けをより効率的かつ正確に行うことができ、さらなる荷物の流通量の増大にも対応することができる。特に、荷物の色が搬送コンベヤのベルトの色に近いか、同じ場合においても荷物を認識することができ、荷物の追跡精度が劣化するのを防止することができる。
図１は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。 図２は、実施の形態にかかる投影指示装置の構成を示すブロック図である。 図３Ａは、荷物仕分けシステムが物流センターに設置され、稼働している状況を示す概念図である。 図３Ｂは、荷物の上面に数字を含む投影画像を投影した状態を示す図である。 図４は、実施の形態にかかる投影指示装置で生成される投影画像の一例を示す図である。 図５は、主として投影指示装置が行う動作の概要手順を示すフローチャートである。 図６は、荷物の認識・追跡処理を示すフローチャートである。 図７は、背景の色の切り替えをフレームごとに行う一例を示す図である。
　以下、適宜図面を参照しながら、本開示に係る荷物認識装置、荷物仕分けシステムおよび荷物認識方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　以下、図１～図７を用いて本開示の実施の形態を説明する。
　［構成］
　図１は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図１に示す荷物仕分けシステム１００は、例えば物流センターに設置される。荷物仕分けシステム１００は、ラベルリーダ１０と、画像センサ２０と、投影指示装置３０と、プロジェクタ４０とを備える。荷物仕分けシステム１００は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業員の作業を支援するシステムである。荷物仕分けシステム１００は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図１に記載したものに限定されない。例えば、一台のラベルリーダ１０に複数の画像センサ２０と、投影指示装置３０と、プロジェクタ４０を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。
　読取装置としてのラベルリーダ１０は、図示せぬレンズ、イメージセンサ等の各種の要素を含む装置である。ラベルリーダ１０を用いることで、搬送コンベヤにより搬送されてくる荷物に貼付されたラベルから当該荷物に関する各種の情報を記録したラベル記録情報を読み取ることができる。読み取られたラベル記録情報を用いることで、当該荷物を特定することが可能である。読み取られた情報によって荷物特定情報が定義づけられる。
　画像センサ２０は、図示せぬレンズ、イメージセンサ等の各種の要素を含む撮像装置である。画像センサ２０は、一般的には撮像カメラとして構成される。撮像カメラは３次元カメラ、複数台の２次元カメラなどである。画像センサ２０は、距離画像センサ２２と色画像センサ２４とを含む。
　距離画像センサ２２は、搬送コンベヤにより搬送されてくる荷物を撮像し、距離画像を生成する。生成された距離画像は、荷物の位置、荷物までの距離、荷物のサイズ等を示す情報として使用される。「距離画像」とは、撮像位置から各画素が示す位置（荷物の表面を含む）までの距離を示す距離情報を収容した画像のことをいう（つまり本開示において「画像」の語は距離画像を含む）。また、「距離画像」という文言には、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものも含まれる。すなわち「距離画像」は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造は問わない。本開示において距離画像センサ２２は荷物の位置を特定するために用いられる。よって距離画像センサ２２は、他のセンシングデバイス（超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ）が代替することもできる。
　色画像センサ２４は、距離画像が生成された荷物を撮像し、色画像を生成する。「色画像」とは、荷物の表面の色を所定の階調で表現した画像のことをいい、「階調」にはＲＧＢの２５６階調のみならず、グレースケール等あらゆるものが含まれる。本開示において色画像センサ２４は、距離画像センサ２２が特定した荷物について、各荷物を追跡するために用いられる。色画像センサ２４も、他のセンシングデバイス（超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ）が代替することができる。
　つまり本開示において「画像」の語は距離画像と色画像の双方を含む。本開示においては距離画像センサおよび色画像センサを含むセンシングデバイスとしての画像センサから出力される情報をセンシング情報と呼ぶ。本実施の形態においてはセンシングデバイスの一例として画像センサ２０（距離画像センサ２２および色画像センサ２４を含む）を用いて説明を行う。また本実施の形態においては、センシング情報の例として、距離画像センサ２２の出力である距離画像、色画像センサ２４の出力である色画像を用いて説明を行う。
　投影指示装置３０は、荷物仕分けシステム１００における演算装置としての役割を果たす。図２に示すように、投影指示装置３０は、バスを介して接続された入力部３２、プロセッサ３４、メモリ３６、出力部３８を備える。入力部３２は、ラベルリーダ１０が読み込んだラベル記録情報から取得した荷物の特定が可能な荷物特定情報、距離画像センサ２２が生成した距離画像、色画像センサ２４が生成した色画像を受け取る。プロセッサ３４は一般的な演算装置によって構成され、荷物特定情報、距離画像および色画像に基づき、荷物に投影する投影画像を生成する。記憶装置としてのメモリ３６は、プロセッサ３４が各種処理に必要な制御プログラムの読み込み、データの退避等の操作を行う。すなわち、プロセッサ３４とメモリ３６は協働して投影指示装置３０による各種処理を制御する。出力部３８は、プロセッサ３４が生成した投影画像をプロジェクタ４０に出力する。なお、本開示において「プロセッサ」は単一のプロセッサのみを意味するものではない。「プロセッサ」は、複数の同一目的のプロセッサや、目的の異なるプロセッサ（例えば、汎用ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）とＧＰＵ（Ｇｒａｐｈｉｃ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ））が共同して処理を行う場合の動作主体を意味する語としても使用される。
　プロジェクタ４０は一般的な投影装置により構成され、投影指示装置３０から受信した投影画像を含む投影光を荷物に投影し、荷物上に表示する。
　荷物仕分けシステム１００は、ラベルリーダ１０と、画像センサ２０（距離画像センサ２２および色画像センサ２４）と、投影指示装置３０と、プロジェクタ４０とを有線通信または無線通信で繋ぎ合わすことにより構築できる。また、ラベルリーダ１０と、画像センサ２０と、投影指示装置３０と、プロジェクタ４０のうちいずれかの二台以上の装置を一体型の装置として構築することもできる。例えば、画像センサ２０とプロジェクタ４０とを合わせて、一体型の撮像投影装置として構築することもできる（図３Ａ参照）。
　［システムの概要］
　図３Ａは、荷物仕分けシステム１００が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Ｍが、搬送コンベヤ５０により矢印Ｘ方向に搬送されてくる各荷物Ｐに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて（ピックアップ）、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。
　そこで本実施形態では、図３Ａに示すように、搬送コンベヤ５０の上方に配置されたラベルリーダ１０が、搬送コンベヤ５０により搬送されてくる各荷物Ｐに貼付されたラベルを読み取る。ラベルには、当該荷物に関する各種の情報を含むラベル記録情報が記載されている。ラベル記録情報は、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報を含む。ラベルの読み込みは、担当の作業者がラベル内のバーコードに、ラベルリーダ１０としてのバーコードリーダを手で当てて読み込むことで行っても良い。
　さらに画像センサ２０が、搬送コンベヤ５０により搬送されてくる荷物Ｐの画像（距離画像および色画像）を撮像し、荷物Ｐの位置、荷物Ｐまでの距離、荷物Ｐのサイズ（荷物Ｐが直方体の場合は３辺の長さ）、荷物Ｐの色、荷物Ｐの模様等の情報を取得する。尚、ラベルリーダ１０、画像センサ２０の配置位置や、センシングデバイスの種類、処理の順序は特に図示した形態に限定されない。上述した様に、本例では、画像センサ２０とプロジェクタ４０が一体型の撮像投影装置６０として構築され、搬送コンベヤ５０の上方に配置されている。
　図３Ａ，図３Ｂでは示されていない投影指示装置３０は、例えば搬送コンベヤ５０の近傍や、別の部屋に配置されたコンピュータにより構成され、ラベルリーダ１０が獲得した荷物を特定する情報と、画像センサ２０が生成した距離画像および色画像に基づき、荷物Ｐ（荷物Ｐが直方体の場合は例えば上面）に表示する投影画像を生成する。投影指示装置３０は投影画像を荷物Ｐに投影すべき投影指示をプロジェクタ４０に送る。
　投影指示を受けた、画像投影装置としての、プロジェクタ４０は、投影指示装置３０が生成した投影画像を含む投影光を荷物Ｐに投影し、荷物Ｐ上に投影画像を表示する。ここで荷物Ｐに表示される投影画像は、例えば、当該荷物Ｐの配送先住所に対応した仕分け場所を示す色を有する丸数字の画像である（図３Ｂ参照）。ここで、丸数字は、例えば、仕分けられた荷物Ｐを運ぶトラックの番号（トラック自体の番号や駐車場番号など）や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応している。また、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューターの番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため搬送コンベヤ５０周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベヤ５０と搬送トラック等との間にシューターを挟み、搬送コンベヤ５０周辺ではシューターの番号を投影することで、搬送コンベヤ５０周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することが出来る。もちろん、状況に応じて、様々な種類の投影画像が表示される。数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Ｐをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印（搬送コンベヤ５０の搬送方向に対して右または左など）または文字（「左」「右」など）であってもよい。更に、表示の形態も丸数字に限られるものではなく、図４で示すような四角で囲んだ数字（“３”、“３５９”、“２４７３５”）など様々なものが考えられる。さらに、投影画像は、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸・三角・四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。また、投影画像は静止画像に限らず、アニメーションであっても構わない。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりすることなど考えられる。また、仕分け方向を反映したアニメーションを投影しても構わない。仕分け方向を反映したアニメーションの例としては、例えば、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影画像の全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示するなど、さまざまなものが考えられる。投影画像の一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させることなどが考えられる。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。なお、本開示において「画像投影装置」とは光線を直接荷物に投影するものに限定されない。本開示において「画像投影装置」には画像を表示可能な眼鏡も含む。つまり本開示において、荷物に投影光を投影する、荷物に画像を表示する、荷物に画像を投影する、などと表現した場合は、その表現は画像を表示可能な眼鏡を介して、擬似的に、荷物に投影光が投影されているかのように作業者に認識させることも含む。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物Ｐの像に、ここでの投影画像を重ねあわせてもよい。
　図３Ａにおいて、搬送コンベヤ５０の脇には、荷物を拾い上げる担当の作業者Ｍ（他の作業者は省略）が立っており、それぞれの担当の領域に到達した荷物を、丸数字１、丸数字２、丸数字３等で示すように搬送コンベヤ５０から拾い上げる。
　例えば荷物Ｐ１はラベルに「ＡＡＡ１１１」の荷物特定情報を持っており、「ＡＡＡ１１１」の荷物特定情報は領域Ａで仕分けの対象になる旨が特定されているとする。そこで、プロセッサ３４は、荷物Ｐ１が特定領域に到着したら、図３Ｂに示すように生成した投影画像をプロジェクタ４０に送信する。そして、プロジェクタ４０は投影画像を荷物Ｐ１に投影する。よって、当該領域の作業者は、自身が担当する特定領域に到着した自身が拾い上げるべき荷物Ｐ１に容易に着目することが可能となり、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。
　本実施形態では、図３Ａに示すように１台のプロジェクタ４０に対して、複数の特定領域の投影の有無を切り替えさせてもよく、複数台のプロジェクタ４０に対して、それぞれ担当の特定領域における投影の有無を切り替えさせてもよい。
　以下、実施形態の荷物仕分けシステム１００において、投影指示装置３０が行う荷物仕分けの動作の概要を説明する。
　［動作の概要］
　図５は、本実施形態の投影指示装置３０、特に投影指示装置３０のプロセッサ３４が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ１０による荷物のラベルのラベル記録情報の読み取り後、投影指示装置３０の入力部３２がラベルリーダ１０から、ラベル記録情報に対応した荷物特定情報を取得する（ステップＳ１）。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ３４は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのＩＤを付与し、ＩＤを付与した時刻に対応する時刻情報とともにメモリ３６に記録する（ステップＳ２）。メモリ３６に記録するＩＤは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置３０が新しいＩＤを生成して付与してもよい。
　一方、ステップＳ１およびステップＳ２と並行して、画像センサ２０の距離画像センサ２２による荷物の距離画像の撮像後、投影指示装置３０の入力部３２が距離画像センサ２２からセンシング情報としての距離画像を取得する（ステップＳ２０）。プロセッサ３４は、当該距離画像に存在する荷物に対応するＩＤがメモリ３６に存在するか否かを判定する。
　当該距離画像に存在する荷物に対応するＩＤがメモリ３６に存在するか否かを判定する手法の一例としては、次のような手順によることが挙げられる。すなわち、プロセッサ３４は、ラベルリーダ１０と距離画像センサ２２との間の距離（既知とする）、および搬送コンベヤ５０の速度から、荷物がラベルリーダ１０と距離画像センサ２２の間を移動するために要する時間を計算する。そして、距離画像を取得した時刻から当該時間を引くことで、距離画像に存在する荷物がラベルリーダ１０（およびプロセッサ３４）によりＩＤを付与された時刻が推定できる。そして、当該推定した時刻に近接して付与されたＩＤが、当該距離画像に存在する荷物に対応するＩＤであると推定できる。また、他の一例としては、ラベルリーダ１０近辺に他の距離画像センサを設置する手法が挙げられる。すなわち、ラベルリーダ１０がＩＤ（およびプロセッサ３４）を付与した際から、ラベルリーダ１０近辺に設置した他の距離画像センサを用いて当該ＩＤが付与された荷物を追跡することで、時刻毎に当該荷物（およびＩＤ）とラベルリーダ１０との距離を計測する。プロセッサ３４は計測された荷物（およびＩＤ）とラベルリーダ１０との距離と、ステップＳ２０で取得された距離画像における荷物の距離と、２つの距離画像センサとの距離（既知とする）から所定のステップＳ２０で取得された距離画像における荷物のＩＤを推定することができる。
　このようにして、プロセッサ３４は当該距離画像に含まれる荷物に対応するＩＤがメモリ３６に存在するか否かを判定する（ステップＳ３０）。すなわち、ステップＳ２で述べたように、メモリ３６には、荷物特定情報、ＩＤ、ＩＤを付与した時刻に対応する時刻情報が予め記録されている。一方、プロセッサ３４は、例えば上述したように、距離画像を取得した時刻から荷物がラベルリーダ１０と距離画像センサ２２の間を移動するために要する時間を引くことで、距離画像に存在する荷物がラベルリーダ１０（およびプロセッサ３４）によりＩＤを付与された時刻が推定できる。プロセッサ３４は、予めメモリ３６に記録された時刻情報と推定した時刻とを比較し、これらの値が近い場合は（例えば時間差が所定の閾値時間以下の場合など）、距離画像に含まれる荷物に対応するＩＤがメモリ３６に存在すると判定することができる。メモリ３６に荷物に対応するＩＤが存在すると判定した場合（ステップＳ３０；Ｙｅｓ）、ステップＳ６０以降の処理に進む。
　メモリ３６に荷物に対応するＩＤが存在しないと判定した場合（ステップＳ３０；Ｎｏ）、プロセッサ３４は、当該荷物にＩＤが付与されていないことを前提として、当該荷物の位置を改めて特定し（ステップＳ４０）、荷物にＩＤを付与する（ステップＳ５０）。
　上述のステップと並行して、色画像センサ２４は、距離画像を取得した各荷物の色画像を生成する。そして、プロセッサ３４は、入力部３２が取得する色画像センサ２４からの色画像に基づき、搬送コンベヤ５０により搬送されて移動するＩＤ付きの荷物を追跡する（ステップＳ６０）。そして、プロセッサ３４は、同じく色画像に基づき、追跡していた荷物が作業者により拾い上げられたか否かを判定する（ステップＳ７０）。荷物が作業者により拾い上げられていないと判定した場合（ステップＳ７０；Ｎｏ）、プロセッサ３４は、荷物が、後述する特定領域（その荷物が拾い上げられるべき所定の仕分けエリア）に存在するか否かを判定する。そして、荷物が特定領域に存在する（到達した）と判定した場合（ステップＳ８０；Ｙｅｓ）、プロセッサ３４は投影画像を生成し、プロジェクタ４０に送信する（ステップＳ９０）。荷物が特定領域に存在する（到達した）と判定しない場合（ステップＳ８０；Ｎｏ）、ステップＳ６０に戻り、プロセッサ３４は、荷物の追跡を続行する。
　また、ステップＳ７０で、荷物が作業者により拾い上げられたと判定した場合（ステップＳ７０；Ｙｅｓ）、プロセッサ３４は、荷物の詳細情報をメモリ３６から読み出し（ステップＳ１００）、詳細情報を含む投影画像を生成し、出力部３８が生成した投影画像をプロジェクタ４０に出力する（ステップＳ９０）。投影指示装置３０から投影画像を取得したプロジェクタ４０は、当該投影画像を対応する荷物に投影する。
　以上は、投影指示装置３０のプロセッサ３４等が行う動作手順の概略というべきものである。もちろん、動作手順は上述したものには限定されない。例えば、ステップＳ７０の判定等は省略することも可能である。また、ステップＳ７０の判定の実施には、作業者の手と荷物との接触判定や、色画像、距離画像等を利用することも可能である。以下、さらに各処理の詳細な手順について説明する。
　［荷物の認識に用いる背景色の切り替え］
　距離画像を取得した荷物の色画像を用いて荷物の認識・追従を行う場合において、荷物が搬送される速度を用いて、次のフレームにおける位置を予測することにより、荷物の認識領域を絞ることができ、認識率の向上が図れる。しかしながら、荷物を認識する認識領域を絞ったとしても、背景の色が認識対象である荷物の色に近かったり、同じであったりした場合、認識対象である荷物の形状を誤ってしまったり、もしくは想定外の方向に移動した場合に認識から外れてしまったりする可能性が高い。すなわち、荷物の追跡精度が劣化してしまう可能性が高い。荷物仕分けシステムにおいては、背景の色は主に搬送コンベヤ５０のベルトの色であり、この色に荷物の色が近かったり、同じであったりした場合、荷物の認識が困難となり、さらには荷物の追跡ができなくなる可能性が生じ得る。
　そこで、本開示では、図５のステップＳ６０において、色画像における荷物を除く領域である背景の色を切り替えることで、確実に荷物を認識できるようにして、荷物の追跡を可能なものにする。
　すなわち、プロセッサ３４は、画像のマスク処理を行って、センシング情報に含まれる荷物の距離画像より荷物を検出し、その後、センシング情報に含まれる荷物の色画像における荷物を除く背景領域を求めて、背景の色を切り替える。色画像における荷物を除く領域である背景の色を切り替えることで、荷物の色が搬送コンベヤ５０のベルトの色に近かったり、同じであったりしても荷物の認識が可能となる。ところで、背景の色を搬送コンベヤ５０のベルトの色以外としても、その色に近かったり、同じであったりする色の荷物が搬送されてきた場合、当該荷物の認識が困難になる。そこで、背景色の種類を複数用意して、それらを切り替えることで、当該荷物の認識が可能となる。複数の背景色の切り替えは、例えばフレームごとを含む所定周期ごとに行う。このように、背景色を荷物の色と異なる複数の色とし、それらの色を切り替えるようにすることで、荷物を確実に認識することができ、追跡精度を高く保つことができる。
　図６は、上述の処理に対応したフローの一例である。ここで示すフローは、図５における概要手順のフローチャートの中で、ステップＳ６０における詳細な処理を示す。すなわち、プロセッサ３４は、センシング情報に含まれる荷物の距離画像より荷物を検出し、さらに距離画像から検出した荷物の領域を切り取る（ステップＳ１０１）。この場合、距離画像中に含まれる荷物は１個とは限らず複数個の場合もあるので、例えば図６中に示すように距離画像Ｉｍｄ中に３個の荷物が含まれていれば、全ての荷物が検出され、それぞれの領域が切り取られる。距離画像Ｉｍｄ中にある全ての荷物の領域が切り取られることで、色画像における背景領域を抽出するためのマスク画像Ｉｍｍが得られる。ここで、色画像における背景領域を正確に抽出するためには、距離画像と色画像との位置関係が予め分かっている必要がある。距離画像と色画像との位置関係は、例えば、画像処理によって距離画像と色画像との座標系の対応関係を示すパラメータを抽出し変換行列を生成することで認識することができる。
　プロセッサ３４は、距離画像より荷物を検出して、検出した荷物の領域を切り取ったマスク画像Ｉｍｍを生成した後、このマスク画像Ｉｍｍを用いて、センシング情報に含まれる荷物の色画像Ｉｍｃにおける荷物を除く背景を求める。そして、求めた背景の色を所定周期ごとに切り替える（ステップＳ１０２）。背景の色の切り替えは、例えば上述したフレームごとに行う。また、切り替える背景色は、現在認識している荷物の色と異なる色を選択する。例えば、背景色の候補のうち、荷物の色と背景色の候補との画素値の差が大きいものを選択する。
　図７は、背景の色の切り替えをフレームごとに行う一例を示す図である。同図に示すように、背景色として、桃色、黄色、青色の３色を用意し、これらの色をフレームごとに切り替える。同図では、桃色、黄色及び青色の違いをドットの粗密で表している。すなわち、桃色を最も粗く、青色を最も細かく、黄色をそれらの中間としている。背景の色は、フレームｔ１で桃色に切り替わり、フレームｔ２で黄色に切り替わり、フレームｔ３で青色に切り替わる。以後、同様に切り替えが繰り返し行われる。なお、上述したとおり、背景色の切り替えでは荷物の色と異なる色を選択するので、例えば荷物の色が黄色い場合には、背景色の候補から黄色を除外し、桃色と青色とを切り替える。
　プロセッサ３４は、背景色をフレームごとに切り替えることで、荷物を認識する（ステップＳ１０３）。この場合、複数の荷物がある場合は、その全てについて認識が行われる。プロセッサ３４は、認識できた荷物に対して追跡を開始する（ステップＳ１０４）。なお、上述したように、プロセッサ３４は、認識ができた荷物に対して投影画像を生成し、出力部３８がその生成された投影画像をプロジェクタ４０に出力する。各荷物には、例えば赤色の丸数字１、緑色の丸数字２又は青色の丸数字３が投影される。
　上述したように、本開示によれば、色画像に基づく荷物の認識において、背景色を荷物の色と異なる複数の色とし、それらの色を切り替えることにより、荷物を確実に認識することができ、ひいては荷物を精度よく追跡することが可能となる。
　距離画像に基づく荷物の認識では、荷物の位置などは推定できるものの、複数の荷物が隣接している場合などに荷物を個別に追跡することが難しい場合がある。そのため、本開示では、距離画像を用いて色画像における荷物の領域を推定し、色画像によって荷物それぞれの追跡を行うことにより、荷物の追跡精度を向上させている。しかし、色画像によって荷物それぞれを追跡する場合であっても、背景色と荷物の色が似ている場合には認識をミスする可能性があるため、本開示では背景色を切り替えることで、このようなミスが発生する可能性を低減している。
　以上、図面を参照して本開示に係る荷物認識装置、荷物仕分けシステムおよび荷物認識方法の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
　例えば、変更例としては、以下のようなものが考えられる。
　上記実施の形態において、背景色は、桃色、黄色、青色の３色をフレームごとに切り替えていたが、これに限られるものではない。背景色は、予め用意しておいた他の色でも構わないし、フレームごとに随時生成するとしてもよい。例えば、荷物の色が搬送コンベヤ５０のベルトの色と異なるのであれば、搬送コンベヤ５０のベルトの色を背景色の候補に加えても構わない。また、フレームごとに生成する場合は、例えば、背景色を規定するＲＧＢの値を、フレーム番号を用いた関数で定義することなどが考えられる。例えば、ＲＧＢがそれぞれ２５６階調であれば、所定の初期値にフレーム番号を２５６で割った剰余を加算した値を用いるなどとすればよい。更に、初期値またはフレーム番号を割る値をランダムに設定すれば、背景色をより多様に設定することができ、追跡精度を保つことができる。
　上記実施の形態において、背景色はフレームごとに切り替えていたが、これに限られるものではない。２以上の所定のフレームごとに切り替えるとしてもよいし、切り替えの周期自体を可変にしてもよい。周期を可変にする場合、例えば、荷物の追跡ミスの発生の頻度が高まれば、周期を短くするなどとしてもよい。また、荷物の追跡ミスが少ない場合は、背景色を切り替えないとしてもよい。背景色を切り替えると平均的には、荷物の追跡精度を保つことができるが、切り替えた背景色自体が荷物の色と類似している場合は、逆に切り替えない方が荷物の追跡精度を保つことが出来る場合がある。このような場合は、追跡が成功している背景色をなるべく長く使うことが望ましい。なお、追跡精度は、例えば、過去のフレームで検知した荷物が現在のフレームで増減したか否かを判断することなどで評価することが出来る。ただし、荷物の数は、作業者がピックアップあるいは搬送コンベヤ５０に設置することによっても増減するので、荷物１つの増減は追跡ミスがない状態でも発生しうる。そのため、追跡精度を荷物の数で判定する場合には、所定の閾値（少なくとも２個以上の増減）を持たせることが望ましい。
　上記実施の形態において、背景色の候補をユーザが設定可能にしてもよい。この場合、設定する内容としては、色自体を指定しても良いし、色の範囲を指定しても良い。例えば、荷物が一般的なダンボール箱である場合を想定すると、茶色の荷物が搬送される可能性は非常に高いが、赤色や緑色の荷物が搬送される可能性は低い。そのため、背景色の候補として茶色に近い色を避けるよう設定したり、赤色や緑色を設定することで、認識精度の落ちる色が背景色として設定される可能性を低減することができる。
　上記実施の形態において、背景色の候補を、荷物の色を考慮して設定してもよい。例えば、前のフレームにおいて追跡に成功している荷物の色を避けるように背景色の候補を設定することで、既に追跡に成功している荷物を見失う可能性を低減することができる。このような背景色の候補の選定は、例えば、追跡中の荷物のＲＧＢの値を評価することで実現できる。例えば、ＲＧＢそれぞれの値について、追跡中の荷物の間で最も近い値を抽出し、その値の中央値を背景色として設定することで、どの荷物の色からも遠い色を背景色として設定することが出来る。
　上記実施の形態において、荷物の位置、荷物までの距離、荷物のサイズ等を示す情報を得るために距離画像を使用していたが、これに限られるものではない。上記実施の形態は、荷物の位置、距離、サイズなどを大まかに推定した上で、色画像によって正確な追跡を行うために背景色を設定するものであるので、大まかな推定の段階で使用する手段は問わない。例えば、荷物に付与された二次元バーコードなどを使用すれば、距離画像を使用しなくとも荷物の位置、距離、サイズなどを認識することも可能である。
　本開示は、荷物の色が搬送コンベヤの色に近いか、あるいは同じであっても、当該荷物を確実に認識できる荷物認識装置、荷物仕分けシステムおよび荷物認識方法の提供に有用である。
１０　　ラベルリーダ
２０　　画像センサ
２２　　距離画像センサ
２４　　色画像センサ
３０　　投影指示装置
３２　　入力部
３４　　プロセッサ
３６　　メモリ
３８　　出力部
４０　　プロジェクタ
５０　　搬送コンベヤ
６０　　撮像投影装置
１００　荷物仕分けシステム
Ｐ　　　荷物

Claims (8)

  1. 　１以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、
    　プロセッサと、
    　メモリと、を備え、
    　前記プロセッサは、前記メモリと協働して、
    　　前記色画像における前記１以上の荷物の領域を推定し、
    　　前記色画像における前記１以上の荷物の領域を除く領域である背景の色を切り替え、
    　　前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記１以上の荷物それぞれを認識する、
    　荷物認識装置。
  2. 　請求項１に記載の荷物認識装置であって、
    　前記プロセッサは、前記背景の色を所定周期ごとに切り替える、
    　荷物認識装置。
  3. 　請求項２に記載の荷物認識装置であって、
    　前記プロセッサは、前記荷物の認識精度に応じて、前記背景の色を切り替える周期を変更する、
    　荷物認識装置。
  4. 　請求項１に記載の荷物認識装置であって、
    　前記プロセッサは、過去のフレームで認識に成功した荷物の色と異なる色を前記背景の色の候補とする、
    　荷物認識装置。
  5. 　請求項１に記載の荷物認識装置であって、
    　前記プロセッサは、更に、
    　背景の色の候補の指定を受け付け、受け付けた候補の範囲内で前記背景の色を切り替える、
    　荷物認識装置。
  6. 　請求項１から請求項４のいずれか１項に記載の荷物認識装置であって、
    　前記プロセッサは、距離画像を用いて、前記色画像における前記１以上の荷物の領域を推定する、
    　荷物認識装置。
  7. 　請求項１に記載の荷物認識装置を含む投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記荷物を含む距離画像を取得する距離画像センサと、前記荷物を含む色画像を取得する色画像センサと、仕分け先を示す投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステム。
  8. 　１以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、
    　プロセッサがメモリと協働して、
    　　前記色画像における前記１以上の荷物の領域を推定し、
    　　前記色画像における前記１以上の荷物の領域を除く領域である背景の色を切り替え、
    　　前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記１以上の荷物それぞれを認識する、
    　荷物認識方法。
PCT/JP2018/018943 2017-06-30 2018-05-16 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 WO2019003686A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/623,667 US11145066B2 (en) 2017-06-30 2018-05-16 Parcel recognition device, parcel sorting system, and parcel recognition method
EP18822731.8A EP3647232A4 (en) 2017-06-30 2018-05-16 BAGGAGE DETECTION DEVICE, BAGGAGE SORTING SYSTEM AND BAGGAGE DETECTION METHOD
JP2019526669A JP7126065B2 (ja) 2017-06-30 2018-05-16 荷物認識装置、荷物仕分けシステムおよび荷物認識方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-129574 2017-06-30
JP2017129574 2017-06-30

Publications (1)

Publication Number Publication Date
WO2019003686A1 true WO2019003686A1 (ja) 2019-01-03

Family

ID=64742083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018943 WO2019003686A1 (ja) 2017-06-30 2018-05-16 荷物認識装置、荷物仕分けシステムおよび荷物認識方法

Country Status (4)

Country Link
US (1) US11145066B2 (ja)
EP (1) EP3647232A4 (ja)
JP (1) JP7126065B2 (ja)
WO (1) WO2019003686A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3953067A4 (en) * 2019-04-10 2022-12-21 Laitram, LLC PACKAGE DETECTION AND INTELLIGENT SORTING

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7090134B2 (en) 2003-03-04 2006-08-15 United Parcel Service Of America, Inc. System for projecting a handling instruction onto a moving item or parcel
WO2007080834A1 (ja) * 2006-01-10 2007-07-19 Matsushita Electric Industrial Co., Ltd. 色補正処理装置および色補正処理方法、ならびに、動的なカメラ色補正装置およびそれを用いた映像検索装置
WO2015145982A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995024278A1 (en) 1994-03-07 1995-09-14 International Business Machines Corporation Improvements in image processing
US5737438A (en) * 1994-03-07 1998-04-07 International Business Machine Corp. Image processing
US6047889A (en) * 1995-06-08 2000-04-11 Psc Scanning, Inc. Fixed commercial and industrial scanning system
JP2000171215A (ja) * 1998-12-03 2000-06-23 Techno Wave:Kk 物流情報読取り装置
FR2825817B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de traitement d'images pour l'extraction automatique d'elements semantiques
JP2011100244A (ja) * 2009-11-05 2011-05-19 Nippon Telegr & Teleph Corp <Ntt> 文字色提案装置、文字色提案方法およびプログラム
ES2837552T3 (es) * 2010-03-13 2021-06-30 Univ Carnegie Mellon Método para reconocer y clasificar una planta de raíz desnuda

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7090134B2 (en) 2003-03-04 2006-08-15 United Parcel Service Of America, Inc. System for projecting a handling instruction onto a moving item or parcel
WO2007080834A1 (ja) * 2006-01-10 2007-07-19 Matsushita Electric Industrial Co., Ltd. 色補正処理装置および色補正処理方法、ならびに、動的なカメラ色補正装置およびそれを用いた映像検索装置
WO2015145982A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3647232A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3953067A4 (en) * 2019-04-10 2022-12-21 Laitram, LLC PACKAGE DETECTION AND INTELLIGENT SORTING

Also Published As

Publication number Publication date
JP7126065B2 (ja) 2022-08-26
EP3647232A1 (en) 2020-05-06
EP3647232A4 (en) 2020-11-11
US11145066B2 (en) 2021-10-12
JPWO2019003686A1 (ja) 2020-04-23
US20200193612A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
US20200282429A1 (en) Package sorting system, projected instruction device, and package sorting method
JP7126066B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2019064805A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP7129617B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
US11369999B2 (en) Parcel determination device, parcel sorting system, and parcel determination method
JP7129616B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2019003686A1 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
JP7129614B2 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
JP7194884B2 (ja) 荷物仕分けシステム、投影指示装置、投影指示方法
JP7045621B2 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18822731

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526669

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018822731

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018822731

Country of ref document: EP

Effective date: 20200130