WO2019065153A1 - 荷物仕分けシステム - Google Patents

荷物仕分けシステム Download PDF

Info

Publication number
WO2019065153A1
WO2019065153A1 PCT/JP2018/033119 JP2018033119W WO2019065153A1 WO 2019065153 A1 WO2019065153 A1 WO 2019065153A1 JP 2018033119 W JP2018033119 W JP 2018033119W WO 2019065153 A1 WO2019065153 A1 WO 2019065153A1
Authority
WO
WIPO (PCT)
Prior art keywords
package
label
image
projection
error
Prior art date
Application number
PCT/JP2018/033119
Other languages
English (en)
French (fr)
Inventor
ティルミー バデゥゲ
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2019544508A priority Critical patent/JP7194884B2/ja
Priority to EP18861386.3A priority patent/EP3689790A4/en
Priority to US16/649,009 priority patent/US11235353B2/en
Publication of WO2019065153A1 publication Critical patent/WO2019065153A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C7/00—Sorting by hand only e.g. of mail
    • B07C7/005—Computer assisted manual sorting, e.g. for mail
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/02—Apparatus characterised by the means used for distribution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/02—Apparatus characterised by the means used for distribution
    • B07C3/08—Apparatus characterised by the means used for distribution using arrangements of conveyors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/10—Apparatus characterised by the means used for detection ofthe destination
    • B07C3/14—Apparatus characterised by the means used for detection ofthe destination using light-responsive detecting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed

Definitions

  • the present disclosure relates to a package sorting system useful for sorting packages.
  • the sorting operation for sorting the packages according to the destination is a time-consuming process, and has relied on manual operations from before, but a technique for automating at least a part of the sorting operation has also been proposed.
  • Patent Document 1 tracks moving packages, determines an image to be displayed based on information on a package read from the package and information on the location of the package, projects an image on the package from the projector, and places the image on the package Disclosed is a system for displaying.
  • the present disclosure relates to techniques for more efficiently and accurately sorting packages.
  • the present disclosure is a package sorting system including a label reader that reads package specific information from a label attached to a package, a processor, and a memory.
  • the processor is provided with a projection instructing device that instructs the package to project the projection image based on the package specific information read by the label reader in cooperation with the memory, and a transport conveyor that transports the package from the upstream to the downstream of the label reader.
  • the transport conveyor further includes a path for moving the package upstream from the area where the projection image is projected to the position where the label reader is disposed, and the projection instruction device is that the label reader fails to read the label
  • an image for guiding the package to a path where the package to which the label failed to be read can be moved upstream of the location where the label reader is arranged is projected onto the package as a projected image.
  • sorting of packages can be performed more efficiently and accurately, and further increase in the circulation volume of packages can be coped with.
  • a projection image indicating the occurrence of the error is generated and projected onto the package subject to the error. It is possible to simultaneously recognize the target package. This can improve the efficiency of the sorting operation.
  • FIG. 1 is a block diagram showing the configuration of a package sorting system according to the embodiment.
  • FIG. 2 is a block diagram showing the configuration of the projection instruction apparatus according to the embodiment.
  • FIG. 3A is a conceptual view showing a state in which the package sorting system is installed in the distribution center and in operation.
  • FIG. 3B is a view showing a projected image including numbers on a top surface of the luggage.
  • FIG. 4 is a view showing an example of a projection image generated by the projection instruction apparatus according to the embodiment.
  • FIG. 5 is a flowchart showing an outline procedure of an operation mainly performed by the projection instruction apparatus.
  • FIG. 6 is a flowchart showing the entire package recognition and projection process.
  • FIG. 7 is a flowchart showing part of the package recognition and projection process.
  • FIG. 1 is a block diagram showing the configuration of a package sorting system according to the embodiment.
  • FIG. 2 is a block diagram showing the configuration of the projection instruction apparatus according to the embodiment.
  • FIG. 3A
  • FIG. 8 is a flowchart showing part of the package recognition and projection process.
  • FIG. 9 is a view showing the correspondence between the projected image corresponding to the type of error and the worker.
  • FIG. 10 is a schematic view showing the arrangement of a transfer conveyor that realizes the above-described processing when a skilled worker uses a transfer conveyor that performs sorting as an example of another transfer conveyor.
  • the present embodiment which specifically discloses the package sorting system according to the present disclosure will be described in detail with reference to the drawings as appropriate.
  • the detailed description may be omitted if necessary.
  • detailed description of already well-known matters and redundant description of substantially the same configuration may be omitted. This is to avoid unnecessary redundancy in the following description and to facilitate understanding by those skilled in the art.
  • the attached drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and they are not intended to limit the claimed subject matter.
  • FIG. 1 is a block diagram showing the configuration of a package sorting system according to the embodiment.
  • the package sorting system 100 shown in FIG. 1 is installed, for example, at a distribution center.
  • the package sorting system 100 includes a label reader 10, an image sensor 20, a projection instruction device 30, and a projector 40.
  • the package sorting system 100 is a system that supports the work of a worker who sorts the packages transported by the transport conveyor.
  • the package sorting system 100 is installed at a distribution center owned by, for example, a retailer, a wholesaler, an internet distributor, and the like.
  • the luggage to be sorted generally has a substantially rectangular parallelepiped shape, its outer shape is not particularly limited, and the type of luggage is also not particularly limited.
  • the configuration of the package sorting system is not limited to that described in FIG.
  • the quantity of each component can be appropriately changed according to the purpose, such as connecting a plurality of image sensors 20, the projection instruction device 30, and the projector 40 to one label reader 10.
  • the label reader 10 as a reading device is a device including various elements such as a lens, an image sensor and the like (not shown). By using the label reader 10, it is possible to read label recording information in which various information related to the package is recorded from a label attached to the package transported by the transport conveyor. The package can be identified by using the read label recording information. Package specific information is defined by the read information.
  • the image sensor 20 is an imaging device including various elements such as a lens, an image sensor, and the like (not shown).
  • the image sensor 20 is generally configured as an imaging camera.
  • the imaging camera is a three-dimensional camera, a plurality of two-dimensional cameras, or the like.
  • the image sensor 20 includes a distance image sensor 22 and a color image sensor 24.
  • the distance image sensor 22 picks up an item transported by the transfer conveyor and generates a distance image.
  • the generated distance image is used as information indicating the position of the package, the distance to the package, the size of the package, and the like.
  • the “distance image” refers to an image containing distance information indicating the distance from the imaging position to the position (including the surface of the luggage) indicated by each pixel (that is, in the present disclosure, the word “image” is a distance image). including). Further, the term “distance image” includes those that can not be recognized as an image by human eyes, such as a table listing numerical values indicating distances.
  • the “distance image” may be any information as long as it indicates the relationship between the coordinates in the imaged area and the distance, and the data structure does not matter.
  • the distance image sensor 22 is used to identify the position of the package. Therefore, the distance image sensor 22 may be replaced by another sensing device (ultrasonic sensor, infrared sensor, stereo camera, monocular video camera).
  • the color image sensor 24 captures a package for which a distance image has been generated, and generates a color image.
  • Color image refers to an image in which the color of the surface of the package is expressed in a predetermined gradation, and "gradation” includes not only 256 gradations of RGB but also all kinds such as gray scale.
  • the color image sensor 24 is used to track each package for the package specified by the distance image sensor 22.
  • the color image sensor 24 can also be replaced with another sensing device (ultrasonic sensor, infrared sensor, stereo camera, single-eye video camera).
  • the term "image" includes both a distance image and a color image.
  • information output from an image sensor as a sensing device including a distance image sensor and a color image sensor is referred to as sensing information.
  • the present embodiment will be described using an image sensor 20 (including a distance image sensor 22 and a color image sensor 24) as an example of a sensing device. Further, in the present embodiment, as an example of sensing information, the description will be made using a distance image which is an output of the distance image sensor 22 and a color image which is an output of the color image sensor 24.
  • the projection instruction device 30 plays a role as an arithmetic device in the luggage sorting system 100.
  • the projection instruction device 30 includes an input unit 32, a processor 34, a memory 36, and an output unit 38 connected via a bus.
  • the input unit 32 receives package specification information that can specify the package acquired from the label recording information read by the label reader 10, the distance image generated by the distance image sensor 22, and the color image generated by the color image sensor 24.
  • the processor 34 is configured by a general computing device, and generates a projection image to be projected onto a package based on the package specific information, the distance image and the color image.
  • the memory 36 as a storage device performs operations such as reading of control programs necessary for various processes by the processor 34 and saving of data.
  • processor 34 and the memory 36 cooperate to control various processes by the projection instruction device 30.
  • the output unit 38 outputs the projection image generated by the processor 34 to the projector 40.
  • processor does not mean only a single processor.
  • processor is a term that means an operation subject in the case where a plurality of processors with the same purpose and processors with different purposes (for example, a general-purpose CPU (Central Processing Unit) and a GPU (Graphic Processing Unit)) perform processing jointly. Also used as.
  • the projector 40 is constituted by a general projection device, projects the projection light including the projection image received from the projection instructing device 30 onto a package, and displays the projection light on the package.
  • the package sorting system 100 can be constructed by connecting the label reader 10, the image sensor 20 (the distance image sensor 22 and the color image sensor 24), the projection instruction device 30, and the projector 40 by wired communication or wireless communication. Further, two or more devices among the label reader 10, the image sensor 20, the projection instruction device 30, and the projector 40 can be constructed as an integrated device. For example, the image sensor 20 and the projector 40 can be combined to construct an integrated imaging and projection apparatus (see FIG. 3A).
  • FIG. 3A is a conceptual view showing a state in which the package sorting system 100 is installed in the distribution center and in operation.
  • each worker M visually checks the label affixed to each package P transported by the transport conveyor 50 in the direction of arrow X, and the package for which the worker himself is in charge of delivery arrives Then, it was necessary to pick up the package (pickup) and place it in the vicinity of the worker's own foot, a car, a truck bed and the like.
  • sorting by visual inspection of the workers since there is a limit to the work efficiency of the workers, it was necessary to suppress the transport speed to a predetermined value or less.
  • positioned above the conveyance conveyor 50 reads the label stuck on each package P conveyed by the conveyance conveyor 50.
  • the label describes label recording information including various information on the package.
  • the label record information includes information similar to the package identification number individually assigned to the package, the sender's name, address, telephone number, recipient's name, address, telephone number, package type, and the like. The reading of the label may be performed by the worker in charge corresponding to the barcode in the label with the barcode reader as the label reader 10 by hand.
  • the image sensor 20 picks up an image (distance image and color image) of the package P transported by the transport conveyor 50, and the position of the package P, the distance to the package P, the size of the package P (the package P is a rectangular parallelepiped) In the case of three side lengths), the color of the package P, the pattern of the package P, etc. are acquired.
  • positioning position of the label reader 10 and the image sensor 20, the kind of sensing device, and the order of a process in particular are not limited to the form shown in figure.
  • the image sensor 20 and the projector 40 are constructed as an integrated imaging and projecting device 60 and disposed above the transport conveyor 50.
  • the projection instruction device 30 which is not shown in FIGS. 3A and 3B, is constituted by, for example, a computer disposed in the vicinity of the transport conveyor 50 or in another room, and information for identifying the package acquired by the label reader 10 and the image Based on the distance image and the color image generated by the sensor 20, a projection image to be displayed on the package P (for example, the upper surface when the package P is a rectangular parallelepiped) is generated.
  • the projection instructing device 30 sends to the projector 40 a projection instruction to project the projection image onto the package P.
  • the projector 40 as an image projection apparatus projects the projection light including the projection image generated by the projection instructing device 30 onto the package P, and displays the projection image on the package P.
  • the projection image displayed on the package P is, for example, a circled number image having a color indicating the sorting place corresponding to the delivery address of the package P (see FIG. 3B).
  • the circled numbers correspond to, for example, the number of the truck carrying the sorted luggage P (the number of the truck itself, the parking lot number, etc.), the number of the shelf or box to be carried into the truck, etc. ing.
  • a zip code corresponding to the delivery address, or a number of a worker who should pick up the package P may be used.
  • arrows indicating the sorting direction such as right or left with respect to the transport direction of the transport conveyor 50
  • characters such as "left” or "right”
  • the form of the display is not limited to the circled numbers, and various numbers may be considered such as the numbers enclosed by squares ("3", “359", "24735") as shown in FIG.
  • the projected image is not limited to one enclosing a number or letter by a frame, and may be an open number or letter with a background.
  • the shapes of numbers or characters to be displayed may be switched.
  • the projection image is not limited to a still image, and may be animation.
  • the animation it is conceivable to blink, scale, or change the color of each example described above.
  • an animation reflecting the sorting direction may be projected.
  • Examples of animation reflecting the sorting direction include, for example, moving a light beam or a light spot in the sorting direction, forming all or part of a projected image in the sorting direction, or changing the color, Various things can be considered, such as moving and displaying an arrow in the sorting direction.
  • moving and displaying an arrow in the sorting direction When only part of the projected image is targeted for animation, the part that has a large influence on the judgment of the sorting destination by the operator, such as numbers and arrows, is not changed, and the part that has little influence on the sorting destination such as a frame It is conceivable to change it. However, in situations where it is more efficient to intuitively convey the sorting direction than the meaning of numbers etc.
  • the “image projection device” is not limited to one that directly projects a light beam onto a package.
  • the "image projection apparatus” also includes glasses capable of displaying an image. That is, in the present disclosure, when expressing projection light on a package, displaying an image on a package, projecting an image on a package, etc., the expression is simulated through glasses capable of displaying an image. Also, including making the worker recognize as if the projection light is projected on the package. That is, when the operator wears special glasses capable of displaying an image, the projection image may be superimposed on the image of the luggage P visually recognized through the glasses.
  • FIG. 3A at the side of the transfer conveyor 50, there is a worker M who is in charge of picking up a package (other workers are omitted), and the package that has reached their respective area is circled number 1, circled number. 2. Pick up from the transfer conveyor 50 as shown by circle 3 and so on.
  • the package P1 has package specification information of “AAA 111” in the label, and that the package specification information of “AAA 111” is to be a target of sorting in the area A. Therefore, when the package P1 arrives at the specific area, the processor 34 transmits the projection image generated as shown in FIG. 3B to the projector 40. Then, the projector 40 projects the projection image onto the package P1. Therefore, it is possible for the worker in the relevant area to easily pay attention to the package P1 to be picked up which has arrived in the specific area for which he is in charge, and as a result, it is possible to sort the packages more efficiently and accurately. It becomes possible.
  • the presence or absence of the projection of a plurality of specific areas may be switched to one projector 40, and the plurality of projectors 40 may be switched in their respective specific areas.
  • the presence or absence of projection may be switched.
  • FIG. 5 is a flowchart showing an outline of an operation procedure mainly performed by the projection instruction device 30 of the present embodiment, in particular the processor 34 of the projection instruction device 30.
  • the input unit 32 of the projection instruction device 30 acquires package specification information corresponding to the label recording information from the label reader 10 (step S1).
  • the package identification information is at least one of information similar to the package identification number individually assigned to the package, the sender's name, address, phone number, recipient's name, address, phone number, package type, etc.
  • the processor 34 assigns an ID as a package identification number for identifying the package to the package identifying information, and records the ID together with time information corresponding to the time when the ID is assigned (step S2).
  • the ID recorded in the memory 36 may be a package identification number originally recorded in the package identification information, or the projection instructing device 30 may generate and assign a new ID.
  • step S1 after capturing of the distance image of the luggage by the distance image sensor 22 of the image sensor 20, the input unit 32 of the projection instructing device 30 receives the distance image as sensing information from the distance image sensor 22 It acquires (step S20).
  • the processor 34 determines whether an ID corresponding to a package present in the distance image is present in the memory 36.
  • the processor 34 moves the package between the label reader 10 and the distance image sensor 22 from the distance (known) between the label reader 10 and the distance image sensor 22 and the speed of the transfer conveyor 50. Calculate the time required. Then, by subtracting the time from the time when the distance image is acquired, it is possible to estimate the time when the package present in the distance image is given an ID by the label reader 10 (and the processor 34). Then, it can be estimated that the ID given close to the estimated time is the ID corresponding to the package present in the distance image.
  • the method of installing another distance image sensor in the label reader 10 vicinity is mentioned. That is, from when the label reader 10 assigns an ID (and the processor 34), the other distance image sensor installed in the vicinity of the label reader 10 is used to track the package to which the ID is assigned, for each time The distance between the package (and the ID) and the label reader 10 is measured.
  • the processor 34 determines a predetermined distance from the distance between the measured package (and the ID) and the label reader 10, the distance of the package in the distance image acquired in step S20, and the distance (known) between the two distance image sensors. It is possible to estimate the ID of the package in the distance image acquired in step S20.
  • the processor 34 determines whether or not the ID corresponding to the package included in the distance image is present in the memory 36 (step S30). That is, as described in step S2, in the memory 36, time information corresponding to the time when the package identification information, the ID, and the ID are given is recorded in advance. On the other hand, the processor 34 subtracts the time required for the package to move between the label reader 10 and the range image sensor 22 from the time when the range image is acquired, for example, as described above, so that the package exists in the range image. The time when the ID is given by the label reader 10 (and the processor 34) can be estimated.
  • the processor 34 compares the time information recorded in advance in the memory 36 with the estimated time, and if these values are close (for example, when the time difference is less than or equal to a predetermined threshold time), It can be determined that the corresponding ID exists in the memory 36. If it is determined that the ID corresponding to the package exists in the memory 36 (step S30; Yes), the process proceeds to the process of step S60 and subsequent steps.
  • step S30 If it is determined that the ID corresponding to the package does not exist in the memory 36 (step S30; No), the processor 34 specifies again the position of the package on the premise that the ID is not assigned to the package (step S30) S40), to give an ID to the package (step S50).
  • the color image sensor 24 In parallel with the above-described steps, the color image sensor 24 generates a color image of each package for which the distance image has been acquired. Then, based on the color image from the color image sensor 24 acquired by the input unit 32, the processor 34 tracks the luggage with an ID which is transported and moved by the transport conveyor 50 (step S60). Then, the processor 34 determines, based on the color image, whether or not the package being tracked is picked up by the operator (step S70). If it is determined that the package is not picked up by the worker (Step S70; No), the processor 34 determines whether the package exists in a specific area (a predetermined sorting area where the package is to be picked up) described later. judge.
  • a specific area a predetermined sorting area where the package is to be picked up
  • step S80 When it is determined that the package is in the specific area (reached) (step S80; Yes), the processor 34 generates a projection image and transmits it to the projector 40 (step S90). If it is not determined that the package exists in the specific area (reached) (step S80; No), the process returns to step S60, and the processor 34 continues tracking the package.
  • step S70 If it is determined in step S70 that the package has been picked up by the worker (step S70; Yes), the processor 34 reads the detailed information of the package from the memory 36 (step S100), and generates a projection image including the detailed information
  • the projection image generated by the output unit 38 is output to the projector 40 (step S90).
  • the projector 40 that has acquired the projection image from the projection instructing device 30 projects the projection image onto the corresponding luggage.
  • step S70 is not limited to that described above.
  • the determination in step S70 may be omitted.
  • contact determination with a worker's hand and a package, and a color image, a distance image, etc. is also possible to use contact determination with a worker's hand and a package, and a color image, a distance image, etc. for implementation of determination of step S70.
  • the detailed procedure of each process is further described.
  • occurrence of an error in sorting of packages is detected, and a projection image indicating the occurrence of the error is generated.
  • the detection of the occurrence of an error is performed, for example, based on the sensing information of the package in addition to the reading result of the label recording information of the label attached to the package.
  • sensing information for example, based on the sensing information of the package in addition to the reading result of the label recording information of the label attached to the package.
  • both or either of them is used.
  • the projected image indicating the occurrence of an error can be effectively alerted to the worker, for example, by making the color different from that of the normal time.
  • FIG. 6 is a flowchart (so-called main routine) showing the entire package recognition and projection process.
  • 7 and 8 are flowcharts (so-called subroutines) showing part of the package recognition and projection process.
  • the processor 34 operates in cooperation with the memory 36.
  • the processor 34 first reads label recording information (for example, a bar code) of the label attached to the package to recognize the package (step S120). If necessary, error projection processing is performed based on the read result (step S121). The error projection processing based on the read result is performed as shown in FIG.
  • the processor 34 first determines whether the label recording information has been read or not from the reading result of the label recording information (step S1210).
  • step S1210 If it is determined that the label recording information can not be read (step S1210; No), the processor 34 generates a projection image indicating a package recognition error (step S1211). For example, a square frame including “?” Generates a projection image of a color (eg, red) different from that of the normal time. After generating a projection image indicating a package recognition error, the processor 34 returns to the main routine and resumes the process from step S120.
  • a projection image indicating a package recognition error For example, a square frame including “?” Generates a projection image of a color (eg, red) different from that of the normal time.
  • the processor 34 determines whether there is only one label having valid label recording information attached to the package (step S1212). If the processor 34 determines that there is not one label having valid label recording information attached to the package (step S1212; No), the processor 34 generates a projection image indicating a package recognition error (step S1211). . For example, a red projected image is generated with a square frame including the same "?" As described above. The processor 34 returns to the main routine after generating a projection image indicating a package recognition error.
  • both “the case where there is a plurality of labels in one package” and “the case where the plurality of packages are too close” result in an error, and a projection image indicating a package recognition error is generated.
  • the processor 34 erroneously recognizes that multiple packages are one, and as a result, multiple pieces of label recording information are found from “packages recognized as one”.
  • step S1212 determines that there is only one label having valid label recording information attached to the package (step S1212; Yes).
  • the processor 34 uses it in the present system (that is, the package sorting system 100 of the embodiment). It is determined whether it is within the range of values (step S1213). This determination is provided on the assumption that, for example, there are only 1 to 10 sorting destinations and a value such as 100 is output. If it is determined that the sorting destination is not within the range of values used in the present system (step S1213; No), the processor 34 generates a projection image indicating a package recognition error (step S1211). For example, a red projected image is generated with a square frame including the same "?" As described above. After generating a projection image indicating a package recognition error, the processor 34 returns to the main routine and resumes the process from step S120. However, this process is merely an example, and threads may be set up to perform parallel processing.
  • step S1214 determines whether or not the label recording information is not used for another package. In addition, it can be determined by, for example, accessing a data management server of a physical distribution company whether the label recording information is not used for another package. If the processor 34 determines that the label recording information is not used for another package (i.e., label recording information used for another package) (step S1214; No), a projection indicating a package recognition error An image is generated (step S1211). Whether or not label recording information is used for another package can be determined, for example, by referring to the read label recording information to a server that manages label recording information used for the package. . For example, a red projected image is generated with a square frame including the same "?" As described above. After generating a projection image indicating a package recognition error, the processor 34 returns to the main routine and resumes the process from step S120.
  • the processor 34 determines that the label recording information is not used for another package (step S1214; Yes)
  • the package to which the label having the label recording information is attached is of the transport conveyor 50 (transport path). It is determined whether it is a transport target (step S1215). In this determination, for example, it is determined whether the range of the label recording information of the package to be transported by the transport conveyor 50 is recorded for each transport conveyor 50 and whether the read label recording information is included in the range. And so on. If the processor 34 determines that the package is not to be transported by the transport conveyor 50 (Step S1215; No), the processor 34 generates a projection image indicating that the package is not to be transported by the transport conveyor 50 (Step S1216).
  • a square frame including “x” generates a projection image of a color (eg, red) different from that of the normal time.
  • the processor 34 After the processor 34 generates a projection image indicating that the load is not to be transported by the transport conveyor 50, the processor 34 returns to the main routine and resumes the process from step S120.
  • this process is merely an example, and threads may be set up to perform parallel processing.
  • step S1215 If the processor 34 determines that the package is to be transported by the transport conveyor 50 (step S1215; Yes), the processor 34 returns to the main routine as it is without error and resumes the process from step S120.
  • this process is merely an example, and threads may be set up to perform parallel processing.
  • the processor 34 is attached to the package by the label reader 10 when “the label recording information (for example, bar code) of the label attached to the package by the label reader 10 is not properly read”. Even if the label recording information on the label is read correctly, the predetermined conditions (“Only one label is attached to the package?”, “Whether the sorting destination is within the range of values used in this system? "If it detects the occurrence of an error that does not meet the”? "," Is the label recording information not used for other packages? "), For example, generate a red projection image with a square frame containing"?
  • the package is transported by the transport conveyor 50. If not elephant ", for example, in a rectangular frame including a" ⁇ ", and generates a red projected image.
  • the processor 34 performs error projection processing based on the reading result of the label recording information of the label attached to the package, and then determines whether or not it is a general error target (step S122).
  • the general error is an error that occurs, for example, when an emergency stop button (not shown) of the transfer conveyor 50 is pressed, or when the transfer conveyor 50 abnormally generates heat.
  • step S122 If the processor 34 determines that it is a general error target (step S122; Yes), it generates a projection image indicating a general error (step S123). For example, a square frame including “Err” generates a projection image of a color (eg, red) different from that in the normal state. After generating a projection image indicating a general error, the processor 34 returns to step S120.
  • a general error target For example, a square frame including “Err” generates a projection image of a color (eg, red) different from that in the normal state.
  • the processor 34 determines that the target is not a general error target (step S122; No) If the processor 34 determines that the target is not a general error target (step S122; No), the processor 34 generates a projection image indicating the sorting destination (step S124). The generation process of the projection image which shows the sorting destination is performed as shown in FIG. In FIG. 8, the processor 34 determines whether the package has passed the specific area (predetermined sort area) based on label recording information (for example, a bar code) of the label attached to the package and the sensing information ( Step S1240).
  • the specific area is a part of the area defined as an area where the worker should sort the packages, and the coordinates thereof are known.
  • step S1240 the processor 34 generates a projection image indicating the sorting destination (or the sorting place) (step S1241). That is, since the package has not passed through the specific area, a projected image is formed with a white number indicating the sorting destination and a predetermined background color so that the packager can be picked up normally by the worker M.
  • the processor 34 After generating a projection image indicating that the package has not passed the specific area, the processor 34 returns to the main routine and resumes the process from step S120.
  • the processor 34 If it is determined that the package has passed the specific area (step S1240; Yes), the processor 34 generates a projection image in a color (for example, red) indicating an error by using a square frame including a number indicating a sorting destination (Ste S1242). That is, since the package has passed through the specific area, a projection image is generated to make the worker M recognize that an error has occurred. For example, if the sorting destination is “1”, a red projected image composed of “number 1” and “square frame” is generated. Also, if the sorting destination is "2”, a red projected image consisting of "number 2" and "square frame” is generated.
  • a color for example, red
  • the processor 34 determines that the package has not passed through the specific area (predetermined sorting area)
  • the processor 34 generates a projection image including a white number indicating the sorting destination and a predetermined background color
  • a projected image is generated with a square frame including a number indicating the sorting destination and a color (for example, red) indicating an error.
  • a projection image indicating the occurrence of the error is generated and projected onto the package to be subjected to the error.
  • the occurrence of an error is notified by an alarm, voice or the like
  • the occurrence of an error may not be recognized by the worker in the notification by voice or the like. Therefore, in the present disclosure, an operator can easily recognize the occurrence of an error by generating and projecting an image indicating the error on a package in which an error occurs.
  • a different projection image is generated and projected for each work to be performed by the operator in order to eliminate an error that has occurred.
  • different images are projected on the projected image that indicates a package recognition error and on the projected image that the package is not to be transported by the transport conveyor 50 (transport conveyor error).
  • the transport conveyor error occurred more upstream It can not be resolved by the worker because it is derived from an error. Therefore, among these errors, the operator's response is different, and the projected image is divided accordingly.
  • projection images showing other errors are also divided by the same idea.
  • the label recording information for example, the bar code
  • the label recording information can be read normally
  • the predetermined conditions are not satisfied
  • the label recording information can be read normally and the predetermined conditions are satisfied
  • the transported cargo passes through the specific area without being picked up
  • the determination of the recognition error and the transport conveyor error may be reversed.
  • an image different from the example shown in the present disclosure may be generated and projected as a projection image indicating the occurrence of an error.
  • a projection image including “x” in a square is generated when a recognition error occurs
  • a projection image including “?” In a square is generated when a transport conveyor error occurs, etc.
  • Errors and projected images may be generated and projected with different correspondences than the examples shown in the above disclosure.
  • notification of the occurrence of an error is performed only by generating a projection image indicating the error and projecting the image onto a package, but the present invention is not limited to this.
  • notification by sound or alarm may be performed.
  • voice notification all workers on site are notified unless special equipment such as directional speakers are provided, which may confuse workers not related to errors. There is a fear. Therefore, notification may be made by voice or the like only when projecting a projection image indicating an error passing through a specific area, which is an error that a worker is likely to overlook a package.
  • the present invention is not limited to this.
  • the shape of the projected image may be changed such as projecting a projection image in which numbers and the like are surrounded by a rectangle when normal, and projecting a projection image in which numbers and the like are surrounded by a triangle when an error occurs. That is, as long as the worker who saw the projection image showing the error can easily recognize the occurrence of the error, it does not matter what characteristic the projection image has.
  • a projection image indicating an error passing through a specific area is generated using a number read from label recording information, but is not limited to this. If reading of label recording information fails, another image such as a temporary number or another picture may be projected.
  • a plurality of errors may occur redundantly, for example, when a package for which label recording information can not be read passes a specific area without being picked up.
  • a projection image showing any one error may be preferentially generated and a projection image showing another error may not be generated, or a projection image showing all errors may be generated.
  • errors in other sorting areas may be prioritized over errors in the sorting area in which the package currently exists.
  • an error relating to a sorting area in which a package currently exists a reading error of label registration information that is highly likely to be resolved in the sorting area can be considered.
  • Examples of errors pertaining to other sorting areas include errors affecting sorting operations in other sorting areas (eg errors passing through specific areas affecting downstream processes) or resolution only in other sorting areas An impossible error (for example, an error of a conveyor error that can not be resolved without going back to the upstream process) is considered. Also, when projecting a projection image showing all errors, it is difficult for the operator to recognize the occurrence of individual errors unless the area of the luggage to be projected is sufficiently large. Therefore, depending on the size of the plane of the package on which the projection image is projected (projection plane), it is possible to switch whether to project only the projection image showing any error or to project the projection image showing all the errors. good.
  • the projection image which shows several error it is good also as what put the projection image which shows each error in order simply, and the image which integrated the projection image which shows each error (for example, in one square) , "X" and "?" And numbers may be included.
  • the projection plane is narrow, one or more errors to be projected may be selected on the same basis as in the case of preferentially selecting a projection image showing any one error.
  • the image may blink (blink) or be animated.
  • FIG. 9 shows an example of the correspondence for each error
  • some errors may be resolved by moving the package P to a special route.
  • an error due to a recognition error in the label reader 10 if the label reader 10 reads the label again, there is a possibility that it can be correctly recognized.
  • the example shown in FIG. So, below the structure which aims at the solution of the said error is demonstrated by moving the package P which error generate
  • the structure for returning the upstream of the same transport conveyor is useful, for example, in the case where the label reading fails due to a factor such as the package P accidentally overlapping with another package. In this case, it is possible to specify the correct sorting destination if the reading is performed again in the same environment without any other package.
  • the structure transferred to another transport conveyor is useful, for example, when reading fails due to environmental factors such as sensor arrangement or ambient brightness. In this case, if the package sorting system 100 differs in the arrangement of components or the surrounding environment, the label of the package P may be read correctly.
  • a skilled worker manually performs the operation (for example, the label is manually read using a handy scanner, or the worker visually checks the address described on the label)
  • An area for sorting may be provided. Since the number of packages for which errors occur with respect to the total number of packages handled by the package sorting system 100 is small, a small number of skilled workers should be secured. Therefore, even with such a structure, the cost required for sorting the packages can be reduced.
  • FIG. 10 schematically shows the arrangement of a transfer conveyor that realizes the above-described processing when a skilled worker performs a sorting operation as an example of another transfer conveyor.
  • the gray transport conveyor is a conveyor by which a novice operator sorts the packages P with the aid of the package sorting system 100.
  • the label reader 10 which comprises the luggage
  • the package sorting system 100 includes other components but is omitted in FIG.
  • the black transport conveyor is a conveyor by which skilled workers sort the packages P. It should be noted that the transport conveyor for skilled workers does not necessarily need to be supported by the package sorting system 100.
  • the shooter 1001 is a path for transferring the package P in which an error has occurred to an upstream or another transport conveyor.
  • the shooter 1002 is a path for the skilled worker to return the package P again to the upstream portion of the gray transport conveyor.
  • the packages P can be moved upstream of the same transport conveyor, or can be sorted by a skilled worker.
  • the process of moving to the upstream is performed by the judgment of a skilled worker, but is not limited thereto.
  • the shooter 1001 may be directly connected to the upstream of the gray transport conveyor and transferred upstream without the judgment of a skilled worker.
  • the shooter 1002 may be removed, and the luggage P that has flowed to the skilled worker may be completed by the skilled worker (that is, not returned upstream of the gray transport conveyor).
  • a projection image indicating an error indicates that it should be returned upstream, a projection image indicating another conveyor, etc. May be generated and projected.
  • the color, shape, animation, etc. of the projected image may be different from that in the case where no error has occurred, in order to distinguish it from the projected image of the package in which no error has occurred.
  • identification information of the shooter or transport conveyor to be moved may be included in the projection image.
  • the moving destination may be changed according to the number of times the label reading has failed. For example, if a package that has been returned upstream several times still fails to read the label, the cause of the failure may be the compatibility between the package P and the environment of the transport conveyor or the label of the package P itself Sex is high. In this case, even if the package P is returned to the upstream of the same transport conveyor, the probability of the error being eliminated is low. Therefore, in such a case, it may be possible to prevent repetition of errors by projecting a projection image that suggests movement to another transport conveyor.
  • the means for moving the package P in which an error has occurred to the upstream or another transport conveyor is not limited to the one indicated by the projection image.
  • the projection image itself can not be projected onto the package P.
  • the operator is instructed in advance that "the package P where the projection image is not projected is moved to the upstream conveying conveyor or to another predetermined conveying conveyor". And is beneficial.
  • the projection image disclosed above is used as it is by instructing the operator to “move to the upstream or another transport conveyor if an image showing an error is projected on the package P”. It is also possible to move the load P upstream or to another transport conveyor at the discretion of the operator.
  • a structure may be considered in which the load P is automatically sent to the shooter 1001, such as providing an operation type bar or the like for pushing out the load P on the transfer conveyor.
  • the shooter 1001 such as providing an operation type bar or the like for pushing out the load P on the transfer conveyor.
  • the package P which has been recognized normally is also taken in and sent by the shooter 1001, but the process received by such a package P passes through the upstream of the transport conveyor again and is recognized again normally. Or they can be sorted by skilled workers. Therefore, the occurrence of such cases has little impact on the overall performance of the package sorting.
  • the present disclosure relates to a projection instruction device, a baggage sorting system, and a projection instruction method capable of detecting an error in reading label recording information of a label attached to a package, or an error passing through a specific area without picking up a transported package, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Sorting Of Articles (AREA)

Abstract

荷物に貼付されたラベルに含まれる荷物特定情報の読取結果に基づき、荷物に投影する投影画像を生成する投影指示装置であって、プロセッサと、メモリと、を備え、プロセッサは、メモリと協働して、エラーの発生を検出し、エラーの発生を検出した場合、荷物を上流へ移送させる。

Description

荷物仕分けシステム
　本開示は、荷物の仕分けに有用な荷物仕分けシステムに関する。
　近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。
　特許文献１は、移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に投射して画像を荷物上に表示するシステムを開示している。
米国特許第７０９０１３４号明細書
　しかしながら、昨今荷物の流通量はますます増大するとともに、荷物の種類も様々なものとなっており、荷物をより効率的かつ正確に仕分ける技術が求められている。
　本開示は、荷物の仕分けをより効率的かつ正確に行うための技術に関する。
　本開示は、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、プロセッサと、メモリと、を備える荷物仕分けシステムである。プロセッサは、メモリと協働して、ラベルリーダで読み取った荷物特定情報に基づいて荷物に投影画像の投影を指示する投影指示装置と、ラベルリーダの上流から下流へ荷物を搬送する搬送コンベヤを備え、搬送コンベヤはさらに、投影画像が投影される領域からラベルリーダが配置されている箇所よりも上流へ荷物を移動させることのできる経路を備え、投影指示装置は、ラベルリーダがラベルの読み取りに失敗した場合に、ラベルリーダが配置されている箇所よりも上流へ読み取りに失敗したラベルが貼付された荷物を移動させることのできる経路へ荷物を誘導する画像を、投影画像として荷物へ投影する。
　本開示によれば、荷物の仕分けをより効率的かつ正確に行うことができ、さらなる荷物の流通量の増大にも対応することができる。特に、本開示では、荷物仕分けシステムにおいてエラーが発生した場合、エラーの発生を示す投影画像を生成し、エラーの対象である荷物に対して投影するので、仕分け作業者はエラーの発生とエラーの対象となっている荷物とを同時に認識することが出来る。これにより、仕分け作業の効率向上が図れる。
図１は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。 図２は、実施の形態にかかる投影指示装置の構成を示すブロック図である。 図３Ａは、荷物仕分けシステムが物流センターに設置され、稼働している状況を示す概念図である。 図３Ｂは、荷物の上面に数字を含む投影画像を投影した状態を示す図である。 図４は、実施の形態にかかる投影指示装置で生成される投影画像の一例を示す図である。 図５は、主として投影指示装置が行う動作の概要手順を示すフローチャートである。 図６は、荷物の認識・投影処理の全体を示すフローチャートである。 図７は、荷物の認識・投影処理の一部を示すフローチャートである。 図８は、荷物の認識・投影処理の一部を示すフローチャートである。 図９は、エラーの種類に対応する投影画像と作業者の対応を示す図である。 図１０は、他の搬送コンベヤの例として熟練した作業者が仕分けを行う搬送コンベヤを採用した場合に、上述した処理を実現する搬送コンベヤの配置を示す模式図である。
　以下、適宜図面を参照しながら、本開示に係る荷物仕分けシステムを具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　以下、図１～図９を用いて本開示の実施の形態を説明する。
　［構成］
　図１は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図１に示す荷物仕分けシステム１００は、例えば物流センターに設置される。荷物仕分けシステム１００は、ラベルリーダ１０と、画像センサ２０と、投影指示装置３０と、プロジェクタ４０とを備える。荷物仕分けシステム１００は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業者の作業を支援するシステムである。荷物仕分けシステム１００は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図１に記載したものに限定されない。例えば、一台のラベルリーダ１０に複数の画像センサ２０と、投影指示装置３０と、プロジェクタ４０を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。
　読取装置としてのラベルリーダ１０は、図示せぬレンズ、イメージセンサ等の各種の要素を含む装置である。ラベルリーダ１０を用いることで、搬送コンベヤにより搬送されてくる荷物に貼付されたラベルから当該荷物に関する各種の情報を記録したラベル記録情報を読み取ることができる。読み取られたラベル記録情報を用いることで、当該荷物を特定することが可能である。読み取られた情報によって荷物特定情報が定義づけられる。
　画像センサ２０は、図示せぬレンズ、イメージセンサ等の各種の要素を含む撮像装置である。画像センサ２０は、一般的には撮像カメラとして構成される。撮像カメラは３次元カメラ、複数台の２次元カメラなどである。画像センサ２０は、距離画像センサ２２と色画像センサ２４とを含む。
　距離画像センサ２２は、搬送コンベヤにより搬送されてくる荷物を撮像し、距離画像を生成する。生成された距離画像は、荷物の位置、荷物までの距離、荷物のサイズ等を示す情報として使用される。「距離画像」とは、撮像位置から各画素が示す位置（荷物の表面を含む）までの距離を示す距離情報を収容した画像のことをいう（つまり本開示において「画像」の語は距離画像を含む）。また、「距離画像」という文言には、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものも含まれる。すなわち「距離画像」は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造は問わない。本開示において距離画像センサ２２は荷物の位置を特定するために用いられる。よって距離画像センサ２２は、他のセンシングデバイス（超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ）が代替することもできる。
　色画像センサ２４は、距離画像が生成された荷物を撮像し、色画像を生成する。「色画像」とは、荷物の表面の色を所定の階調で表現した画像のことをいい、「階調」にはＲＧＢの２５６階調のみならず、グレースケール等あらゆるものが含まれる。本開示において色画像センサ２４は、距離画像センサ２２が特定した荷物について、各荷物を追跡するために用いられる。色画像センサ２４も、他のセンシングデバイス（超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ）が代替することができる。
　つまり本開示において「画像」の語は距離画像と色画像の双方を含む。本開示においては距離画像センサおよび色画像センサを含むセンシングデバイスとしての画像センサから出力される情報をセンシング情報と呼ぶ。本実施の形態においてはセンシングデバイスの一例として画像センサ２０（距離画像センサ２２および色画像センサ２４を含む）を用いて説明を行う。また本実施の形態においては、センシング情報の例として、距離画像センサ２２の出力である距離画像、色画像センサ２４の出力である色画像を用いて説明を行う。
　投影指示装置３０は、荷物仕分けシステム１００における演算装置としての役割を果たす。図２に示すように、投影指示装置３０は、バスを介して接続された入力部３２、プロセッサ３４、メモリ３６、出力部３８を備える。入力部３２は、ラベルリーダ１０が読み込んだラベル記録情報から取得した荷物の特定が可能な荷物特定情報、距離画像センサ２２が生成した距離画像、色画像センサ２４が生成した色画像を受け取る。プロセッサ３４は一般的な演算装置によって構成され、荷物特定情報、距離画像および色画像に基づき、荷物に投影する投影画像を生成する。記憶装置としてのメモリ３６は、プロセッサ３４が各種処理に必要な制御プログラムの読み込み、データの退避等の操作を行う。すなわち、プロセッサ３４とメモリ３６は協働して投影指示装置３０による各種処理を制御する。出力部３８は、プロセッサ３４が生成した投影画像をプロジェクタ４０に出力する。なお、本開示において「プロセッサ」は単一のプロセッサのみを意味するものではない。「プロセッサ」は、複数の同一目的のプロセッサや、目的の異なるプロセッサ（例えば、汎用ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）とＧＰＵ（Ｇｒａｐｈｉｃ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ））が共同して処理を行う場合の動作主体を意味する語としても使用される。
　プロジェクタ４０は一般的な投影装置により構成され、投影指示装置３０から受信した投影画像を含む投影光を荷物に投影し、荷物上に表示する。
　荷物仕分けシステム１００は、ラベルリーダ１０と、画像センサ２０（距離画像センサ２２および色画像センサ２４）と、投影指示装置３０と、プロジェクタ４０とを有線通信または無線通信で繋ぎ合わすことにより構築できる。また、ラベルリーダ１０と、画像センサ２０と、投影指示装置３０と、プロジェクタ４０のうちいずれかの二台以上の装置を一体型の装置として構築することもできる。例えば、画像センサ２０とプロジェクタ４０とを合わせて、一体型の撮像投影装置として構築することもできる（図３Ａ参照）。
　［システムの概要］
　図３Ａは、荷物仕分けシステム１００が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Ｍが、搬送コンベヤ５０により矢印Ｘ方向に搬送されてくる各荷物Ｐに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて（ピックアップ）、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。
　そこで本実施形態では、図３Ａに示すように、搬送コンベヤ５０の上方に配置されたラベルリーダ１０が、搬送コンベヤ５０により搬送されてくる各荷物Ｐに貼付されたラベルを読み取る。ラベルには、当該荷物に関する各種の情報を含むラベル記録情報が記載されている。ラベル記録情報は、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報を含む。ラベルの読み込みは、担当の作業者がラベル内のバーコードに、ラベルリーダ１０としてのバーコードリーダを手で当てて読み込むことで行っても良い。
　さらに画像センサ２０が、搬送コンベヤ５０により搬送されてくる荷物Ｐの画像（距離画像および色画像）を撮像し、荷物Ｐの位置、荷物Ｐまでの距離、荷物Ｐのサイズ（荷物Ｐが直方体の場合は３辺の長さ）、荷物Ｐの色、荷物Ｐの模様等の情報を取得する。尚、ラベルリーダ１０、画像センサ２０の配置位置や、センシングデバイスの種類、処理の順序は特に図示した形態に限定されない。上述した様に、本例では、画像センサ２０とプロジェクタ４０が一体型の撮像投影装置６０として構築され、搬送コンベヤ５０の上方に配置されている。
　図３Ａ、図３Ｂでは示されていない投影指示装置３０は、例えば搬送コンベヤ５０の近傍や、別の部屋に配置されたコンピュータにより構成され、ラベルリーダ１０が獲得した荷物を特定する情報と、画像センサ２０が生成した距離画像および色画像に基づき、荷物Ｐ（荷物Ｐが直方体の場合は例えば上面）に表示する投影画像を生成する。投影指示装置３０は投影画像を荷物Ｐに投影すべき投影指示をプロジェクタ４０に送る。
　投影指示を受けた、画像投影装置としての、プロジェクタ４０は、投影指示装置３０が生成した投影画像を含む投影光を荷物Ｐに投影し、荷物Ｐ上に投影画像を表示する。ここで荷物Ｐに表示される投影画像は、例えば、当該荷物Ｐの配送先住所に対応した仕分け場所を示す色を有する丸数字の画像である（図３Ｂ参照）。ここで、丸数字は、例えば、仕分けられた荷物Ｐを運ぶトラックの番号（トラック自体の番号や駐車場番号など）や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応している。また、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューターの番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため搬送コンベヤ５０周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベヤ５０と搬送トラック等との間にシューターを挟み、搬送コンベヤ５０周辺ではシューターの番号を投影することで、搬送コンベヤ５０周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することが出来る。もちろん、状況に応じて、様々な種類の投影画像が表示される。数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Ｐをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印（搬送コンベヤ５０の搬送方向に対して右または左など）または文字（「左」「右」など）であってもよい。更に、表示の形態も丸数字に限られるものではなく、図４で示すような四角で囲んだ数字（“３”、“３５９”、“２４７３５”）など様々なものが考えられる。さらに、投影画像は、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸・三角・四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。また、投影画像は静止画像に限らず、アニメーションであっても構わない。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりすることなど考えられる。また、仕分け方向を反映したアニメーションを投影しても構わない。仕分け方向を反映したアニメーションの例としては、例えば、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影画像の全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示するなど、さまざまなものが考えられる。投影画像の一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させることなどが考えられる。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。なお、本開示において「画像投影装置」とは光線を直接荷物に投影するものに限定されない。本開示において「画像投影装置」には画像を表示可能な眼鏡も含む。つまり本開示において、荷物に投影光を投影する、荷物に画像を表示する、荷物に画像を投影する、などと表現した場合は、その表現は画像を表示可能な眼鏡を介して、擬似的に、荷物に投影光が投影されているかのように作業者に認識させることも含む。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物Ｐの像に、ここでの投影画像を重ねあわせてもよい。
　図３Ａにおいて、搬送コンベヤ５０の脇には、荷物を拾い上げる担当の作業者Ｍ（他の作業者は省略）が立っており、それぞれの担当の領域に到達した荷物を、丸数字１、丸数字２、丸数字３等で示すように搬送コンベヤ５０から拾い上げる。
　例えば荷物Ｐ１はラベルに「ＡＡＡ１１１」の荷物特定情報を持っており、「ＡＡＡ１１１」の荷物特定情報は領域Ａで仕分けの対象になる旨が特定されているとする。そこで、プロセッサ３４は、荷物Ｐ１が特定領域に到着したら、図３Ｂに示すように生成した投影画像をプロジェクタ４０に送信する。そして、プロジェクタ４０は投影画像を荷物Ｐ１に投影する。よって、当該領域の作業者は、自身が担当する特定領域に到着した自身が拾い上げるべき荷物Ｐ１に容易に着目することが可能となり、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。
　本実施形態では、図３Ａに示すように１台のプロジェクタ４０に対して、複数の特定領域の投影の有無を切り替えさせてもよく、複数台のプロジェクタ４０に対して、それぞれ担当の特定領域における投影の有無を切り替えさせてもよい。
　以下、実施形態の荷物仕分けシステム１００において、投影指示装置３０が行う荷物仕分けの動作の概要を説明する。
　［動作の概要］
　図５は、本実施形態の投影指示装置３０、特に投影指示装置３０のプロセッサ３４が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ１０による荷物のラベルのラベル記録情報の読み取り後、投影指示装置３０の入力部３２がラベルリーダ１０から、ラベル記録情報に対応した荷物特定情報を取得する（ステップＳ１）。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ３４は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのＩＤを付与し、ＩＤを付与した時刻に対応する時刻情報とともにメモリ３６に記録する（ステップＳ２）。メモリ３６に記録するＩＤは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置３０が新しいＩＤを生成して付与してもよい。
　一方、ステップＳ１およびステップＳ２と並行して、画像センサ２０の距離画像センサ２２による荷物の距離画像の撮像後、投影指示装置３０の入力部３２が距離画像センサ２２からセンシング情報としての距離画像を取得する（ステップＳ２０）。プロセッサ３４は、当該距離画像に存在する荷物に対応するＩＤがメモリ３６に存在するか否かを判定する。
　当該距離画像に存在する荷物に対応するＩＤがメモリ３６に存在するか否かを判定する手法の一例としては、次のような手順によることが挙げられる。すなわち、プロセッサ３４は、ラベルリーダ１０と距離画像センサ２２との間の距離（既知とする）、および搬送コンベヤ５０の速度から、荷物がラベルリーダ１０と距離画像センサ２２の間を移動するために要する時間を計算する。そして、距離画像を取得した時刻から当該時間を引くことで、距離画像に存在する荷物がラベルリーダ１０（およびプロセッサ３４）によりＩＤを付与された時刻が推定できる。そして、当該推定した時刻に近接して付与されたＩＤが、当該距離画像に存在する荷物に対応するＩＤであると推定できる。また、他の一例としては、ラベルリーダ１０近辺に他の距離画像センサを設置する手法が挙げられる。すなわち、ラベルリーダ１０がＩＤ（およびプロセッサ３４）を付与した際から、ラベルリーダ１０近辺に設置した他の距離画像センサを用いて当該ＩＤが付与された荷物を追跡することで、時刻毎に当該荷物（およびＩＤ）とラベルリーダ１０との距離を計測する。プロセッサ３４は計測された荷物（およびＩＤ）とラベルリーダ１０との距離と、ステップＳ２０で取得された距離画像における荷物の距離と、２つの距離画像センサとの距離（既知とする）から所定のステップＳ２０で取得された距離画像における荷物のＩＤを推定することができる。
　このようにして、プロセッサ３４は当該距離画像に含まれる荷物に対応するＩＤがメモリ３６に存在するか否かを判定する（ステップＳ３０）。すなわち、ステップＳ２で述べたように、メモリ３６には、荷物特定情報、ＩＤ、ＩＤを付与した時刻に対応する時刻情報が予め記録されている。一方、プロセッサ３４は、例えば上述したように、距離画像を取得した時刻から荷物がラベルリーダ１０と距離画像センサ２２の間を移動するために要する時間を引くことで、距離画像に存在する荷物がラベルリーダ１０（およびプロセッサ３４）によりＩＤを付与された時刻が推定できる。プロセッサ３４は、予めメモリ３６に記録された時刻情報と推定した時刻とを比較し、これらの値が近い場合は（例えば時間差が所定の閾値時間以下の場合など）、距離画像に含まれる荷物に対応するＩＤがメモリ３６に存在すると判定することができる。メモリ３６に荷物に対応するＩＤが存在すると判定した場合（ステップＳ３０；Ｙｅｓ）、ステップＳ６０以降の処理に進む。
　メモリ３６に荷物に対応するＩＤが存在しないと判定した場合（ステップＳ３０；Ｎｏ）、プロセッサ３４は、当該荷物にＩＤが付与されていないことを前提として、当該荷物の位置を改めて特定し（ステップＳ４０）、荷物にＩＤを付与する（ステップＳ５０）。
　上述のステップと並行して、色画像センサ２４は、距離画像を取得した各荷物の色画像を生成する。そして、プロセッサ３４は、入力部３２が取得する色画像センサ２４からの色画像に基づき、搬送コンベヤ５０により搬送されて移動するＩＤ付きの荷物を追跡する（ステップＳ６０）。そして、プロセッサ３４は、同じく色画像に基づき、追跡していた荷物が作業者により拾い上げられたか否かを判定する（ステップＳ７０）。荷物が作業者により拾い上げられていないと判定した場合（ステップＳ７０；Ｎｏ）、プロセッサ３４は、荷物が、後述する特定領域（その荷物が拾い上げられるべき所定の仕分けエリア）に存在するか否かを判定する。そして、荷物が特定領域に存在する（到達した）と判定した場合（ステップＳ８０；Ｙｅｓ）、プロセッサ３４は投影画像を生成し、プロジェクタ４０に送信する（ステップＳ９０）。荷物が特定領域に存在する（到達した）と判定しない場合（ステップＳ８０；Ｎｏ）、ステップＳ６０に戻り、プロセッサ３４は、荷物の追跡を続行する。
　また、ステップＳ７０で、荷物が作業者により拾い上げられたと判定した場合（ステップＳ７０；Ｙｅｓ）、プロセッサ３４は、荷物の詳細情報をメモリ３６から読み出し（ステップＳ１００）、詳細情報を含む投影画像を生成し、出力部３８が生成した投影画像をプロジェクタ４０に出力する（ステップＳ９０）。投影指示装置３０から投影画像を取得したプロジェクタ４０は、当該投影画像を対応する荷物に投影する。
　以上は、投影指示装置３０のプロセッサ３４等が行う動作手順の概略というべきものである。もちろん、動作手順は上述したものには限定されない。例えば、ステップＳ７０の判定等は省略することも可能である。また、ステップＳ７０の判定の実施には、作業者の手と荷物との接触判定や、色画像、距離画像等を利用することも可能である。以下、さらに各処理の詳細な手順について説明する。
　［荷物の仕分けにおいて発生するエラーを作業者Ｍに認識させるための投影］
　荷物の仕分けにおいて発生するエラーには、例えば以下に示す３つの場合がある。
（１）ラベルリーダ１０による荷物に貼付されたラベルのラベル記録情報（荷物特定情報）の読み取りが正常に行われなかった場合。
（２）ラベル記録情報を正常に読めても、所定の条件を満たしていない場合。
（３）ラベル記録情報を正常に読めて、且つ所定の条件を満たしていても、搬送される荷物が拾い上げられることなく特定領域（所定の仕分けエリア）を通過してしまう場合。
　このような様々なエラーの発生を作業者に知らせて認識させることは困難である。
　そこで、本開示では、荷物の仕分けにおけるエラーの発生を検出し、該エラーの発生を示す投影画像を生成する。エラーの発生の検出には、例えば、荷物に貼り付けられたラベルのラベル記録情報の読取結果の他に荷物のセンシング情報に基づいて行う。この場合、エラーの発生の検出に用いるセンシング情報には距離画像と色画像があるが、その両方又はいずれか一方を用いる。エラーの発生を示す投影画像は、例えば通常時とは異なる色にすることで、作業者に対して効果的に注意喚起することができる。
　図６は、荷物の認識・投影処理の全体を示すフローチャート（所謂メインルーチン）である。また、図７及び図８は、荷物の認識・投影処理の一部を示すフローチャート（所謂サブルーチン）である。なお、上述したように、プロセッサ３４は、メモリ３６と協働して動作する。図６において、プロセッサ３４は、先ず荷物に貼り付けられたラベルのラベル記録情報（例えば、バーコード）を読み取り、荷物を認識する（ステップＳ１２０）。そして、必要があれば読取結果に基づくエラー投影処理を行う（ステップＳ１２１）。読取結果に基づくエラー投影処理は、図７に示すように行われる。図７において、まずプロセッサ３４は、ラベル記録情報の読取結果より、当該ラベル記録情報が読めたか否かを判定する（ステップＳ１２１０）。プロセッサ３４は、ラベル記録情報が読めないと判定した場合（ステップＳ１２１０；Ｎｏ）、荷物の認識誤りを示す投影画像を生成する（ステップＳ１２１１）。例えば、“？”を含む四角枠で、正常時と異なる色（例えば、赤色）の投影画像を生成する。プロセッサ３４は、荷物の認識誤りを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。
　プロセッサ３４は、ラベル記録情報が読めたと判定した場合（ステップＳ１２１０；Ｙｅｓ）、荷物に貼り付けられている有効なラベル記録情報を有するラベルが１つだけか否かを判定する（ステップＳ１２１２）。プロセッサ３４は、荷物に貼り付けられている有効なラベル記録情報を有するラベルが１つではないと判定した場合（ステップＳ１２１２；Ｎｏ）、荷物の認識誤りを示す投影画像を生成する（ステップＳ１２１１）。例えば、上記同様の“？”を含む四角枠で、赤色の投影画像を生成する。プロセッサ３４は、荷物の認識誤りを示す投影画像を生成した後、メインルーチンに戻る。ここで、「１つの荷物に複数のラベルがある」場合と、「複数の荷物があまりに近い」場合の両方がエラーになり、荷物の認識誤りを示す投影画像が生成される。後者の場合、すなわち「複数の荷物があまりに近い」場合、プロセッサ３４は、複数の荷物が１つだと誤認識し、結果的に「１つと認識した荷物」から複数のラベル記録情報が見つかる。
　プロセッサ３４は、荷物に貼り付けられている有効なラベル記録情報を有するラベルが１つだけと判定した場合（ステップＳ１２１２；Ｙｅｓ）、本システム（すなわち、実施形態の荷物仕分けシステム１００）で使用する値の範囲内であるか否かを判定する（ステップＳ１２１３）。この判定は、例えば仕分け先が１～１０しかないのに１００などの値が出た場合を想定して設けたものである。プロセッサ３４は、仕分け先が本システムで使用する値の範囲内ではないと判定した場合（ステップＳ１２１３；Ｎｏ）、荷物の認識誤りを示す投影画像を生成する（ステップＳ１２１１）。例えば、上記同様の“？”を含む四角枠で、赤色の投影画像を生成する。プロセッサ３４は、荷物の認識誤りを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。但し、この処理は一例にすぎず、スレッドを立てて並列処理を行うようにしてもよい。
　プロセッサ３４は、仕分け先が本システムで使用する値の範囲内であると判定した場合（ステップＳ１２１３；Ｙｅｓ）、他の荷物に使用されていないラベル記録情報か否かを判定する（ステップＳ１２１４）。なお、他の荷物に使用されていないラベル記録情報か否かは、例えば物流業者のデータ管理サーバにアクセスすることで判定できる。プロセッサ３４は、他の荷物に使用されていないラベル記録情報ではない（すなわち、他の荷物に使用されているラベル記録情報）と判定した場合（ステップＳ１２１４；Ｎｏ）、荷物の認識誤りを示す投影画像を生成する（ステップＳ１２１１）。なお、ラベル記録情報が他の荷物に使用されているか否かは、例えば、荷物に使用しているラベル記録情報を管理しているサーバなどに、読み取ったラベル記録情報を照会することで判断できる。例えば、上記同様の“？”を含む四角枠で、赤色の投影画像を生成する。プロセッサ３４は、荷物の認識誤りを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。
　プロセッサ３４は、他の荷物に使用されていないラベル記録情報であると判定した場合（ステップＳ１２１４；Ｙｅｓ）、当該ラベル記録情報を有するラベルが貼り付けられた荷物が搬送コンベヤ５０（搬送路）の搬送対象であるか否かを判定する（ステップＳ１２１５）。この判定は、例えば、搬送コンベヤ５０ごとに当該搬送コンベヤ５０で搬送されるべき荷物のラベル記録情報の範囲が記録されており、読み取ったラベル記録情報がその範囲に含まれるかどうかを判断することなどによって行われる。プロセッサ３４は、当該荷物が搬送コンベヤ５０の搬送対象でないと判定した場合（ステップＳ１２１５；Ｎｏ）、当該荷物が搬送コンベヤ５０の搬送対象でないことを示す投影画像を生成する（ステップＳ１２１６）。例えば、“×”を含む四角枠で、正常時と異なる色（例えば、赤色）の投影画像を生成する。プロセッサ３４は、荷物が搬送コンベヤ５０の搬送対象ではないことを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。但し、この処理は一例にすぎず、スレッドを立てて並列処理を行うようにしてもよい。
　プロセッサ３４は、荷物が搬送コンベヤ５０の搬送対象であると判定した場合（ステップＳ１２１５；Ｙｅｓ）、エラー無しとして処理を続行するため、そのままメインルーチンに戻り、ステップＳ１２０から処理を再開する。但し、この処理は一例にすぎず、スレッドを立てて並列処理を行うようにしてもよい。
　このように、プロセッサ３４は、「ラベルリーダ１０による荷物に貼付されたラベルのラベル記録情報（例えば、バーコード）の読み取りが正常に行われなかった場合」、「ラベルリーダ１０による荷物に貼付されたラベルのラベル記録情報の読み取りが正常に行われても、所定の条件（「荷物に貼り付けられているラベルが１つだけ？」、「仕分け先が本システムで使用する値の範囲内か？」、「他の荷物に使用されていないラベル記録情報か？」）を満たしていないエラーの発生を検出した場合」、例えば“？”を含む四角枠で、赤色の投影画像を生成し、「ラベルリーダ１０による荷物に貼付されたラベルのラベル記録情報の読み取りが正常に行われ、かつ上記所定の条件を満たしている場合でも、「荷物が搬送コンベヤ５０の搬送対象でない場合」、例えば、“×”を含む四角枠で、赤色の投影画像を生成する。
　図６のメインルーチンにおいて、プロセッサ３４は、荷物に貼付されたラベルのラベル記録情報の読取結果に基づくエラー投影処理を行った後、一般エラー対象か否かを判定する（ステップＳ１２２）。ここで、一般エラーとは、例えば搬送コンベヤ５０の緊急停止ボタン（図示略）が押された場合や、搬送コンベヤ５０が異常発熱した場合などで発生するエラーのことである。
　プロセッサ３４は、一般エラー対象であると判定した場合（ステップＳ１２２；Ｙｅｓ）、一般エラーを示す投影画像を生成する（ステップＳ１２３）。例えば、“Ｅｒｒ”を含む四角枠で、正常時と異なる色（例えば、赤色）の投影画像を生成する。プロセッサ３４は、一般エラーを示す投影画像を生成した後、ステップＳ１２０に戻る。
　プロセッサ３４は、一般エラー対象でないと判定した場合（ステップＳ１２２；Ｎｏ）、仕分け先を示す投影画像を生成する（ステップＳ１２４）。仕分け先を示す投影画像の生成処理は、図８に示すように行われる。図８において、プロセッサ３４は、荷物に貼付されたラベルのラベル記録情報（例えば、バーコード）及びセンシング情報に基づき、荷物が特定領域（所定の仕分けエリア）を通過したか否かを判定する（ステップＳ１２４０）。ここで、特定領域は、作業者が荷物の仕分けを行うべきエリアとして定められた領域の一部であり、その座標は既知である。したがって、仕分けエリア距離画像と色画像などのセンシング情報を用いて荷物の座標を算出することで、荷物が仕分けエリアを通過したか否かを判定することができる。なお、本実施の形態では、特定領域を通過した直後であっても作業者が荷物を拾い上げることが可能な構成を想定しているので、特定領域は仕分けエリア全体より狭いことが望ましい。プロセッサ３４は、荷物が特定領域を通過していないと判定した場合（ステップＳ１２４０；Ｎｏ）、仕分け先（または仕分け場所）を示す投影画像を生成する（ステップＳ１２４１）。すなわち、荷物が特定領域を通過していないので、作業者Ｍによって荷物が正常に拾い上げられるように、仕分け先を示す白抜きの数字と所定の背景色からなる投影画像を生成する。例えば、仕分け先が「１」であれば、「白抜きの数字１」と「黄色の背景色」からなる投影画像を生成する。また、仕分け先が「２」であれば、「白抜きの数字２」と「緑色の背景色」からなる投影画像を生成する。また、仕分け先が「３」であれば、「白抜きの数字３」と「青色の背景色」からなる投影画像を生成する。プロセッサ３４は、荷物が特定領域を通過していないことを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。
　プロセッサ３４は、荷物が特定領域を通過したと判定した場合（ステップＳ１２４０；Ｙｅｓ）、仕分け先を示す数字を含む四角枠で、エラーを示す色（例えば、赤色）とした投影画像を生成する（ステップＳ１２４２）。すなわち、荷物が特定領域を通過してしまったので、エラーが発生したことを作業者Ｍに認識させるための投影画像を生成する。例えば、仕分け先が「１」であれば、「数字１」と「四角枠」からなる赤色の投影画像を生成する。また、仕分け先が「２」であれば、「数字２」と「四角枠」からなる赤色の投影画像を生成する。また、仕分け先が「３」であれば、「数字３」と「四角枠」からなる赤色の投影画像を生成する。プロセッサ３４は、荷物が特定領域を通過したことを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。
　このように、プロセッサ３４は、荷物が特定領域（所定の仕分けエリア）を通過していないと判定した場合、仕分け先を示す白抜きの数字と所定の背景色からなる投影画像を生成し、荷物が特定領域を通過したと判定した場合、仕分け先を示す数字を含む四角枠で、エラーを示す色（例えば、赤色）とした投影画像を生成する。なお、特定領域の通過を示す投影画像としては他の画像を用いてもよい。ただし、特定領域を通過した直後であればまだ作業者が荷物を拾い上げられる可能性があるため、仕分け先を示す情報（上記の例では数字）が含まれる投影画像を生成することが望ましい。これにより、特定領域の通過に気づいた作業者が急いで荷物を拾い上げた場合であっても、適切な仕分け先に荷物を仕分けることができる。
　上述したように、本開示によれば、荷物の仕分けを指示する際に何らかのエラーが発生した場合、エラーの発生を示す投影画像を生成して、そのエラーの対象となる荷物に対して投影する。この構成により、荷物に着目している作業者に対して、エラーの発生をより確実に通知することができる。エラーの発生をアラームや音声などで通知する構成では、多数の荷物が搬送されている場合、どの荷物に対してエラーが発生したのかを特定することは容易ではない。また、作業者が言葉の通じない外国人等である場合など、音声等による通知ではエラーの発生自体が作業者に認識されないおそれがある。そこで、本開示では、エラーが発生している荷物にエラーを示す画像を生成して投影することで、作業者がエラーの発生を容易に認識できるようにしている。
　また、本開示によれば、発生したエラーを解消するために作業者が行うべき作業ごとに異なる投影画像を生成して投影する。一例として、本開示によれば荷物の認識誤りを示す投影画像と、荷物が搬送コンベヤ５０の搬送対象でないこと（搬送コンベヤ誤り）を示す投影画像とでは、異なる画像が投影される。ここで、荷物の認識誤りに分類されるエラーは原因がどれであっても（ラベル記録情報を人力で読み取れば）作業者が容易に解消できるのに対し、搬送コンベヤ誤りはより上流で発生した誤りに由来するため作業者では解消できない。そのため、これらのエラーの間では作業者の取るべき対応が異なっており、投影画像もそれに応じて分けられている。図９に示すとおり、本開示においては、他のエラーを示す投影画像も同様の思想で分けられている。このようにすることで、作業者自身がエラーの原因の詳細を理解できなくとも、投影される画像の種類さえ把握していればエラーに対処することができるので、作業に習熟していない作業者に対してもエラーの処理を確実に行わせることができる。もちろん、より厳密にエラーの種類を区別したい場合には、エラーそれぞれに応じて異なる投影画像を生成しても構わないし、他の基準に基づいて同一の投影画像を投影するエラーをグループ分けしてもよい。
　また、本開示によれば、ラベルリーダ１０による荷物に貼付されたラベルのラベル記録情報（例えば、バーコード）の読み取りが正常に行われなかった場合と、ラベル記録情報を正常に読めても、所定の条件を満たしていない場合と、ラベル記録情報を正常に読めて、且つ所定の条件を満たしていても、搬送される荷物が拾い上げられることなく特定領域を通過してしまった場合には、エラーの発生を示す投影画像を生成することにより、エラーの発生を作業者Ｍに知らせて認識させることができ、仕分け作業効率の向上に寄与できる。
　なお、読取結果に基づくエラーの一部だけチェックしても良いし、判断の順序も問わない。
　また、認識誤りと搬送コンベヤ誤りの判断は逆にしてもよい。
　また、エラーの発生を示す投影画像として本開示に示した例と異なる画像を生成して投影してもよい。更に、認識誤りが発生した際に四角の中に「×」が含まれる投影画像を生成し、搬送コンベヤ誤りが発生した際に四角の中に「？」が含まれる投影画像を生成するなど、上記の開示で示した例と異なる対応関係でエラーと投影画像を生成して投影してもよい。
　以上、図面を参照して本開示に係る投影指示装置、荷物仕分けシステムおよび投影指示方法の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
　本開示において、エラーの発生の通知は、エラーを示す投影画像を生成して荷物に投影することのみによって行われていたが、これに限られるものではない。投影画像を生成して投影することに加え、音声やアラームなどによる通知を行っても良い。ただし、多くの荷物が搬送される環境では、エラーの発生の頻度も高まるため、全てのエラーについて音声等での通知を行うとかえって作業の効率が低下するおそれがある。特に、音声による通知を行う場合、指向性スピーカーなどの特殊な設備を設けなくては現場の作業者全員に対して通知が行われてしまうため、エラーと関連のない作業者を混乱させてしまうおそれがある。そのため、作業者が荷物を見過ごしている可能性の高いエラーである、特定領域を通過するエラーを示す投影画像を投影する場合のみ、音声等による通知を行うものとしてもよい。
　本開示において、エラーを示す投影画像に赤色を用いることでエラーの発生を示していたが、これに限られるものではない。例えば、正常時には数字等を四角形で囲んだ投影画像を投影し、エラー時には数字等を三角形で囲んだ投影画像を投影するなど、投影画像の形を変えたりしてもよい。すなわち、作業者が、エラーを示す投影画像を見た作業者がエラーの発生を容易に認識できるのであれば、投影画像にどのような特性を持たせるかは問わない。
　本開示において、特定領域を通過するエラーを示す投影画像は、ラベル記録情報から読み取った数字を用いて生成していたが、これに限られるものではない。ラベル記録情報の読み取りに失敗した場合には、仮の数字や他の絵など、他の画像を投影するなどとしてもよい。
　本開示においては、例えばラベル記録情報が読み取れない荷物が拾い上げられることなく特定領域を通過した場合など、複数のエラーが重複して発生する場合が考えられる。このような場合には、いずれかの１つのエラーを示す投影画像を優先的に生成して他のエラーを示す投影画像を生成しないものとしても良いし、全てのエラーを示す投影画像を生成してもよい。いずれかのエラーを示す投影画像を優先的に生成する場合は、現在荷物が存在する仕分けエリアに係るエラーよりも他の仕分けエリアに係るエラーを優先してもよい。現在荷物が存在する仕分けエリアに係るエラーの例としては、当該仕分けエリアで解消できる可能性の高いラベル登録情報の読み取りエラーなどが考えられる。他の仕分けエリアに係るエラーの例としては、他の仕分けエリアでの仕分け作業に影響するエラー（例えば、下流の工程に影響する、特定領域を通過するエラー）もしくは、他の仕分けエリアでしか解消できないエラー（例えば、上流の工程に遡らなくては解消できない搬送コンベヤ誤りのエラー）が考えられる。また、全てのエラーを示す投影画像を投影する場合、投影される荷物の面積が十分に広くなくては、作業者が個々のエラーの発生を認識することが難しくなる。そこで、投影画像が投影される荷物の面（投影面）の広さに応じて、いずれかのエラーを示す投影画像のみ投影するか、全てのエラーを示す投影画像を投影するかを切り替えても良い。なお、複数のエラーを示す投影画像としては、単純にそれぞれのエラーを示す投影画像を並べたものとしてもよいし、それぞれのエラーを示す投影画像を統合した画像（例えば、一つの四角の中に、「×」と「？」と数字が含まれるなど）としてもよい。なお、この場合、投影面が狭い場合は、いずれかの１つのエラーを示す投影画像を優先的に選択する場合と同様の基準で、投影すべきエラーを１以上選択するものとしてもよい。さらに、投影パターンとしては、画像がブリンク（点滅）したり、アニメーションだったりしてもよい。
　［エラー発生時の対応例］
　図９では、エラーごとの対応の例を示したが、一部のエラーについては、荷物Ｐについては特別な経路に移動させることで解消することができる可能性がある。特に、ラベルリーダ１０における認識ミスによるエラーの場合、再度ラベルリーダ１０にラベルを読み込ませれば正しく認識できる可能性がある。また、そもそも荷物の存在自体が荷物仕分けシステム１００で認識できなかったエラーの場合は、投影画像によってエラーを通知すること自体が難しく、この場合も図９に示した例では対応できない。そこで、以下では、エラーの発生した荷物Ｐを定められた経路に移動させることによって、当該エラーの解消を図る構造について説明する。
　エラーの発生している荷物Ｐの移動先としては、例えば、同じ搬送コンベヤの上流へ戻したり、他の搬送コンベヤへ移したりすることが考えられる。同じ搬送コンベヤの上流へ戻す構造は、例えば、荷物Ｐがたまたま他の荷物と重複していた等の要因によって、ラベルの読み取りに失敗した場合に有益である。この場合、同一の環境であっても他の荷物がない状態で再度読み取りを行えば、正しい仕分け先を特定することが可能である。一方、他の搬送コンベヤへ移す構造は、センサの配置または周囲の明るさなどの環境的な要因で読み取りに失敗した場合などに有益である。この場合、構成要素の配置あるいは周辺環境が異なる荷物仕分けシステム１００であれば、荷物Ｐのラベルを正しく読み取れる可能性があるためである。また、他の搬送コンベヤの搬送先として、熟練した作業者が手作業（例えば、ハンディスキャナを用いて手作業でラベルを読み込んだり、ラベルに記載された住所を作業者が目視したりするなど）によって仕分けを行う領域を設けてもよい。荷物仕分けシステム１００で取り扱われる荷物の総数に対してエラーが発生する荷物の数は少ないため、確保すべき熟練した作業者は少人数でよい。したがって、このような構造であっても荷物の仕分けに要するコストを削減することができる。
　図１０は、他の搬送コンベヤの例として熟練した作業者が仕分けを行う搬送コンベヤを採用した場合に、上述した処理を実現する搬送コンベヤの配置を模式的に示したものである。図１０において、灰色の搬送コンベヤは荷物仕分けシステム１００の支援を受けて初心者の作業者が荷物Ｐを仕分けるコンベヤである。灰色の搬送コンベヤの上流には、荷物仕分けシステム１００を構成するラベルリーダ１０が配置されている。なお、これまで説明した通り、荷物仕分けシステム１００は他の構成要素も含むが、図１０では省略している。
　黒色の搬送コンベヤは熟練した作業者が荷物Ｐを仕分けるコンベヤである。なお、熟練した作業者向けの搬送コンベヤは必ずしも、荷物仕分けシステム１００の支援を受ける必要はない。
　シューター１００１は、エラーの発生している荷物Ｐを、上流あるいは他の搬送コンベヤへ移すための経路である。
　シューター１００２は、熟練した作業者が荷物Ｐを再度、灰色の搬送コンベヤの上流部分へ戻すための経路である。
　このように搬送コンベヤを配置することにより、荷物Ｐを同じ搬送コンベヤの上流へ移動したり、あるいは、熟練した作業者によって仕分けを行ったりすることができる。
　なお、図１０は、上流へ移動させる処理と熟練者によって仕分けを行う処理の両方を実現するため、上流への移動を熟練した作業者の判断によって行っているが、これに限られるものではない。シューター１００１を灰色の搬送コンベヤの上流へ直接繋げ、熟練した作業者の判断を経ずに上流へ移すとしてもよい。同様に、シューター１００２を取り除き、熟練した作業者に流れてきた荷物Ｐについては、熟練した作業者が仕分け作業を完結させる（すなわち灰色の搬送コンベヤの上流へは戻さない）ものとしてもよい。
　初心者の作業者に対してエラーの発生している荷物をシューター１００１へ移動させるよう指示する手段は様々なものが考えられる。
　例えば、ラベルの読み取りに失敗した場合であっても、荷物Ｐの位置が追跡できているのであれば、エラーを示す投影画像として、上流へ戻すべき旨や、他の搬送コンベヤを示す投影画像などを生成して投影してもよい。この場合、エラーの発生していない荷物の投影画像と区別するため、投影画像の色、形、アニメーションなどを、エラーが発生していない場合と異ならせてもよい。また、シューターや他の搬送コンベヤが複数配置されている場合などには、移動すべきシューターや搬送コンベヤの識別情報を投影画像に含めてもよい。また、ラベルは読み取れないものの、荷物Ｐの形状等から同一の荷物を認識できるのであれば、ラベルの読み取りに失敗した回数に応じて移動先を変えてもよい。例えば、上流へ複数回戻した荷物が、なおラベルの読み取りに失敗しているのであれば、失敗の原因は、荷物Ｐと搬送コンベヤの環境との相性、あるいは、荷物Ｐのラベルそのものにある可能性が高い。この場合、荷物Ｐを同じ搬送コンベヤの上流へ再度戻してもエラーが解消される確率は低い。したがって、このような場合は、他の搬送コンベヤへの移動を提案する投影画像を投影することで、エラーの繰り返しを防いでもよい。さらに、投影画像中の小さな数字などでラベルの読み取りに失敗した回数を投影したり、失敗が繰り返されるたびに投影画像の内容をより強い警告を意味するものに変更したりすること（例えば、黄色や赤色にするなど）で、作業者に対して当該荷物Ｐに発生しているエラーの深刻さを通知するようにしてもよい。
　また、エラーの発生している荷物Ｐを上流あるいは他の搬送コンベヤに移動する手段は、投影画像によって指示するものには限られない。特に、荷物仕分けシステム１００が荷物Ｐの形状自体が認識できていない場合、投影画像自体を荷物Ｐに投影することができない。このような場合、例えば、作業者に対して「投影画像が投影されていない荷物Ｐについては、上流へ至る搬送コンベヤまたは予め定められた別の搬送コンベヤに移動する」旨を予め指示しておくと有益である。同様に「荷物Ｐにエラーを示す画像が投影されていれば上流あるいは他の搬送コンベヤへ移動させる」旨を作業者に指示しておくことにより、上記で開示した投影画像をそのまま使用したとしても、作業者の判断によって荷物Ｐを上流あるいは他の搬送コンベヤへ移動することもできる。
　また、搬送コンベヤに荷物Ｐを押し出す稼働式の棒などを設けるなど、荷物Ｐを自動的にシューター１００１へ送る構造も考えられる。この場合、正常に認識できている荷物Ｐも巻き込まれてシューター１００１で送られるおそれがあるが、そのような荷物Ｐが受ける処理は、搬送コンベヤの上流を再度通過して正常に再認識されるか、熟練した作業者によって仕分けられるかのいずれかである。したがって、このような事例が発生しても、荷物仕分けの全体のパフォーマンスに対する影響は少ない。
　本開示は、荷物に貼付されたラベルのラベル記録情報の読み取りエラーや、例えば、搬送される荷物が拾い上げられることなく特定領域を通過するエラーを検出できる投影指示装置、荷物仕分けシステムおよび投影指示方法の提供に有用である。
１０　　ラベルリーダ
２０　　画像センサ
２２　　距離画像センサ
２４　　色画像センサ
３０　　投影指示装置
３２　　入力部
３４　　プロセッサ
３６　　メモリ
３８　　出力部
４０　　プロジェクタ
５０　　搬送コンベヤ
６０　　撮像投影装置
１００　荷物仕分けシステム
Ｐ　　　荷物

Claims (2)

  1. 　荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、
    　プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記ラベルリーダで読み取った前記荷物特定情報に基づいて前記荷物に投影画像の投影を指示する投影指示装置と、
    前記ラベルリーダの上流から下流へ前記荷物を搬送する搬送コンベヤを備え、
    　前記搬送コンベヤはさらに、前記投影画像が投影される領域から前記ラベルリーダが配置されている箇所よりも上流へ前記荷物を移動させることのできる経路を備え、
    　前記投影指示装置は、前記ラベルリーダが前記ラベルの読み取りに失敗した場合に、前記ラベルリーダが配置されている箇所よりも上流へ前記読み取りに失敗したラベルが貼付された荷物を移動させることのできる経路へ前記荷物を誘導する画像を、前記投影画像として前記荷物へ投影する、
    　荷物仕分けシステム。
  2. 　　荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、
    　プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記ラベルリーダで読み取った前記荷物特定情報に基づいて前記荷物に投影画像の投影を指示する投影指示装置と、
    第１のラベルリーダの上流から下流へ前記荷物を搬送する第１の搬送コンベヤと第２のラベルリーダの上流から下流へ前記荷物を搬送する第２の搬送コンベヤとを備え、
    　前記投影指示装置は、前記第１のラベルリーダが前記ラベルの読み取りに失敗した場合に、前記第２の搬送コンベヤへ前記読み取りに失敗したラベルが貼付された荷物を移動させることのできる経路へ前記荷物を誘導する画像を、前記投影画像として前記荷物へ投影する、
    荷物仕分けシステム。
PCT/JP2018/033119 2017-09-26 2018-09-07 荷物仕分けシステム WO2019065153A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019544508A JP7194884B2 (ja) 2017-09-26 2018-09-07 荷物仕分けシステム、投影指示装置、投影指示方法
EP18861386.3A EP3689790A4 (en) 2017-09-26 2018-09-07 LUGGAGE SORTING SYSTEM
US16/649,009 US11235353B2 (en) 2017-09-26 2018-09-07 Baggage sorting system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762563397P 2017-09-26 2017-09-26
US62/563,397 2017-09-26

Publications (1)

Publication Number Publication Date
WO2019065153A1 true WO2019065153A1 (ja) 2019-04-04

Family

ID=65900777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033119 WO2019065153A1 (ja) 2017-09-26 2018-09-07 荷物仕分けシステム

Country Status (4)

Country Link
US (1) US11235353B2 (ja)
EP (1) EP3689790A4 (ja)
JP (1) JP7194884B2 (ja)
WO (1) WO2019065153A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113441403A (zh) * 2021-08-10 2021-09-28 北京舜天龙兴信息技术有限公司 智能动态调度系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0423709A (ja) * 1990-05-16 1992-01-28 Honda Motor Co Ltd 入庫管理システム
US7090134B2 (en) 2003-03-04 2006-08-15 United Parcel Service Of America, Inc. System for projecting a handling instruction onto a moving item or parcel
WO2015145982A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体
JP2017088388A (ja) * 2015-11-16 2017-05-25 株式会社東芝 配達支援システム、配達支援装置、及び配達支援プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPN244495A0 (en) * 1995-04-13 1995-05-11 3M Australia Pty Limited Sorting device and method
US6076683A (en) * 1997-10-29 2000-06-20 Sandvik Sorting Systems, Inc. Sorter mechanism
US7387251B2 (en) * 2004-12-01 2008-06-17 Pitney Bowes Inc. Bar code recognition method and system for paper handling equipment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0423709A (ja) * 1990-05-16 1992-01-28 Honda Motor Co Ltd 入庫管理システム
US7090134B2 (en) 2003-03-04 2006-08-15 United Parcel Service Of America, Inc. System for projecting a handling instruction onto a moving item or parcel
WO2015145982A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体
JP2017088388A (ja) * 2015-11-16 2017-05-25 株式会社東芝 配達支援システム、配達支援装置、及び配達支援プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3689790A4

Also Published As

Publication number Publication date
JPWO2019065153A1 (ja) 2020-10-15
US11235353B2 (en) 2022-02-01
EP3689790A4 (en) 2021-03-03
EP3689790A1 (en) 2020-08-05
JP7194884B2 (ja) 2022-12-23
US20200290090A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
WO2019064802A1 (ja) 荷物仕分けシステム、投影指示装置および荷物仕分け方法
JP6679442B2 (ja) 荷物追跡システム、荷物追跡方法及び荷物追跡プログラム
WO2019003689A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2019064805A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2019003685A1 (ja) 荷物判定装置、荷物仕分けシステムおよび荷物判定方法
WO2019003688A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2019065153A1 (ja) 荷物仕分けシステム
US11120267B1 (en) Camera solution for identification of items in a confined area
WO2019003687A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2019003686A1 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
US11348333B2 (en) Package recognition device, package sorting system and package recognition method
WO2019064804A1 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18861386

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019544508

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018861386

Country of ref document: EP

Effective date: 20200428