WO2020235185A1 - ピッキングシステム及びピッキングシステムの撮影画像表示方法 - Google Patents

ピッキングシステム及びピッキングシステムの撮影画像表示方法 Download PDF

Info

Publication number
WO2020235185A1
WO2020235185A1 PCT/JP2020/010525 JP2020010525W WO2020235185A1 WO 2020235185 A1 WO2020235185 A1 WO 2020235185A1 JP 2020010525 W JP2020010525 W JP 2020010525W WO 2020235185 A1 WO2020235185 A1 WO 2020235185A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
picking
article
conveyor
camera
Prior art date
Application number
PCT/JP2020/010525
Other languages
English (en)
French (fr)
Inventor
陽平 西本
剛 垣貫
Original Assignee
村田機械株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 村田機械株式会社 filed Critical 村田機械株式会社
Priority to JP2021520064A priority Critical patent/JP7151887B2/ja
Publication of WO2020235185A1 publication Critical patent/WO2020235185A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed

Definitions

  • the present invention relates to a picking system and a method of displaying a photographed image thereof, particularly a picking system in which an operator picks an article according to an instruction displayed on a display device and a method of displaying the photographed image thereof.
  • a worker takes out necessary articles and transfers them (see, for example, Patent Document 1).
  • a picking instruction is displayed on the display 161 and the operator performs picking while observing the contents.
  • the picking instruction is displayed on the monitor in real time, and the operator needs to be able to see the contents immediately.
  • the position of the camera may be a problem. For example, if the position of the camera is on the worker side, the camera becomes an obstacle when the worker moves or works. Further, if the camera is arranged on the worker side and at a position where it does not interfere with the worker, the camera moves away from the article, and the article cannot be photographed accurately. Further, in the conventional picking system, it is required to support the worker so that the picking work can be performed intuitively.
  • An object of the present invention is to assist an operator in intuitively performing a picking work while reducing the obstruction of the work by the camera in the picking system.
  • the picking system assists the worker in performing the picking work, and is a supply conveyor, a work conveyor, a carry-out conveyor, a camera, an image conversion unit, and an article recognition unit. It also has an information addition unit and a display device.
  • the supply conveyor conveys the article.
  • the work conveyor is connected to the downstream side in the transport direction of the supply conveyor, and the operator can perform the picking work in the vicinity.
  • the carry-out conveyor is connected to the downstream side in the transport direction of the work conveyor.
  • the camera is arranged at a position opposite to the side where the worker of the work conveyor performs the picking work, and can take a picture of an article on the work conveyor.
  • the image conversion unit inverts the image captured by the camera in the left-right direction.
  • the article recognition unit recognizes the article from the photographed image.
  • the information addition unit forms a picking instruction image by superimposing picking information related to the article on the photographed image.
  • the display device displays a picking instruction image.
  • the order of reversing the photographed image and recognizing the article is not limited.
  • this picking system by arranging the camera at a position opposite to the side where the operator of the work conveyor performs the picking work, the camera can be arranged at a position that does not interfere with the operator. Further, by flipping the photographed image in the left-right direction and displaying it, it is possible to display an image similar to the article seen by the operator (an image in which the positions of the articles in the left-right direction match). As a result, the worker can pick the item while intuitively grasping the item to be picked.
  • the camera may be arranged so that the position of the object to be photographed is close to the line of sight of the operator.
  • the operator can grasp the image more intuitively by matching the image with the operator's eyes.
  • the picking system may further include a background processing unit that blurs the background of the captured image.
  • a background processing unit that blurs the background of the captured image.
  • an operator can pick up an article to be picked in a short time. This is because the worker can recognize the article without confusion by making the background of the captured image unclear.
  • background processing is not performed, the background of the captured image and the background seen by the worker are different (the worker is reflected in the background of the captured image, and the background seen by the worker is There is a problem that the conveyor is reflected), and if the background of the captured image is clear, the operator may be distracted by the difference and confused.
  • the article recognition unit recognizes the article from the captured image and Next, the image conversion unit inverts the captured image in the left-right direction to create an inverted image. Next, the information addition unit may superimpose the picking information related to the article on the inverted image. In this picking system, since the recognition of the article from the photographed image is performed before the photographed image is inverted in the left-right direction, the article recognition unit makes the recognition of the article more accurate.
  • the inverted image may hold the corresponding position information indicating that the image of the article in the inverted image corresponds to the image of the article in the captured image before the inversion.
  • the picking information may include markings that visually teach the article to be picked. With this picking system, the operator can intuitively understand the item to be picked.
  • the picking instruction image may be updated by repeatedly executing the processes of the camera, the image conversion unit, the article recognition unit, the information addition unit, and the display device. With this picking system, the operator can smoothly continue a plurality of picking operations.
  • the photographed image display method of the picking system is executed by the following picking system.
  • the picking system is for the operator to pick the article, and is connected to the supply conveyor on which the article is conveyed and the downstream side in the transport direction of the supply conveyor so that the operator can perform the picking operation in the vicinity.
  • This method has the following steps. ⁇ Recognize an article from an image taken by a camera. ⁇ Invert the captured image in the left-right direction.
  • a picking instruction image is formed by superimposing picking information related to an article on a photographed image.
  • the order of reversing the photographed image and recognizing the article is not limited.
  • the camera is arranged on the side opposite to the side where the operator of the work conveyor performs the picking work, and the photographed image is further inverted in the left-right direction, so that the camera is arranged at a position that does not interfere with the operator. it can. Further, an image similar to the article viewed by the operator (an image in which the positions of the articles in the left-right direction match) can be displayed on the display device. As a result, the worker can perform the picking work while intuitively grasping the item to be picked.
  • a program according to still another aspect of the present invention causes a computer to execute a captured image display method of a picking system.
  • the operator can intuitively perform the picking work while reducing the obstruction of the work by the camera.
  • the schematic perspective view of the picking station of 1st Embodiment Schematic plan view of the picking station. Schematic side view of the picking station. Schematic plan view near the worker area.
  • An example of a picking instruction image An example of the scene seen by the worker.
  • An example of a picking instruction image An example of a picking instruction image.
  • An example of a picking instruction image An example of a picking instruction image.
  • FIG. 1 is a schematic perspective view of the picking station of the first embodiment.
  • FIG. 2 is a schematic plan view of the picking station.
  • FIG. 3 is a schematic side view of the picking station.
  • FIG. 4 is a schematic plan view of the vicinity of the worker area.
  • the left-right direction in FIG. 2 is the first direction (arrow X), and the vertical direction in FIG. 2 is the second direction (arrow Y).
  • two picking stations 1 are arranged side by side. In the following description, only one picking station 1 will be described.
  • the picking station 1 is a facility that assists the worker W in picking an article.
  • the picking station 1 is a facility that supports picking from a pallet on which articles are mixed by using AR (augmented reality) technology.
  • Picking in the present embodiment means taking out a plurality of articles A (an example of articles) loaded on the pallet P and placing them on the shipping pallet 2.
  • Article A is, for example, a cardboard box.
  • article A is used in the general or general description, and "articles A1, A2, " For individual items.
  • the picking station 1 mainly includes a supply conveyor 3, a work conveyor 5, a carry-out conveyor 7, and a worker area 9.
  • the supply conveyor 3 is a warehousing conveyor, and is a conveyor that wares from the automated warehouse 4 in order to supply the pallet P on which a plurality of articles A are mounted to the work conveyor 5.
  • the supply conveyor 3 extends in the second direction.
  • the supply conveyor 3 is a chain conveyor, but may be a roller conveyor or a belt conveyor.
  • the work conveyor 5 is arranged between the supply conveyor 3 and the carry-out conveyor 7. That is, the work conveyor 5 is connected to the downstream side of the supply conveyor 3 in the transport direction, and is arranged on the upstream side of the carry-out conveyor 7 in the transport direction.
  • the work conveyor 5 extends in the first direction.
  • the work conveyor 5 has a picking point 5a at which picking is performed.
  • the picking point 5a is an end portion of the work conveyor 5 on the downstream side in the transport direction and is provided at a position continuous with the carry-out conveyor 7.
  • the work conveyor 5 is composed of a combination of a conversion conveyor and a chain conveyor, but may be a free roller, a roller conveyor, or a belt conveyor.
  • the unloading conveyor 7 is a warehousing conveyor, and is a conveyor for unloading the pallet P on which a plurality of articles A are mounted from the work conveyor 5 and warehousing it in the automated warehouse 4.
  • the unloading conveyor 7 extends in the second direction, that is, extends parallel to the supply conveyor 3.
  • the supply conveyor 3, the work conveyor 5, and the carry-out conveyor 7 are arranged in a U shape. That is, the supply conveyor 3 and the carry-out conveyor 7 extend from the work conveyor 5 to the back side in the second direction.
  • the layout of each conveyor is not limited to this.
  • the layout may be such that the supply conveyor 3, the work conveyor 5, and the unloading conveyor 7 are arranged in a straight line.
  • the worker area 9 is provided adjacent to the work conveyor 5 and is an area where the worker W performs picking work. Specifically, the worker area 9 is arranged on the front side in the second direction (that is, the side opposite to the extending side of the supply conveyor 3 and the carry-out conveyor 7) with respect to the work conveyor 5.
  • the picking station 1 has a camera 11.
  • the camera 11 is arranged on the back side in the second direction (that is, the extending side of the supply conveyor 3 and the carry-out conveyor 7) with respect to the work conveyor 5.
  • the camera 11 is mounted on the frame 12.
  • the camera 11 faces the front side in the second direction, and can photograph the back surface of the article A on the work conveyor 5.
  • the captured image of the camera 11 is, for example, a moving image. Since the camera 11 is arranged at a position opposite to the worker area 9 of the work conveyor 5, it does not interfere with the worker W.
  • the camera 11 photographs the back surface of all the articles A located at the picking point 5a.
  • a QR code (registered trademark) 40 is affixed to the back surface of the article A.
  • the camera 11 is preferably at the same height as the face of the worker W in the normal standing position. That is, the camera 11 is arranged so that the position of the object to be photographed is close to the line of sight of the worker, and the camera 11 is preferably the same distance as the distance between the face of the worker W and the article A. Only away from article A.
  • the camera 11 is located at the height position away from the operator's line of sight, and zoom may be used.
  • the camera 11 may be arranged so as to face the front surface side of the article A or its vicinity.
  • the position of the camera 11 in the height direction is not limited to the above description and may be arbitrary.
  • the camera 11 may be located higher than the height of the worker W.
  • the picking station 1 includes a display 13 (an example of a display device).
  • the display 13 is a device for displaying the picking instruction image 60 (described later).
  • the display 13 is arranged in the worker area 9, and the worker W can pick while looking at the display 13.
  • a head-mounted display may be used as the display device.
  • FIG. 5 is a block diagram showing a control configuration of the picking station.
  • the picking station 1 has a controller 51.
  • the controller 51 is a computer having a processor (for example, a CPU), a storage device (for example, ROM, RAM, HDD, SSD, etc.) and various interfaces (for example, an A / D converter, a D / A converter, a communication interface, etc.). It is a system.
  • the controller 51 performs various control operations by executing a program stored in the storage unit (corresponding to a part or all of the storage area of the storage device).
  • the controller 51 may be composed of a single processor, or may be composed of a plurality of independent processors for each control. Some or all of the functions of each element of the controller 51 may be realized as a program that can be executed by the computer system constituting the controller 51. In addition, a part of the function of each element of the control unit may be configured by a custom IC.
  • the controller 51 has a QR code processing unit 53 (an example of an article recognition unit), an image processing unit 55 (an example of an image conversion unit), and an image forming unit 57 (an example of an information addition unit).
  • the QR code processing unit 53 recognizes the article A from the captured image. Specifically, in the present embodiment, the article recognition reads and identifies the QR code 40 included in the captured image, then inquires the server (not shown), and the information of the article A (whether it is a picking target). Whether or not, it is done by obtaining the type) if it is a picking target.
  • the article recognition may be performed based on the external shape information, for example, the characters written on the outer surface of the article A or the size of the article A.
  • the image processing unit 55 inverts the image captured by the camera 11 in the left-right direction. Specifically, the image processing unit 55 creates a still image from the moving image being shot, and creates a inverted image which is a new still image in which the left-right direction of the still image is inverted. Note that "reversal” means swapping the left and right pixels with reference to the vertical axis at the center of the image with reference to the vertical axis at the center in the left-right direction. Further, in image processing, coordinate management is performed with a corner of the captured image as the origin. As a result, the position information of each article can also be obtained in coordinates. Then, in the inverted image, the position information of the article is also maintained by following the origin position and converting the coordinates.
  • the image forming unit 57 forms the picking instruction image 60 by superimposing the above-mentioned inverted image and picking information related to the article to be picked. That is, the picking instruction image 60 is created based on the photographed image in which all the articles A are shown.
  • the picking instruction image 60 includes picking instructions such as the type and quantity of the article A to be picked for the pallet P that has been delivered.
  • the picking instruction includes markings that visually teach the article A to be picked.
  • the marking is, for example, a color or a frame displayed overlaid on the article A to be picked.
  • the marking may be an arrow or other symbol indicating the item to be picked.
  • the picking information also includes the quantity and product name.
  • the marking method is arbitrary, and the content of the picking information is also arbitrary.
  • the controller 51 is connected to a sensor for detecting the size, shape, and position of the pallet P and the article A, a sensor and a switch for detecting the state of each device, and an information input device.
  • a display 13 is connected to the controller 51.
  • the operation terminal 61 and the touch scanner 63 are connected to the controller 51.
  • the operation terminal 61 is provided with a completion button (not shown) that is pressed when picking from one pallet P is completed.
  • a conveyor drive unit (not shown) for driving the supply conveyor 3, the work conveyor 5, and the carry-out conveyor 7 is connected to the controller 51, respectively.
  • FIG. 6 is a flowchart showing the control operation of the picking station.
  • the control flowchart described below is an example, and each step can be omitted or replaced as necessary.
  • a plurality of steps may be executed at the same time, or some or all of them may be executed in an overlapping manner.
  • each block of the control flowchart is not limited to a single control operation, and can be replaced with a plurality of control operations represented by a plurality of blocks.
  • the operation of each device is the result of a command from the controller 51 to each device, and these are represented by each step of the software application.
  • step S1 the pallet P waits for the picking point 5a of the work conveyor 5 to arrive. Specifically, the pallet P is delivered from the automated warehouse 4 by the supply conveyor 3, and then the work conveyor 5 conveys it to the picking point 5a.
  • step S2 the camera 11 photographs the back surfaces of the plurality of articles A mounted on the pallet P.
  • the image processing unit 55 creates a still image from the moving image being shot.
  • step S3 article recognition is performed based on the QR code 40. Specifically, the QR code processing unit 53 identifies each article A from the QR code in the captured image, and then inquires the server (not shown) to provide information related to the article A (whether it is a picking target). Whether or not, if it is a picking target, obtain the type).
  • step S4 the captured image is flipped left and right.
  • the image processing unit 55 creates an inverted image (new still image) in which the left-right direction of the still image is inverted.
  • the corresponding position information indicating that the image of the article A in the inverted image corresponds to the image of the article A in the captured image before the inversion is stored in the storage unit (not shown). Therefore, it is not necessary to perform the article recognition again, and therefore the calculation process can be reduced.
  • step S5 the picking instruction image 60 is created. Specifically, the image forming unit 57 creates the picking instruction image 60 by superimposing the picking information related to the article on the photographed image flipped horizontally.
  • step S6 the picking instruction image 60 is displayed. Specifically, the picking instruction image 60 is sent to the display 13 and displayed there.
  • step S7 it is determined whether or not the predetermined time has elapsed. If it has elapsed, the process returns to step S2, and if not, the process proceeds to step S8.
  • step S8 it is determined whether or not the QR code 40 of the picked article A is scanned by the touch scanner 63 by the worker W. Picking is considered to be completed when the worker W scans the QR code 40. After scanning, the worker W loads the article A on the shipping pallet 2. When the scan is complete, the process proceeds to step S9. From the above, if the scanning of the QR code 40 is not completed within a predetermined time after the picking instruction image 60 is displayed, the picking instruction image 60 is updated. Therefore, the worker W can refer to the picking instruction image 60 based on the latest packing style of the article A in real time.
  • step S9 it is determined whether or not all picking is completed. Specifically, the controller 51 determines whether or not all the articles A to be picked have been picked. When completed, the process proceeds to step S10, and the display 13 shows the completion. If it is not completed, the process returns to step S2 and executes an operation of displaying the next picking instruction image 60 on the display 13. From the above, when there are a plurality of picking targets, the picking instruction image 60 is updated every time one is picked. Therefore, the worker W can refer to the picking instruction image based on the latest packing style of the article A in real time.
  • steps S3 and S4 may be reversed. If a mistake (when the picked one is different) is discovered at the timing when the worker W scans the QR code 40 in step S7, the display 13 indicates that the picking mistake is made or makes a sound. The worker W may be notified by such means.
  • the picking instruction image 60 is a photographed image inverted in the left-right direction, and can display an image similar to the article seen by the worker W.
  • the worker W can intuitively perform the picking work. 7 and 8 will be used to compare and explain the picking instruction image 60 and the scene actually seen by the operator W.
  • FIG. 7 is an example of a picking instruction image.
  • FIG. 8 is an example of the scene seen by the worker W.
  • FIG. 7 shows the arrangement of the article A in the picking instruction image 60
  • FIG. 8 shows the arrangement of the article A actually seen by the worker W.
  • the surfaces are different, but the left and right positions of the articles A are arranged so as to correspond to each other. Therefore, if the worker W grasps, for example, the article A1 to be picked by the picking instruction image 60, the operator W can pick up the article A1 to be picked without swinging his / her line of sight to the left or right.
  • the article A1 to be picked is colored as a marking on the entire article.
  • the camera 11 is arranged so that the position of the object to be photographed is close to the line of sight of the worker W. Therefore, by aligning the photographed image with the line of sight of the worker W, the worker W can more intuitively grasp the item A to be picked. This is because the angles of the captured image and the scene seen by the operator are almost the same.
  • the image processing unit 55 preferably has a background processing function that blurs the background of the captured image. Therefore, the worker W can pick up the article A to be picked in a short time.
  • the "background” is an image area in which an article is not reflected. Therefore, when the article is recognized by image recognition, the other area is recognized as the background. Further, the reason why the picking is shortened by the above background processing function is that the operator can be prevented from being confused. In other words, there is a problem that the background of the photographed image is different from the background seen by the worker (the worker is reflected in the background of the photographed image, and the conveyor is reflected in the background seen by the worker). If the background of the captured image is clear, the operator may be distracted by the difference and confused.
  • the process of blurring the background is performed by a known image processing technique, and for example, it is conceivable to darken the background, fill it with one color, or lower the resolution.
  • the background processing function is optional and may be omitted.
  • the recognition of the article A from the photographed image is performed before the photographed image is inverted in the left-right direction. Therefore, the article A is accurately recognized.
  • Example of picking instruction image (1) An example of the picking instruction image will be described with reference to FIGS. 9 and 10.
  • 9 and 10 are examples of picking instruction images.
  • the picking targets are the stacked articles A1 and A2. Therefore, at this stage, the articles A1 and the article A2 are marked as picking targets. Specifically, the article A1 and the article A2 are colored.
  • the picking instruction image 60 in the state after the article A1 is picked is newly displayed. This is because if all the picking is not completed even after one picking is completed (for example, No in step S9 in FIG. 6), an image is taken for the next picking (for example, step S2 in FIG. 6). This is because a series of processes such as image processing (for example, step S4 in FIG. 6), picking instruction image creation (for example, step S5 in FIG. 6), and display of the picking instruction image (for example, step S6 in FIG. 6) are performed. is there. In the new picking instruction image 60, only the article A2 is marked as a picking target.
  • the QR code 40 is read and the picking instruction image 60 is updated in real time. Therefore, the worker W can smoothly continue the plurality of picking operations.
  • the article A that is likely to be picked is automatically identified from the position information. Mark. For example, if any of the articles A stacked vertically is applicable, only the upper article A is marked.
  • the number of picked items may be displayed and all the items A to be picked may be marked. In this case, since any one of the marked articles A can be selected, it is preferable to give a marking different from the marking in the essential case to indicate that it is arbitrary. For example, the colors can be different depending on whether it is mandatory or optional. As a result, the worker W can pick the article A smoothly without hesitation.
  • Example of picking instruction image (2) 11 and 12 will be used to describe changes in the picking instruction image when the articles stacked at the bottom are picked up.
  • FIG. 11 is an example of a picking instruction image.
  • FIG. 12 is an example of a picking instruction image.
  • the picking target is the article A2 under the article A1. Therefore, at this stage, the article A2 is marked as a picking target.
  • the picking instruction image 60 in the state after the article A1 is moved is newly displayed. This is because even if the picking instruction image 60 is displayed once, if a predetermined time elapses (for example, Yes in step S7 of FIG. 6), then image shooting (for example, step S2 of FIG. 6) is performed, and image processing (for example, FIG. This is because a series of processes such as step S4) of 6), creation of a picking instruction image (for example, step S5 of FIG. 6), display of a picking instruction image (for example, step S6 of FIG. 6), and the like are performed.
  • the article A2 is continuously marked.
  • the QR code 40 is read and the picking instruction image 60 is updated in real time. Therefore, the worker W can surely perform the picking operation even when it is necessary to move the article A on the pallet P.
  • the picking station 1 (an example of a picking system) is for a worker W (an example of a worker) to pick an article A (an example of an article), and works with a supply conveyor 3 (an example of a supply conveyor).
  • Conveyor 5 (an example of a work conveyor), unloading conveyor 7 (an example of an unloading conveyor), camera 11 (an example of a camera), an image processing unit 55 (an example of an image conversion unit), and a QR code processing unit 53 (an article). It includes a recognition unit), an image forming unit 57 (an example of an information addition unit), and a display 13 (an example of a display device).
  • the supply conveyor 3 conveys the article A.
  • the work conveyor 5 is connected to the downstream side of the supply conveyor 3 in the transport direction, and the operator can perform the picking work in the vicinity.
  • the carry-out conveyor 7 is connected to the downstream side of the work conveyor 5 in the transport direction.
  • the camera 11 is arranged at a position opposite to the side where the operator of the work conveyor 5 performs picking, and can photograph an article on the work conveyor 5.
  • the image processing unit 55 inverts the image captured by the camera 11 in the left-right direction.
  • the QR code processing unit 53 recognizes the article A from the captured image.
  • the image forming unit 57 forms the picking instruction image 60 by superimposing the picking information related to the article A on the photographed image.
  • the display 13 displays the picking instruction image 60.
  • the camera 11 can be arranged at a position opposite to the side where the worker W of the work conveyor 5 performs the picking work. Further, by inverting the captured image in the left-right direction and displaying it, it is possible to display an image similar to the article A viewed by the worker W. As a result, the worker W can intuitively grasp the item A to be picked. As a result, the worker W can pick up the article A1 to be picked without swinging his / her line of sight from side to side.
  • the present invention is not limited to the above embodiment, and various modifications can be made without departing from the gist of the invention.
  • the plurality of embodiments and modifications described herein can be arbitrarily combined as needed.
  • the QR code 40 may be colored or illuminated instead of the entire article A.
  • the captured image is not limited to the moving image. For example, it may be a still image or a frame-by-frame image composed of a large number of still images.
  • the inverted image does not have to include the contour of the article.
  • only the marking indicating that the image is to be picked may be inverted in the left-right direction. This is because even in that case, the operator can intuitively understand the horizontal position of the article to be picked on the display device.
  • the source of information for identifying an article is not limited to the QR code. It may be another two-dimensional code or a barcode.
  • the article may be specified based on the pattern or characters on the surface of the article.
  • the type of article is not particularly limited.
  • the article may be various cases or boxes in addition to the cardboard box. Further, the article may be a plurality of packages stored in a container, in which case the picking instructions include the removal of the packages.
  • the present invention can be widely applied to a picking system in which an operator picks an article according to an instruction displayed on a display device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)

Abstract

ピッキングシステムにおいて、作業者がピッキング作業を直感的に行えるように支援する。ピッキングステーション（１）において、カメラ（１１）は、作業コンベヤ（５）の作業者（W）がピッキング作業を行う側と反対側の位置に配置され、作業コンベヤ（５）上の物品（Ａ）を撮影可能である。画像処理部（５５）は、カメラ（１１）による撮影画像を左右方向に反転させる。ＱＲコード処理部（５３）は、撮影画像から物品（Ａ）を認識する。画像形成部（５７）は、撮影画像に物品（Ａ）に関連するピッキング情報を重ねることで、ピッキング指示画像（６０）を形成する。ディスプレイ（１３）は、ピッキング指示画像（６０）を表示する。

Description

ピッキングシステム及びピッキングシステムの撮影画像表示方法
　本発明は、ピッキングシステム及びその撮影画像表示方法、特に、作業者が表示装置に表示された指示に従って物品をピッキングするピッキングシステム及びその撮影画像表示方法に関する。
　ピッキングシステムでは、例えば、物品がコンベヤで搬送されてくる作業ステーションにおいて、作業者が必要な物品を取り出して移し替える作業を行う（例えば、特許文献１を参照）。
　特許文献１に記載のピッキングシステムでは、ピッキング指示がディスプレイ１６１に表示され、作業者はその内容を見ながらピッキングを行う。
特開平９－２６２３号公報
　ピッキングシステムでは、ピッキング指示はモニタにリアルタイムで表示されており、作業者がその内容を直ちに見られる必要がある。
　その場合、カメラの位置が問題になることがある。例えば、カメラの位置が作業者側にあれば、作業者の移動や作業の際にカメラが邪魔になる。また、カメラを作業者側でありかつ作業者の邪魔にならない位置に配置すると、カメラが物品から離れることで、正確に物品を撮影できなくなる。
　また、従来のピッキングシステムでは、作業者がピッキング作業を直感的に行えるように支援することが要請されている。
　本発明の目的は、ピッキングシステムにおいて、カメラによる作業の邪魔を減らしつつ、作業者がピッキング作業を直感的に行えるように支援することにある。
　以下に、課題を解決するための手段として複数の態様を説明する。これら態様は、必要に応じて任意に組み合せることができる。
　本発明の一見地に係るピッキングシステムは、作業者がピッキング作業を行うことを支援するものであって、供給コンベヤと、作業コンベヤと、搬出コンベヤと、カメラと、画像変換部と、物品認識部と、情報追加部と、表示装置と、を備えている。
　供給コンベヤは、物品を搬送する。
　作業コンベヤは、供給コンベヤの搬送方向下流側に接続され、作業者がピッキング作業を近傍で行うことができる。
　搬出コンベヤは、作業コンベヤの搬送方向下流側に接続される。
　カメラは、作業コンベヤの作業者がピッキング作業を行う側と反対側の位置に配置され、作業コンベヤ上の物品を撮影可能である。
　画像変換部は、カメラによる撮影画像を左右方向に反転させる。
　物品認識部は、撮影画像から物品を認識する。
　情報追加部は、撮影画像に物品に関連するピッキング情報を重ねることで、ピッキング指示画像を形成する。
　表示装置は、ピッキング指示画像を表示する。
　なお、撮影画像の反転と物品の認識の順番は限定されない。
　このピッキングシステムでは、カメラを作業コンベヤの作業者がピッキング作業を行う側と反対側の位置に配置することで、作業者の邪魔にならない位置にカメラを配置できる。さらに、撮影画像を左右方向に反転して表示することで、作業者が見ている物品と同様の画像（各物品の左右方向位置が一致している画像）を表示できる。その結果、作業者がピッキング対象の物品を直感的に把握しながらピッキングできる。
　カメラは、撮影対象の位置が作業者目線と近似する位置になるように配置されていてもよい。
　このピッキングシステムでは、画像を作業者目線に合わせることで、作業者はさらに直感的な把握が可能となる。
　ピッキングシステムは、撮影画像の背景を不鮮明にする背景処理部をさらに備えていてもよい。
　このピッキングシステムでは、作業者がピッキング対象の物品を短時間で取ることができる。撮影画像の背景を不鮮明にすることで、作業者が混乱なく物品を認識できるからである。つまり、背景処理が行われていなければ、撮影画像の背景と作業者が見ている背景とは異なっている（撮影画像の背景には作業者が映っており、作業者が見ている背景にはコンベヤが映っている）という問題があり、撮影画像の背景が鮮明であれば、作業者がその相違点に気を取られて混乱する可能性がある。
　物品認識部が撮影画像から物品を認識し、
　次に画像変換部が撮影画像を左右方向に反転させて反転画像を作成し、
　次に情報追加部が、反転画像に、物品に関連するピッキング情報を重ねてもよい。
　このピッキングシステムでは、撮影画像からの物品を認識することが撮影画像の左右方向に反転させることの前に行われるので、物品認識部により物品の認識がより正確になる。
　画像変換部が反転画像を作成するときに、反転画像における物品の画像が反転前の撮影画像における物品の画像に対応することを示す対応位置情報を、反転画像に保持してもよい。
　このピッキングシステムでは、対応位置情報が反転画像に保持されるので、物品認識を再度行う必要がなくなり、そのため計算処理を減らせる。
　ピッキング情報は、ピッキング対象の物品を視覚的に教示するマーキングを含んでいてもよい。このピッキングシステムでは、作業者はピッキング対象の物品を直感的に理解できる。
　カメラ、画像変換部、物品認識部、情報追加部、表示装置の処理が繰り返し実行されることで、前記ピッキング指示画像は更新されてもよい。このピッキングシステムでは、作業者は複数のピッキング作業をスムーズに続けることができる。
　本発明の他の見地に係るピッキングシステムの撮影画像表示方法は、次のピッキングシステムで実行される。ピッキングシステムは、作業者が物品をピッキングするためのものであって、物品が搬送される供給コンベヤと、供給コンベヤの搬送方向下流側に接続され作業者がピッキング作業を近傍で行うことができる作業コンベヤと、作業コンベヤの搬送方向下流側に接続される搬出コンベヤと、作業コンベヤの作業者がピッキング作業を行う側と反対側の位置に配置され、作業コンベヤ上の物品を撮影可能なカメラと、を有する。
　この方法は、下記の工程を有している。
　◎カメラによる撮影画像から物品を認識する。
　◎撮影画像を左右方向に反転させる。
　◎撮影画像に物品に関連するピッキング情報を重ねることで、ピッキング指示画像を形成する。
　◎ピッキング指示画像を表示する。
　なお、撮影画像の反転と物品の認識の順番は限定されない。
　この撮影画像表示方法では、カメラを作業コンベヤの作業者がピッキング作業を行う側と反対側に配置してさらに撮影画像を左右方向に反転することで、作業者の邪魔にならない位置にカメラを配置できる。さらに、作業者が見ている物品と同様の画像（各物品の左右方向位置が一致している画像）を表示装置に表示できる。その結果、作業者がピッキング対象の物品を直感的に把握しながらピッキング作業をできる。
　本発明のさらに他の見地に係るプログラムは、ピッキングシステムの撮影画像表示方法をコンピュータに実行させる。
　本発明に係るピッキングシステムでは、カメラによる作業の邪魔を減らしつつ、作業者がピッキング作業を直感的に行えるようになる。
第１実施形態のピッキングステーションの概略斜視図。 ピッキングステーションの概略平面図。 ピッキングステーションの概略側面図。 作業者エリア付近の概略平面図。 ピッキングステーションの制御構成を示すブロック図。 ピッキングステーションの制御動作を示すフローチャート。 ピッキング指示画像の一例。 作業者が見ている光景の一例。 ピッキング指示画像の一例。 ピッキング指示画像の一例。 ピッキング指示画像の一例。 ピッキング指示画像の一例。
１．第１実施形態
（１）ピッキングステーションの基本構成
　図１～図４を用いて、ピッキングステーション１（ピッキングシステムの一例）の基本構成を説明する。図１は、第１実施形態のピッキングステーションの概略斜視図である。図２は、ピッキングステーションの概略平面図である。図３は、ピッキングステーションの概略側面図である。図４は、作業者エリア付近の概略平面図である。なお、図２の左右方向を第１方向（矢印Ｘ）とし、図２の上下方向を第２方向（矢印Ｙ）とする。
　図１及び図２では、２台のピッキングステーション１が並んで配置されている。なお、以下の説明では、１台のピッキングステーション１のみを説明する。
　ピッキングステーション１は、作業者Ｗが物品をピッキングするのを支援する施設である。特に、ピッキングステーション１は、ＡＲ（拡張現実）技術により、物品が混載されたパレットからのピッキングを支援する施設である。本実施形態でのピッキングとは、パレットＰに積載された複数の物品Ａ（物品の一例）を取り出して、出荷用パレット２に載置することをいう。物品Ａは、例えば、段ボール箱である。なお、以下の説明では、一般的又は全体的な説明においては「物品Ａ」とし、個別のものについては例えば「物品Ａ１、Ａ２、・・・」とする。
　ピッキングステーション１は、主に、供給コンベヤ３と、作業コンベヤ５と、搬出コンベヤ７と、作業者エリア９と、を備えている。
　供給コンベヤ３は、出庫用コンベヤであり、複数の物品Ａが搭載されたパレットＰを作業コンベヤ５に供給するために自動倉庫４から出庫するコンベヤである。供給コンベヤ３は、第２方向に延びている。供給コンベヤ３は、チェーンコンベヤであるが、ローラコンベヤ、ベルトコンベヤであってもよい。
　作業コンベヤ５は、供給コンベヤ３と搬出コンベヤ７との間に配置されている。つまり、作業コンベヤ５は、供給コンベヤ３の搬送方向下流側に接続され、搬出コンベヤ７の搬送方向上流側に配置されている。作業コンベヤ５は、第１方向に延びている。作業コンベヤ５は、ピッキングが行われるピッキングポイント５ａを有している。ピッキングポイント５ａは、作業コンベヤ５の搬送方向下流側の端部であって搬出コンベヤ７に連続する位置に設けられている。作業コンベヤ５は、本実施形態では、転換コンベヤとチェーンコンベヤの組み合わせからなるが、フリーローラ、ローラコンベヤ、ベルトコンベヤであってもよい。
　搬出コンベヤ７は、入庫用コンベヤであり、複数の物品Ａが搭載されたパレットＰを作業コンベヤ５から搬出して、自動倉庫４へ入庫するためのコンベヤである。搬出コンベヤ７は、第２方向に延びており、つまり供給コンベヤ３と平行に延びている。
　本実施形態では、供給コンベヤ３、作業コンベヤ５及び搬出コンベヤ７はコの字形に配置されている。つまり、供給コンベヤ３及び搬出コンベヤ７は、作業コンベヤ５から第２方向奥側に延びている。しかし、各コンベヤのレイアウトはこれに限定されない。例えば、供給コンベヤ３、作業コンベヤ５及び搬出コンベヤ７を一直線に並べるレイアウトでもよい。
　作業者エリア９は、作業コンベヤ５に隣接して設けられ、作業者Ｗがピッキング作業を行う領域である。具体的には、作業者エリア９は、作業コンベヤ５に対して、第２方向の手前側（つまり、供給コンベヤ３及び搬出コンベヤ７の延びる側と反対側）に配置されている。
　ピッキングステーション１は、カメラ１１を有している。
　カメラ１１は、作業コンベヤ５に対して、第２方向の奥側（つまり、供給コンベヤ３及び搬出コンベヤ７の延びる側）に配置されている。具体的には、カメラ１１は、フレーム１２に装着されている。カメラ１１は、第２方向において手前側を向いており、作業コンベヤ５上の物品Ａの背面を撮影可能である。カメラ１１の撮影画像は、例えば、動画である。
　カメラ１１が作業コンベヤ５の作業者エリア９と反対側の位置に配置されているので、作業者Ｗの邪魔にならない。
　カメラ１１は、ピッキングポイント５ａに位置する全ての物品Ａの背面を撮影する。図４に示すように、ピッキングポイント５ａにおいては、物品Ａの背面には、ＱＲコード（登録商標）４０が貼られている。
　カメラ１１は、好ましくは、作業者Ｗの通常の立ち位置における顔の高さと同じ高さにある。つまり、カメラ１１は、撮影対象の位置が作業者目線と近似する位置になるように配置されている、また、カメラ１１は、好ましくは、作業者Ｗの顔と物品Ａとの距離と同じ距離だけ物品Ａから離れている。変形例として、カメラ１１は、前記高さ位置において作業者目線の延長線上で離れた位置にあり、ズームを利用してもよい。さらなる変形例として、カメラ１１は、物品Ａの背面側の正面又はその近傍に対向するように配置されてもよい。
　なお、カメラ１１の高さ方向位置は先の説明に限定されず、任意であってもよい。例えば、カメラ１１は作業者Ｗの身長よりも高い位置にあってもよい。
　ピッキングステーション１は、ディスプレイ１３（表示装置の一例）を備えている。ディスプレイ１３は、ピッキング指示画像６０（後述）を表示する装置である。本実施形態では、ディスプレイ１３は、作業者エリア９に配置されており、作業者Ｗはディスプレイ１３を見ながらピッキング可能である。
　なお、表示装置として、例えば、ヘッドマウントディスプレイが用いられてもよい。
（２）ピッキングステーションの制御構成
　図５を用いて、ピッキングステーション１の制御構成を説明する。図５は、ピッキングステーションの制御構成を示すブロック図である。
　ピッキングステーション１は、コントローラ５１を有している。
　コントローラ５１は、プロセッサ（例えば、ＣＰＵ）と、記憶装置（例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤなど）と、各種インターフェース（例えば、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェースなど）を有するコンピュータシステムである。コントローラ５１は、記憶部（記憶装置の記憶領域の一部又は全部に対応）に保存されたプログラムを実行することで、各種制御動作を行う。
　コントローラ５１は、単一のプロセッサで構成されていてもよいが、各制御のために独立した複数のプロセッサから構成されていてもよい。
　コントローラ５１の各要素の機能は、一部又は全てが、コントローラ５１を構成するコンピュータシステムにて実行可能なプログラムとして実現されてもよい。その他、制御部の各要素の機能の一部は、カスタムＩＣにより構成されていてもよい。
　コントローラ５１は、ＱＲコード処理部５３（物品認識部の一例）と、画像処理部５５（画像変換部の一例）と、画像形成部５７（情報追加部の一例）とを有している。
　ＱＲコード処理部５３は、撮影画像から物品Ａを認識する。具体的には、本実施形態では、物品認識は、撮影画像の中に含まれるＱＲコード４０を読み取って識別し、次にサーバ（図示せず）に照会し、物品Ａの情報（ピッキング対象か否か、ピッキング対象の場合に種類）を入手することで行われる。なお、物品認識は、外形情報、例えば、物品Ａの外面に記載された文字や物品Ａのサイズに基づいて行われてもよい。
　画像処理部５５は、カメラ１１による撮影画像を左右方向に反転させる。具体的には、画像処理部５５は、撮影中の動画から静止画を作成し、それの左右方向を反転した新たな静止画である反転画像を作成する。なお、「反転」とは、左右方向の中央の縦軸を基準に画像中心の縦軸を基準として、左右の画素を入れ替えることである。
　また、画像処理においては、撮影画像の一角を原点として座標管理が行われている。それにより、各物品の位置情報も座標で得られる。そして、反転された画像では、原点位置を追従させて座標を変換処理することで、物品の位置情報も維持される。
　画像形成部５７は、上記の反転画像、ピッキング対象である物品に関連するピッキング情報を重ねることで、ピッキング指示画像６０を形成する。つまり、全ての物品Ａが映っている撮影画像を元に、ピッキング指示画像６０が作成される。
　ピッキング指示画像６０は、出庫されてきたパレットＰについてのピッキング対象の物品Ａの品種、数量等のピッキング指示を含む。
　ピッキング指示は、ピッキング対象の物品Ａを視覚的に教示するマーキングを含んでいる。マーキングは、例えば、ピッキング対象である物品Ａに重ねて表示された色や枠である。マーキングは、ピッキングする物品を示す矢印や他の記号でもよい。ピッキング情報は、数量や品名も含んでいる。なお、マーキング方法は任意であり、ピッキング情報の内容も任意である。
　コントローラ５１には、図示しないが、パレットＰ及び物品Ａの大きさ、形状及び位置検出するセンサ、各装置の状態を検出するためのセンサ及びスイッチ、並びに情報入力装置が接続されている。
　コントローラ５１には、ディスプレイ１３が接続されている。
　コントローラ５１には、図５に示すように、操作端末６１、タッチスキャナ６３が接続されている。操作端末６１には、１つのパレットＰからのピッキングが終了した時に押される完了ボタン（図示せず）が設けられている。
　さらに、コントローラ５１には、供給コンベヤ３、作業コンベヤ５及び搬出コンベヤ７をそれぞれ駆動するコンベヤ駆動部（図示せず）がそれぞれ接続されている。
（３）ピッキングステーションの制御動作
　図６を用いて、ピッキングステーション１の制御動作を説明する。図６は、ピッキングステーションの制御動作を示すフローチャートである。
　以下に説明する制御フローチャートは例示であって、各ステップは必要に応じて省略及び入れ替え可能である。また、複数のステップが同時に実行されたり、一部又は全てが重なって実行されたりしてもよい。
　さらに、制御フローチャートの各ブロックは、単一の制御動作とは限らず、複数のブロックで表現される複数の制御動作に置き換えることができる。
　なお、各装置の動作は、コントローラ５１から各装置への指令の結果であり、これらはソフトウェア・アプリケーションの各ステップによって表現される。
　ステップＳ１では、パレットＰが作業コンベヤ５のピッキングポイント５ａに到着するのを待つ。具体的には、パレットＰは、供給コンベヤ３によって自動倉庫４から出庫されてきて、次に作業コンベヤ５がピッキングポイント５ａまで搬送する。
　ステップＳ２では、カメラ１１がパレットＰに載っている複数の物品Ａの背面を撮影する。なお、その後、画像処理部５５が、撮影中の動画から静止画を作成する。
　ステップＳ３では、ＱＲコード４０に基づく物品認識が行われる。具体的には、ＱＲコード処理部５３が、撮影画像内のＱＲコードから各物品Ａを識別し、次にサーバ（図示せず）に照会することで、物品Ａに関連する情報（ピッキング対象か否か、ピッキング対象の場合に種類）を入手する。
　ステップＳ４では、撮影画像が左右に反転される。具体的には、画像処理部５５が、静止画の左右方向を反転した反転画像（新たな静止画）を作成する。このとき、反転画像における物品Ａの画像が反転前の撮影画像における物品Ａの画像に対応することを示す対応位置情報が、記憶部（図示せず）に保存される。したがって、物品認識を再度行う必要がなくなり、そのため計算処理を減らせる。
　ステップＳ５では、ピッキング指示画像６０が作成される。具体的には、画像形成部５７が、左右反転された撮影画像に物品に関連するピッキング情報を重ねることで、ピッキング指示画像６０を作成する。
　ステップＳ６では、ピッキング指示画像６０が表示される。具体的には、ピッキング指示画像６０がディスプレイ１３に送られて、そこに表示される。
　ステップＳ７では、所定時間が経過したか否かが判断される。経過すればプロセスはステップＳ２に戻り、経過していなければプロセスはステップＳ８に移行する。
　ステップＳ８では、作業者Ｗがピッキングした物品ＡのＱＲコード４０をタッチスキャナ６３でスキャンしたか否かを判断する。作業者ＷがＱＲコード４０をスキャンしたタイミングでピッキング完了とみなす。なお、作業者Ｗは、スキャン後に、物品Ａを出荷用パレット２に積み付ける。スキャンが完了すれば、プロセスはステップＳ９に移行する。
　以上より、ピッキング指示画像６０が表示されてから所定時間内にＱＲコード４０のスキャンが終了しなければ、ピッキング指示画像６０が更新される。このため、作業者Ｗは、物品Ａの最新の荷姿に基づいたピッキング指示画像６０をリアルタイムで参照できる。
　ステップＳ９では、ピッキングが全て終了したか否かが判断される。具体的には、コントローラ５１が、ピッキング対象の物品Ａが全てピッキングされたか否かを判断する。完了すればプロセスはステップＳ１０に移行し、ディスプレイ１３に完了が表示される。完了していなければプロセスはステップＳ２に戻り、次のピッキング指示画像６０をディスプレイ１３に表示する動作を実行する。
　以上より、ピッキング対象が複数ある場合に、１つがピッキングされるごとにピッキング指示画像６０が更新される。このため、作業者Ｗは物品Ａの最新の荷姿に基づいたピッキング指示画像をリアルタイムで参照できる。
　なお、ステップＳ３とステップＳ４の順番は逆でもよい。
　なお、ステップＳ７において作業者ＷがＱＲコード４０をスキャンしたタイミングでミス（ピッキングしたものが異なっていた場合）が発覚した場合は、ディスプレイ１３にピッキングミスであることを表示したり、音を鳴らしたりして作業者Ｗに報知してもよい。
　以上の結果、ピッキング指示画像６０は、撮影画像を左右方向に反転したものになり、作業者Ｗが見ている物品と同様の画像を表示できる。その結果、作業者Ｗがピッキング作業を直感的に行えるようになる。
　図７及び図８を用いて、ピッキング指示画像６０と実際に作業者Ｗが見ている光景とを比較して説明する。図７は、ピッキング指示画像の一例である。図８は、作業者Ｗが見ている光景の一例である。図７はピッキング指示画像６０の物品Ａの配置を示しており、図８は作業者Ｗが実際に見た物品Ａの配置である。図７では物品Ａの背面が見えており、図８では物品Ａの前面が見えているので面は異なっているが、各物品Ａの左右の位置は互いに対応して配置されている。したがって、作業者Ｗは、ピッキング指示画像６０によってピッキング対象である例えば物品Ａ１を把握すれば、視線を左右に振ることなくピッキング対象である物品Ａ１を取ることができる。
　なお、ピッキング対象である物品Ａ１には、マーキングとして、物品全体に色が付けられている。
　カメラ１１は、撮影対象の位置が作業者Ｗの目線と近似する位置になるように配置されている。したがって、撮影画像を作業者Ｗの目線に合わせることで、作業者Ｗがさらに直感的にピッキングする物品Ａを把握できるようになる。撮影画像と作業者が見た光景との角度が概ね一致するからである。
　画像処理部５５は、好ましくは、撮影画像の背景を不鮮明にする背景処理機能を有している。したがって、作業者Ｗがピッキング対象の物品Ａを短時間で取ることができる。なお、「背景」とは、物品が映っていない画像領域である。したがって、画像認識によって物品が認識されると、それ以外の領域が背景であると認識される。
　また、上記の背景処理機能によってピッキングが短時間になる理由は、作業者の混乱を防止できるからである。つまり撮影画像の背景と作業者が見ている背景とは異なっている（撮影画像の背景には作業者が映っており、作業者が見ている背景にはコンベヤが映っている）という問題があり、撮影画像の背景が鮮明であれば、作業者がその相違点に気を取られて混乱する可能性がある。
　背景を不鮮明にする処理は、公知の画像処理技術で行われ、例えば背景を暗くしたり、一色に塗りつぶしたり、解像度を低くしたりすることが考えられる。
　なお、背景処理機能は任意であって、省略されてもよい。
　さらに、本実施形態では、撮影画像からの物品Ａを認識することが、撮影画像を左右方向に反転させることの前に行われる。したがって、物品Ａの認識が正確に行われる。
（４）ピッキング指示画像の例（その１）
　図９及び図１０を用いて、ピッキング指示画像の一例を説明する。図９及び図１０は、ピッキング指示画像の一例である。
　図９において、最初の段階では、ピッキング対象は積み重ねられた物品Ａ１と物品Ａ２である。したがって、この段階では物品Ａ１と物品Ａ２にピッキング対象としてのマーキングがされている。具体的には、物品Ａ１と物品Ａ２には色が付けられている。
　作業者Ｗが物品Ａ１をピッキングすると、ピッキング対象としては物品Ａ２のみとなる。すると、図１０に示すように、物品Ａ１がピッキングされた後の状態のピッキング指示画像６０が新たに表示される。なぜなら、１回のピッキングが終了しても全てのピッキングが終了していなければ（例えば、図６のステップＳ９でＮｏ）、次のピッキングのために画像撮影（例えば、図６のステップＳ２）、画像処理（例えば、図６のステップＳ４）、ピッキング指示画像作成（例えば、図６のステップＳ５）、ピッキング指示画像の表示（例えば、図６のステップＳ６）等の一連の処理が行われるからである。新たなピッキング指示画像６０では、物品Ａ２のみにピッキング対象としてのマーキングがされている。
　以上に述べたように、リアルタイムでＱＲコード４０の読取りとピッキング指示画像６０の更新がなされる。したがって、作業者Ｗは複数のピッキング作業をスムーズに続けることができる。
　なお、変形例として、実際にピッキングする個数よりも多くのピッキング対象の物品Ａがある場合は、例えば、該当する物品Ａのうち、取りやすいであろう物品Ａを位置情報から自動で識別してマーキングする。例えば、上下に積まれた物品Ａのいずれも該当する場合は、上の物品Ａのみがマーキングされる。他の方法として、ピッキング個数を表示すると共に、全てのピッキング対象の物品Ａにマーキングしてもよい。この場合マーキングされた物品Ａのうち任意の物を選択可能であるので、必須の場合のマーキングと異なるマーキングを付与して任意であることを示すことが好ましい。例えば、必須の場合と任意の場合とで色を異ならせることができる。それにより、作業者Ｗは迷うことなくスムーズに物品Ａをピッキングできる。
（５）ピッキング指示画像の例（その２）
　図１１及び図１２を用いて、下の方に積まれている物品を取る場合のピッキング指示画像の変化を説明する。図１１は、ピッキング指示画像の一例である。図１２は、ピッキング指示画像の一例である。
　図１１において、最初の段階では、ピッキング対象は物品Ａ１の下にある物品Ａ２である。したがって、この段階では物品Ａ２にピッキング対象としてのマーキングがされている。
　作業者Ｗが物品Ａ２をピッキングするためには、図１２に示すように物品Ａ１を動かしてつまり横にのける必要がある。物品Ａ１を移した後には、物品Ａ１の移動後の状態のピッキング指示画像６０が新たに表示される。なぜなら、一度ピッキング指示画像６０が表示されても所定時間が経過すれば（例えば、図６のステップＳ７でＹｅｓ）、続いて画像撮影（例えば、図６のステップＳ２）、画像処理（例えば、図６のステップＳ４）、ピッキング指示画像作成（例えば、図６のステップＳ５）、ピッキング指示画像の表示（例えば、図６のステップＳ６）等の一連の処理が行われるからである。新たなピッキング指示画像６０では、引き続き、物品Ａ２がマーキングされている。
　以上に述べたように、リアルタイムでＱＲコード４０の読取りとピッキング指示画像６０の更新がなされる。したがって、作業者Ｗは物品ＡをパレットＰ上で移動することが必要な場合でも、ピッキング作業を確実に行うことができる。
　上記制御動作を可能にするためには、物品ＡのＱＲコード４０が貼られた面を同じ側に向ける必要がある。したがって、物品Ａを自動倉庫４に入庫する時には、作業者Ｗは、空のパレットＰがピッキングポイント５ａへ到着すると、作業者Ｗは物品ＡをＱＲコード４０が貼りつけられた面を奥側にし、奥詰めでパレットＰに積載していく。
　このときに、パレットＰとそれに搭載された物品Ａが互いに紐付けられて、サーバ（図示せず）に登録される。
２．実施形態の特徴
　実施形態は下記のようにも説明できる。
　ピッキングステーション１（ピッキングシステムの一例）は、作業者Ｗ（作業者の一例）が物品Ａ（物品の一例）をピッキングするためのものであって、供給コンベヤ３（供給コンベヤの一例）と、作業コンベヤ５（作業コンベヤの一例）と、搬出コンベヤ７（搬出コンベヤの一例）と、カメラ１１（カメラの一例）と、画像処理部５５（画像変換部の一例）と、ＱＲコード処理部５３（物品認識部の一例）と、画像形成部５７（情報追加部の一例）と、ディスプレイ１３（表示装置の一例）と、を備えている。
　供給コンベヤ３は、物品Ａを搬送する。
　作業コンベヤ５は、供給コンベヤ３の搬送方向下流側に接続され、作業者がピッキング作業を近傍で行うことができる。
　搬出コンベヤ７は、作業コンベヤ５の搬送方向下流側に接続される。
　カメラ１１は、作業コンベヤ５の作業者がピッキングを行う側と反対側の位置に配置され、作業コンベヤ５上の物品を撮影可能である。
　画像処理部５５は、カメラ１１による撮影画像を左右方向に反転させる。
　ＱＲコード処理部５３は、撮影画像から物品Ａを認識する。
　画像形成部５７は、撮影画像に物品Ａに関連するピッキング情報を重ねることで、ピッキング指示画像６０を形成する。
　ディスプレイ１３は、ピッキング指示画像６０を表示する。
　このピッキングステーション１では、カメラ１１を作業コンベヤ５の作業者Ｗがピッキング作業を行う側と反対側の位置に配置することで、作業者Ｗの邪魔にならない位置にカメラ１１を配置できる。さらに、撮影画像を左右方向に反転して表示することで、作業者Ｗが見ている物品Ａと同様の画像を表示できる。その結果、作業者Ｗがピッキング対象の物品Ａを直感的に把握できる。その結果、作業者Ｗは、視線を左右に振ることなくピッキング対象である物品Ａ１を取ることができる。
３．他の実施形態
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。特に、本明細書に書かれた複数の実施形態及び変形例は必要に応じて任意に組み合せ可能である。
　ピッキング対象の物品Ａへのマーキングとしては、物品Ａ全体ではなく、例えばＱＲコード４０に色を付けたり、光らせたりしてもよい。
　撮影画像は、動画画に限定されない。例えば、静止画であってもよいし、多数の静止画からなるコマ送り画像であってもよい。
　反転画像は、物品の輪郭を含まなくてもよい。例えば、反転画像では、ピッキング対象であることを示すマーキングのみが左右方向に反転していてもよい。その場合も作業者はピッキング対象の物品の左右方向位置を、表示装置において直感的に理解できるからである。
　物品を特定するための情報源は、ＱＲコードに限定されない。他の二次元コードであってもよいし、バーコードであってもよい。さらに、物品の表面の模様や文字に基づいて、物品を特定してもよい。
　物品の種類は特に限定されない。物品は、段ボール箱以外に、各種ケースや箱でもよい。さらに、物品は、コンテナに収納された複数の荷物でもよく、この場合はピッキング指示として荷物の取り出しが含まれる。
　本発明は、作業者が表示装置に表示された指示に従って物品をピッキングするピッキングシステムに広く適用できる。
１　　　：ピッキングステーション
２　　　：出荷用パレット
３　　　：供給コンベヤ
５　　　：作業コンベヤ
５ａ　　：ピッキングポイント
７　　　：搬出コンベヤ
９　　　：作業者エリア
１１　　：カメラ
１３　　：ディスプレイ
４０　　：ＱＲコード
５１　　：コントローラ
５３　　：ＱＲコード処理部
５５　　：画像処理部
５７　　：画像形成部
６０　　：ピッキング指示画像
６１　　：操作端末
６３　　：タッチスキャナ
Ａ　　　：物品
Ｗ　　　：作業者

Claims (14)

  1. 　作業者が物品をピッキングするためのピッキングシステムであって、
    　前記物品を搬送する供給コンベヤと、
    　前記供給コンベヤの搬送方向下流側に接続され、前記作業者がピッキング作業を近傍で行うことができる作業コンベヤと、
    　前記作業コンベヤの搬送方向下流側に接続される搬出コンベヤと、
    　前記作業コンベヤの前記作業者がピッキング作業を行う側と反対側の位置に配置され、前記作業コンベヤ上の物品を撮影可能なカメラと、
    　前記カメラによる撮影画像を左右方向に反転させる画像変換部と、
    　前記撮影画像から物品を認識する物品認識部と、
    　前記撮影画像に前記物品に関連するピッキング情報を重ねることで、ピッキング指示画像を形成する情報追加部と、
    　前記ピッキング指示画像を表示する表示装置と、
    を備えるピッキングシステム。
  2. 　前記カメラは、撮影対象の位置が作業者目線と近似する位置になるように配置されている、請求項１に記載のピッキングシステム。
  3. 　前記撮影画像の背景を不鮮明にする背景処理部をさらに備える、請求項１に記載のピッキングシステム。
  4. 　前記物品認識部が前記撮影画像から物品を認識し、
    　次に前記画像変換部が前記撮影画像を左右方向に反転させて反転画像を作成し、
    　次に前記情報追加部が、前記反転画像に、前記物品に関連するピッキング情報を重ねることで、ピッキング指示画像を作成する、請求項１に記載のピッキングシステム。
  5. 　前記画像変換部が前記反転画像を作成するときに、前記反転画像における物品の画像が反転前の撮影画像における物品の画像に対応することを示す対応位置情報を、前記反転画像に保持する、請求項４に記載のピッキングシステム。
  6. 　前記ピッキング情報は、ピッキング対象の物品を視覚的に教示するマーキングを含んでいる、請求項１に記載のピッキングシステム。
  7. 　前記カメラ、前記画像変換部、前記物品認識部、前記情報追加部、前記表示装置の処理が繰り返し実行されることで、前記ピッキング指示画像は更新される、請求項１に記載のピッキングシステム。
  8. 　前記撮影画像の背景を不鮮明にする背景処理部をさらに備える、請求項２に記載のピッキングシステム。
  9. 　前記物品認識部が前記撮影画像から物品を認識し、
    　次に前記画像変換部が前記撮影画像を左右方向に反転させて反転画像を作成し、
    　次に前記情報追加部が、前記反転画像に、前記物品に関連するピッキング情報を重ねることで、ピッキング指示画像を作成する、請求項２に記載のピッキングシステム。
  10. 　前記画像変換部が前記反転画像を作成するときに、前記反転画像における物品の画像が反転前の撮影画像における物品の画像に対応することを示す対応位置情報を、前記反転画像に保持する、請求項９に記載のピッキングシステム。
  11. 　前記ピッキング情報は、ピッキング対象の物品を視覚的に教示するマーキングを含んでいる、請求項２に記載のピッキングシステム。
  12. 　前記カメラ、前記画像変換部、前記物品認識部、前記情報追加部、前記表示装置の処理が繰り返し実行されることで、前記ピッキング指示画像は更新される、請求項２に記載のピッキングシステム。
  13. 　作業者が物品をピッキングするためのピッキングシステムであって、前記物品が搬送される供給コンベヤと、前記供給コンベヤの搬送方向下流側に接続され前記作業者がピッキング作業を近傍で行うことができる作業コンベヤと、前記作業コンベヤの搬送方向下流側に接続される搬出コンベヤと、前記作業コンベヤの作業者がピッキング作業を行う側と反対側の位置に配置され、前記作業コンベヤ上の物品を撮影可能なカメラと、を有するピッキングシステムにおいて、
    　前記カメラによる撮影画像から物品を認識し、
    　前記撮影画像を左右方向に反転させ、
    　前記撮影画像に前記物品に関連するピッキング情報を重ねることで、ピッキング指示画像を形成し、
    　前記ピッキング指示画像を表示する、
    ピッキングシステムの撮影画像表示方法。
  14. 　請求項１３に記載のピッキングシステムの撮影画像表示方法をコンピュータに実行させるプログラム。
PCT/JP2020/010525 2019-05-22 2020-03-11 ピッキングシステム及びピッキングシステムの撮影画像表示方法 WO2020235185A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021520064A JP7151887B2 (ja) 2019-05-22 2020-03-11 ピッキングシステム及びピッキングシステムの撮影画像表示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-096290 2019-05-22
JP2019096290 2019-05-22

Publications (1)

Publication Number Publication Date
WO2020235185A1 true WO2020235185A1 (ja) 2020-11-26

Family

ID=73458581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010525 WO2020235185A1 (ja) 2019-05-22 2020-03-11 ピッキングシステム及びピッキングシステムの撮影画像表示方法

Country Status (2)

Country Link
JP (1) JP7151887B2 (ja)
WO (1) WO2020235185A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH092623A (ja) * 1995-06-22 1997-01-07 Murata Mach Ltd ピッキングシステム
JP2007050964A (ja) * 2005-08-17 2007-03-01 Toyota Industries Corp 物品の荷姿監視システム
US20170217620A1 (en) * 2016-01-29 2017-08-03 Neopost Technologies Method and apparatus for optimizing automated packaging
JP2017145144A (ja) * 2017-06-02 2017-08-24 株式会社ダイフク 仕分け設備

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH092623A (ja) * 1995-06-22 1997-01-07 Murata Mach Ltd ピッキングシステム
JP2007050964A (ja) * 2005-08-17 2007-03-01 Toyota Industries Corp 物品の荷姿監視システム
US20170217620A1 (en) * 2016-01-29 2017-08-03 Neopost Technologies Method and apparatus for optimizing automated packaging
JP2017145144A (ja) * 2017-06-02 2017-08-24 株式会社ダイフク 仕分け設備

Also Published As

Publication number Publication date
JP7151887B2 (ja) 2022-10-12
JPWO2020235185A1 (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
CN111776762B (zh) 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
JP6687591B2 (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
JP5904097B2 (ja) 物品情報の表示装置
EP3689793A1 (en) Package sorting system, projected instruction device, and package sorting method
JPWO2015145982A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびコンピュータプログラム
JP6011490B2 (ja) 物品保管設備
JP2016188123A (ja) ピッキングシステム
CN113574563A (zh) 多相机图像处理
JP2019136828A (ja) 箱状物ピッキング装置及びその方法
CN109592433A (zh) 一种货物拆垛方法、装置及拆垛系统
CN111046983A (zh) 标签读取系统
CN110342252A (zh) 一种物品自动抓取方法及自动抓取装置
JP2006300929A (ja) 物体の３次元位置認識装置およびデパレタイズシステム
WO2020235185A1 (ja) ピッキングシステム及びピッキングシステムの撮影画像表示方法
US20200290093A1 (en) Projection instruction device, package sorting system, and projection instruction method
JP2020189733A (ja) ピッキングシステム
JP7140151B2 (ja) 自動倉庫システム及びピッキング方法
JP2020049558A (ja) 物品取り出しシステム
JP7129616B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
CN116160450A (zh) 用于机器人物体放置的系统和方法
JP7484575B2 (ja) ピッキングシステム
JP7443991B2 (ja) ピッキングシステム
JP7375609B2 (ja) ピッキングシステム
US11763482B2 (en) Baggage recognition device, baggage sorting system, and baggage recognition method
JP7147122B2 (ja) 検品装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20809531

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021520064

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20809531

Country of ref document: EP

Kind code of ref document: A1