JP7238595B2 - picking system - Google Patents

picking system Download PDF

Info

Publication number
JP7238595B2
JP7238595B2 JP2019096291A JP2019096291A JP7238595B2 JP 7238595 B2 JP7238595 B2 JP 7238595B2 JP 2019096291 A JP2019096291 A JP 2019096291A JP 2019096291 A JP2019096291 A JP 2019096291A JP 7238595 B2 JP7238595 B2 JP 7238595B2
Authority
JP
Japan
Prior art keywords
picking
image
conveyor
camera
worker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019096291A
Other languages
Japanese (ja)
Other versions
JP2020189733A (en
Inventor
陽平 西本
剛 垣貫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Priority to JP2019096291A priority Critical patent/JP7238595B2/en
Publication of JP2020189733A publication Critical patent/JP2020189733A/en
Application granted granted Critical
Publication of JP7238595B2 publication Critical patent/JP7238595B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ピッキングシステム、特に、作業者が表示装置に表示された指示に従って物品をピッキングするピッキングシステムに関する。 The present invention relates to a picking system, and more particularly to a picking system in which a worker picks an article according to instructions displayed on a display device.

ピッキングシステムでは、例えば、物品がコンベヤで搬送されてくる作業ステーションにおいて、作業者が必要な物品を取り出して移し替える作業を行う(例えば、特許文献1を参照)。
特許文献1に記載のピッキングシステムでは、ピッキング指示がディスプレイ161に表示され、作業者はその内容を見ながらピッキングを行う。
In a picking system, for example, at a work station where articles are conveyed by a conveyor, workers take out and transfer necessary articles (see, for example, Patent Document 1).
In the picking system described in Patent Literature 1, a picking instruction is displayed on the display 161, and the operator picks while viewing the contents of the instruction.

特開平9-2623号公報JP-A-9-2623

ピッキングシステムでは、ピッキング指示はモニタにリアルタイムで表示されており、作業者がその内容を直ちに見られる必要がある。
その場合、カメラの位置が問題になることがある。例えば、カメラの位置が作業者側にあれば、作業者の移動や作業の際にカメラが邪魔になる。また、カメラを作業者側でありかつ作業者の邪魔にならない位置に配置すると、カメラが物品から離れることで、正確に物品を撮影できなくなる。
また、従来のピッキングシステムでは、作業者がピッキング作業を直感的に行えるように支援することが要請されている。
In the picking system, picking instructions are displayed on the monitor in real time, and it is necessary for workers to be able to see the contents immediately.
In that case, the position of the camera can become an issue. For example, if the camera is positioned on the side of the worker, the camera will interfere with the worker's movement and work. Also, if the camera is placed on the side of the worker and not in the way of the worker, the camera will move away from the article, making it impossible to photograph the article accurately.
In addition, in the conventional picking system, it is required to support the operator so that the picking work can be performed intuitively.

本発明の目的は、ピッキングシステムにおいて、カメラによる作業の邪魔を減らしつつ、作業者がピッキング作業を直感的に行えるように支援することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a picking system in which a worker can perform picking work intuitively while reducing camera interference.

以下に、課題を解決するための手段として複数の態様を説明する。これら態様は、必要に応じて任意に組み合せることができる。 A plurality of aspects will be described below as means for solving the problem. These aspects can be arbitrarily combined as needed.

本発明の一見地に係るピッキングシステムは、作業者がピッキング作業を行うことを支援するものであって、供給コンベヤと、作業コンベヤと、搬出コンベヤと、第1カメラと、第2カメラと、画像合成部と、物品認識部と、情報追加部と、表示装置とを備えている。
供給コンベヤは、物品を搬送する。
作業コンベヤは、供給コンベヤの下流側に接続され、作業者がピッキング作業を近傍で行うことができる。
搬出コンベヤは、作業コンベヤの下流側に接続される。
第1カメラは、作業コンベヤの作業者がピッキング作業を行う側に配置され、作業コンベヤ上の物品を撮影可能である。
第2カメラは、作業コンベヤの作業者がピッキング作業を行う側において作業コンベヤに近接した位置に配置され、作業コンベヤ上の物品を撮影可能である。
画像合成部は、第1カメラによる第1撮影画像と第2カメラによる第2撮影画像を合成することによって合成画像を形成する。
物品認識部は、第1撮影画像、第2撮影画像及び合成画像の一つ又は複数から物品を認識する。
情報追加部は、合成画像に物品に関連するピッキング情報を重ねることで、ピッキング指示画像を形成する。
表示装置は、ピッキング指示画像を表示する。
このピッキングシステムでは、第2カメラによって物品の近くの位置からの撮影を行い、それとは別に第1カメラによって物品から離れた位置からの撮影を行い、その後第1撮影画像と第2撮影画像が合成される。これにより、例えば、一方の撮影画像で物品の一部が十分に撮影できない部分があったとしても、その部分を他方の撮影画像で補うことができる。つまり、作業者が見ている物品と同様の画像を表示できる。その結果、作業者がピッキング対象の物品を直感的に把握できる。
A picking system according to a first aspect of the present invention assists a worker in picking work, and includes a supply conveyor, a work conveyor, an unloading conveyor, a first camera, a second camera, and an image sensor. It comprises a synthesizing section, an article recognition section, an information adding section, and a display device.
A supply conveyor conveys the articles.
A work conveyor is connected downstream of the supply conveyor to allow workers to perform picking operations in the vicinity.
The output conveyor is connected downstream of the work conveyor.
The first camera is arranged on the side of the work conveyor where the worker performs the picking work, and is capable of photographing articles on the work conveyor.
The second camera is arranged at a position close to the work conveyor on the side of the work conveyor where the worker performs the picking work, and is capable of photographing the articles on the work conveyor.
The image synthesizing unit forms a synthesized image by synthesizing a first image captured by the first camera and a second image captured by the second camera.
The article recognition unit recognizes an article from one or more of the first captured image, the second captured image, and the composite image.
The information addition unit forms a picking instruction image by superimposing picking information related to the article on the composite image.
The display device displays the picking instruction image.
In this picking system, the second camera captures an image from a position near the article, and the first camera captures an image from a position away from the article, and then synthesizes the first captured image and the second captured image. be done. As a result, for example, even if there is a portion of the article that cannot be sufficiently photographed in one photographed image, that portion can be compensated for by the other photographed image. In other words, it is possible to display an image similar to the article viewed by the worker. As a result, the worker can intuitively grasp the article to be picked.

第2カメラは第1カメラより小さくてもよい。
このピッキングシステムでは、第2カメラは作業者エリアにおいて作業コンベヤに近接した位置に配置されているが、作業の邪魔になりにくい。
The second camera may be smaller than the first camera.
In this picking system, the second camera is arranged at a position close to the work conveyor in the worker's area, but does not easily interfere with the work.

第2カメラは、作業者の身体又は衣服に取り付け可能な保持部を有しており、作業者が携帯可能であってもよい。
このピッキングシステムでは、第2カメラは作業者に携帯させられる。したがって、第2カメラが作業の邪魔になりにくい。
The second camera has a holder that can be attached to the body or clothing of the worker, and may be portable by the worker.
In this picking system, the second camera is carried by the worker. Therefore, the second camera is less likely to interfere with work.

第1カメラは、作業者の背よりも高い位置に設けられていてもよい。
このピッキングシステムでは、第1カメラが作業の邪魔になりにくい。
The first camera may be provided at a position higher than the height of the operator.
In this picking system, the first camera hardly interferes with the work.

第1カメラは、互いに離れて配置され作業コンベヤ上の物品を撮影可能である一対のカメラを有している。
このピッキングシステムでは、第1カメラが複数であるので、異なる角度から物品を撮影することができ、それにより物品において撮影されていない部分が少なくなる。
The first camera has a pair of cameras spaced apart from each other and capable of photographing articles on the work conveyor.
In this picking system, since the first cameras are plural, the article can be photographed from different angles, thereby reducing the unphotographed portion of the article.

物品を搭載する物品搭載部材にはマーカが記されており、
画像合成部は、マーカを基準にして、第1撮影画像と第2撮影画像を合成してもよい。
このピッキングシステムでは、第1撮影画像と第2撮影画像の合成の計算量が少なくなる。
An article mounting member for mounting an article is marked with a marker,
The image synthesizing unit may synthesize the first captured image and the second captured image with reference to the marker.
In this picking system, the amount of calculation for synthesizing the first captured image and the second captured image is reduced.

本発明に係るピッキングシステムでは、カメラによる作業の邪魔を減らしつつ、作業者がピッキング作業を直感的に行えるようになる。 In the picking system according to the present invention, the operator can intuitively perform the picking work while reducing the obstruction of the work by the camera.

第1実施形態のピッキングステーションの概略斜視図。1 is a schematic perspective view of a picking station according to a first embodiment; FIG. ピッキングステーションの概略平面図。Schematic plan view of a picking station. ピッキングステーションの概略側面図。Schematic side view of a picking station. 作業者エリア付近の概略平面図。Schematic plan view of the vicinity of an operator area. ピッキングステーションの制御構成を示すブロック図。FIG. 3 is a block diagram showing the control configuration of the picking station; ピッキングステーションの制御動作を示すフローチャート。4 is a flow chart showing the control operation of the picking station; 第1カメラによる撮影画像。An image captured by the first camera. 第1カメラによる撮影画像。An image captured by the first camera. 第2カメラによる撮影画像。An image captured by the second camera. 合成画像の一例。An example of a composite image. ピッキング指示画像の一例。An example of a picking instruction image. 作業者が見ている光景の一例。An example of what a worker sees. ピッキング指示画像の一例。An example of a picking instruction image. ピッキング指示画像の一例。An example of a picking instruction image. ピッキング指示画像の一例。An example of a picking instruction image. ピッキング指示画像の一例。An example of a picking instruction image.

1.第1実施形態
(1)ピッキングステーションの基本構成
図1~図4を用いて、ピッキングステーション1(ピッキングシステムの一例)の基本構成を説明する。図1は、第1実施形態のピッキングステーションの概略斜視図である。図2は、ピッキングステーションの概略平面図である。図3は、ピッキングステーションの概略側面図である。図4は、作業者エリア付近の概略平面図である。なお、図2の左右方向を第1方向(矢印X)とし、図2の上下方向を第2方向(矢印Y)とする。
図1及び図2では、2台のピッキングステーション1が並んで配置されている。なお、以下の説明では、1台のピッキングステーション1のみを説明する。
1. First Embodiment (1) Basic Configuration of Picking Station The basic configuration of a picking station 1 (an example of a picking system) will be described with reference to FIGS. 1 to 4. FIG. FIG. 1 is a schematic perspective view of the picking station of the first embodiment. FIG. 2 is a schematic plan view of the picking station. FIG. 3 is a schematic side view of a picking station; FIG. 4 is a schematic plan view of the vicinity of the worker area. Note that the horizontal direction in FIG. 2 is defined as a first direction (arrow X), and the vertical direction in FIG. 2 is defined as a second direction (arrow Y).
1 and 2, two picking stations 1 are arranged side by side. In the following description, only one picking station 1 will be described.

ピッキングステーション1は、作業者Wが物品をピッキングするのを支援する施設である。特に、ピッキングステーション1は、AR(拡張現実)技術により、物品が混載されたパレットからのピッキングを支援する施設である。本実施形態でのピッキングとは、パレットPに積載された複数の物品A(物品の一例)を取り出して、出荷用パレット2に載置することをいう。物品Aは、例えば、段ボール箱である。なお、以下の説明では、一般的又は全体的な説明においては「物品A」とし、個別のものについては例えば「物品A1、A2、・・・」とする。
ピッキングステーション1は、主に、供給コンベヤ3と、作業コンベヤ5と、搬出コンベヤ7と、作業者エリア9とを備えている。
The picking station 1 is a facility that assists the worker W in picking articles. In particular, the picking station 1 is a facility that uses AR (Augmented Reality) technology to support picking from pallets on which goods are mixed. Picking in this embodiment means taking out a plurality of articles A (an example of articles) loaded on the pallet P and placing them on the shipping pallet 2 . Article A is, for example, a cardboard box. In the following description, general or overall description will be referred to as "item A", and individual items will be referred to as "items A1, A2, . . . ," for example.
The picking station 1 mainly includes a supply conveyor 3 , a work conveyor 5 , a discharge conveyor 7 and an operator area 9 .

供給コンベヤ3は、出庫用コンベヤであり、複数の物品Aが搭載されたパレットPを作業コンベヤ5に供給するために自動倉庫4から出庫するコンベヤである。供給コンベヤ3は、第2方向に延びている。供給コンベヤ3は、チェーンコンベヤであるが、ローラコンベヤ、ベルトコンベヤであってもよい。
作業コンベヤ5は、供給コンベヤ3と搬出コンベヤ7との間に配置されている。つまり、作業コンベヤ5は、供給コンベヤ3の搬送方向下流側に接続され、搬出コンベヤ7の搬送方向上流側に配置されている。作業コンベヤ5は、第1方向に延びている。作業コンベヤ5は、ピッキングが行われるピッキングポイント5aを有している。ピッキングポイント5aは、作業コンベヤ5の搬送方向下流側端であって搬出コンベヤ7に連続する位置に設けられている。作業コンベヤ5は、本実施形態では、転換コンベヤとチェーンコンベヤの組み合わせからなるが、フリーローラ、ローラコンベヤ、ベルトコンベヤであってもよい。
The supply conveyor 3 is a conveyor for delivery, and is a conveyor for delivery from the automated warehouse 4 in order to supply the pallet P on which a plurality of articles A are mounted to the work conveyor 5 . The supply conveyor 3 extends in the second direction. The supply conveyor 3 is a chain conveyor, but may be a roller conveyor or a belt conveyor.
The work conveyor 5 is arranged between the supply conveyor 3 and the discharge conveyor 7 . In other words, the working conveyor 5 is connected to the downstream side of the supply conveyor 3 in the conveying direction, and arranged upstream of the unloading conveyor 7 in the conveying direction. The working conveyor 5 extends in the first direction. The working conveyor 5 has a picking point 5a where picking is performed. The picking point 5a is provided at the downstream end of the work conveyor 5 in the conveying direction and at a position continuous with the unloading conveyor 7. As shown in FIG. The work conveyor 5 is a combination of a change conveyor and a chain conveyor in this embodiment, but may be a free roller, a roller conveyor, or a belt conveyor.

搬出コンベヤ7は、入庫用コンベヤであり、複数の物品Aが搭載されたパレットPを作業コンベヤ5から搬出して、自動倉庫4へ入庫するためのコンベヤである。搬出コンベヤ7は、第2方向に延びており、つまり供給コンベヤ3と平行に延びている。
本実施形態では、供給コンベヤ3、作業コンベヤ5及び搬出コンベヤ7はコの字形に配置されている。つまり、供給コンベヤ3及び搬出コンベヤ7は、作業コンベヤ5から第2方向奥側に延びている。しかし、各コンベヤのレイアウトはこれに限定されない。例えば、供給コンベヤ3、作業コンベヤ5及び搬出コンベヤ7を一直線に並べたレイアウトでもよい。
The unloading conveyor 7 is a warehousing conveyor, and is a conveyor for unloading the pallet P on which a plurality of articles A are mounted from the work conveyor 5 and warehousing it into the automated warehouse 4 . The discharge conveyor 7 extends in the second direction, i.e. parallel to the supply conveyor 3 .
In this embodiment, the supply conveyor 3, the work conveyor 5 and the unloading conveyor 7 are arranged in a U-shape. That is, the supply conveyor 3 and the unloading conveyor 7 extend from the working conveyor 5 to the back side in the second direction. However, the layout of each conveyor is not limited to this. For example, the layout may be such that the supply conveyor 3, the work conveyor 5 and the unloading conveyor 7 are arranged in a straight line.

作業者エリア9は、作業コンベヤ5に隣接して設けられ、作業者Wがピッキング作業を行う領域である。作業者エリア9は、作業コンベヤ5に対して、第2方向の一方側(具体的には、供給コンベヤ3及び搬出コンベヤ7の延びる側と反対側)に配置されている。 The worker area 9 is provided adjacent to the work conveyor 5 and is an area where the worker W performs the picking work. The worker area 9 is arranged on one side of the work conveyor 5 in the second direction (specifically, the side opposite to the side where the supply conveyor 3 and the carry-out conveyor 7 extend).

ピッキングステーション1は、第1カメラ10A、10Bを有している。第1カメラ10A、10Bは、作業コンベヤ5の作業者がピッキング作業を実行する側に配置され、より具体的には、作業者エリア9よりさらに第2方向の前記一方側に配置されている。
具体的には、第1カメラ10A、10Bは、フレーム14に装着されている。第1カメラ10A、10Bは、第2方向において奥側を向いており、作業コンベヤ5のピッキングポイント5aにおける物品Aを撮影可能である。第1カメラ10A、10Bの撮影画像は、例えば、動画である。
第1カメラ10A、10Bの位置が作業コンベヤ5の作業者エリア9と反対側の位置であるので、作業者Wの邪魔にならない。
第1カメラ10A、10Bは、具体的には、作業者Wの背面側において、左右両側に配置されている。つまり、第1カメラ10A、10Bは、第1方向に互いに離れて配置されている。このように第1カメラが複数であるので、異なる角度から物品を撮影することができ、それにより物品Aにおいて撮影されていない部分を減らせる。なお、第1カメラ10A、10Bは、第2方向に対してそれぞれ異なる角度で傾くことで、ともに内側を向いている。
The picking station 1 has first cameras 10A and 10B. The first cameras 10A and 10B are arranged on the side of the work conveyor 5 where the worker performs the picking work, more specifically, on the one side of the worker area 9 in the second direction.
Specifically, the first cameras 10A and 10B are attached to the frame 14 . The first cameras 10A and 10B face the back side in the second direction, and can photograph the article A at the picking point 5a of the work conveyor 5. As shown in FIG. The images captured by the first cameras 10A and 10B are, for example, moving images.
Since the positions of the first cameras 10A and 10B are on the opposite side of the work conveyor 5 from the worker area 9, they do not interfere with the worker W.
Specifically, the first cameras 10A and 10B are arranged on both left and right sides on the back side of the worker W. As shown in FIG. That is, the first cameras 10A and 10B are arranged apart from each other in the first direction. Since there are a plurality of first cameras in this way, it is possible to photograph the article from different angles, thereby reducing the portion of the article A that is not photographed. The first cameras 10A and 10B are tilted at different angles with respect to the second direction, so that they both face inward.

第1カメラ10A、10Bは、ピッキングポイント5aに位置する全ての物品Aを撮影する。図4に示すように、ピッキングポイント5aにおいては、物品Aの第1カメラ10A、10B側には、QRコード40(登録商標)が貼られている。
第1カメラ10A、10Bは、作業者の背よりも高い位置に設けられて斜め下方に向いている。したがって、第1カメラ10A、10Bが作業の邪魔になりにくい。具体的には、出荷用パレット2に荷物Aを載置する作業の邪魔になりにくい。ただし、第1カメラ10A、10Bが、作業者Wの通常の立ち位置における顔の高さと同じ高さにあってもよい。
さらなる変形例として、第1カメラは、1台であって、物品Aの正面又はその近傍に対向するように配置されていてもよい。
The first cameras 10A, 10B photograph all the articles A located at the picking point 5a. As shown in FIG. 4, at the picking point 5a, a QR code 40 (registered trademark) is affixed to the article A on the side of the first cameras 10A and 10B.
The first cameras 10A and 10B are provided at positions higher than the height of the operator and face obliquely downward. Therefore, the first cameras 10A and 10B are less likely to interfere with work. Specifically, it is less likely to interfere with the work of placing the cargo A on the shipping pallet 2 . However, the first cameras 10A and 10B may be at the same height as the height of the worker W's face in a normal standing position.
As a further modification, the number of first cameras may be one, and may be arranged so as to face the front of the article A or its vicinity.

ピッキングステーション1は、第2カメラ11を有している。第2カメラ11は、作業者エリア9において作業コンベヤ5に近接した位置に配置されている。第2カメラ11の撮影画像は、例えば、動画である。
第2カメラ11は第1カメラ10A、10Bより小さい。したがって、第2カメラ11は作業者エリア9において作業コンベヤ5に近接した位置に配置されているが、作業の邪魔になりにくい。
The picking station 1 has a second camera 11 . The second camera 11 is arranged at a position close to the work conveyor 5 in the worker area 9 . The image captured by the second camera 11 is, for example, a moving image.
The second camera 11 is smaller than the first cameras 10A, 10B. Therefore, although the second camera 11 is arranged at a position close to the work conveyor 5 in the worker area 9, it hardly interferes with the work.

第2カメラ11は、作業者Wの腰回りに取り付け可能なベルト12(保持部の一例)を有しており、作業者が携帯可能である。したがって、第2カメラ11が作業の邪魔になりにくい。第2カメラ11は、作業者Wの服やヘルメットに装着されてもよい。例えば、第2カメラ11は、作業者Wの胸部に位置するように肩掛け部材を有していてもよい。 The second camera 11 has a belt 12 (an example of a holding portion) that can be attached around the waist of the worker W, and can be carried by the worker. Therefore, the second camera 11 is less likely to interfere with the work. The second camera 11 may be attached to the worker W's clothes or helmet. For example, the second camera 11 may have a shoulder member so as to be positioned on the operator W's chest.

ピッキングステーション1は、ディスプレイ13(表示装置の一例)を備えている。ディスプレイ13は、ピッキング指示画像60(後述)を表示する装置である。本実施形態では、ディスプレイ13は、作業者エリア9に配置されており、作業者Wはディスプレイ13を見ながらピッキング可能である。
なお、表示装置として、例えば、ヘッドマウントディスプレイが用いられてもよい。
The picking station 1 includes a display 13 (an example of a display device). The display 13 is a device that displays a picking instruction image 60 (described later). In this embodiment, the display 13 is arranged in the worker area 9 and the worker W can pick while looking at the display 13 .
Note that, for example, a head-mounted display may be used as the display device.

(2)ピッキングステーションの制御構成
図5を用いて、ピッキングステーション1の制御構成を説明する。図5は、ピッキングステーションの制御構成を示すブロック図である。
ピッキングステーション1は、コントローラ51を有している。
コントローラ51は、プロセッサ(例えば、CPU)と、記憶装置(例えば、ROM、RAM、HDD、SSDなど)と、各種インターフェース(例えば、A/Dコンバータ、D/Aコンバータ、通信インターフェースなど)を有するコンピュータシステムである。コントローラ51は、記憶部(記憶装置の記憶領域の一部又は全部に対応)に保存されたプログラムを実行することで、各種制御動作を行う。
コントローラ51は、単一のプロセッサで構成されていてもよいが、各制御のために独立した複数のプロセッサから構成されていてもよい。
コントローラ51の各要素の機能は、一部又は全てが、コントローラ51を構成するコンピュータシステムにて実行可能なプログラムとして実現されてもよい。その他、制御部の各要素の機能の一部は、カスタムICにより構成されていてもよい。
(2) Control Configuration of Picking Station The control configuration of the picking station 1 will be described with reference to FIG. FIG. 5 is a block diagram showing the control configuration of the picking station.
The picking station 1 has a controller 51 .
The controller 51 is a computer having a processor (eg, CPU), a storage device (eg, ROM, RAM, HDD, SSD, etc.), and various interfaces (eg, A/D converter, D/A converter, communication interface, etc.). system. The controller 51 performs various control operations by executing programs stored in a storage unit (corresponding to part or all of the storage area of the storage device).
The controller 51 may be composed of a single processor, or may be composed of a plurality of independent processors for each control.
A part or all of the function of each element of the controller 51 may be implemented as a program executable by the computer system that configures the controller 51 . In addition, part of the function of each element of the control section may be configured by a custom IC.

コントローラ51は、QRコード処理部53(物品認識部の一例)と、画像処理部55(画像合成部の一例)と、画像形成部57(情報追加部の一例)とを有している。
QRコード処理部53は、撮影画像から物品Aを認識する。具体的には、本実施形態では、物品認識は、撮影画像の中に含まれるQRコード40を読み取り、サーバ(図示せず)に照会し、物品Aの情報(ピッキング対象であるか否か、ピッキング対象の場合に種類)を入手することで行われる。なお、物品認識は、外形情報、例えば、物品Aの外面に記載された文字や物品Aのサイズに基づいて行われてもよい。
画像処理部55は、第1カメラ10A、10Bによる第1撮影画像41A、41Bと第2カメラ11による第2撮影画像42を合成することによって合成画像43を形成する。具体的には、画像処理部55は、撮影中の複数の動画からそれぞれの静止画を作成し、最後にそれらを合成する。
The controller 51 has a QR code processing section 53 (an example of an article recognition section), an image processing section 55 (an example of an image synthesizing section), and an image forming section 57 (an example of an information adding section).
The QR code processing unit 53 recognizes the article A from the photographed image. Specifically, in this embodiment, article recognition reads the QR code 40 included in the captured image, inquires to a server (not shown), and obtains information on article A (whether it is a picking target, It is done by obtaining the type) in the case of picking target. Note that the article recognition may be performed based on external shape information, for example, characters written on the outer surface of the article A or the size of the article A. FIG.
The image processing unit 55 forms a combined image 43 by combining the first captured images 41A and 41B captured by the first cameras 10A and 10B and the second captured image 42 captured by the second camera 11 . Specifically, the image processing unit 55 creates respective still images from a plurality of moving images being captured, and finally synthesizes them.

画像形成部57は、合成画像43に物品Aに関連するピッキング情報を重ねることで、ピッキング指示画像60を形成する。つまり、全ての物品Aが映っている撮影画像を元にピッキング指示画像60が作成される。
ピッキング指示画像60は、出庫されてきたパレットPについてのピッキング対象の物品Aの品種、数量等のピッキング指示を含む。
ピッキング指示は、ピッキング対象の物品Aを視覚的に教示するマーキングを含んでいる。マーキングは、例えば、ピッキング対象である物品Aに重ねて表示された色や枠である。マーキングは、ピッキングする段ボール箱を示す矢印や他の記号でもよい。ピッキング情報は、数量や品名も含んでいる。なお、マーキング方法は任意であり、ピッキング情報の内容を任意である。
The image forming unit 57 forms the picking instruction image 60 by superimposing the picking information related to the article A on the composite image 43 . That is, the picking instruction image 60 is created based on the photographed image in which all the articles A are shown.
The picking instruction image 60 includes picking instructions such as the type and quantity of the goods A to be picked for the delivered pallet P.
The picking instruction includes markings that visually indicate the article A to be picked. The marking is, for example, a color or a frame superimposed on the item A to be picked. The marking may be an arrow or other symbol that indicates the cardboard box to be picked. The picking information also includes quantity and product name. The marking method is arbitrary, and the content of the picking information is arbitrary.

コントローラ51には、図示しないが、パレットP及び物品Aの大きさ、形状及び位置検出するセンサ、各装置の状態を検出するためのセンサ及びスイッチ、並びに情報入力装置が接続されている。
コントローラ51には、ディスプレイ13が接続されている。
コントローラ51には、図5に示すように、操作端末61、タッチスキャナ63が接続されている。操作端末61には、1つのパレットPからのピッキングが終了した時に押される完了ボタン(図示せず)が設けられている。
さらに、コントローラ51には、供給コンベヤ3、作業コンベヤ5及び搬出コンベヤ7をそれぞれ駆動するコンベヤ駆動部(図示せず)がそれぞれ接続されている。
Although not shown, the controller 51 is connected with sensors for detecting the size, shape and position of the pallet P and the articles A, sensors and switches for detecting the state of each device, and an information input device.
A display 13 is connected to the controller 51 .
An operation terminal 61 and a touch scanner 63 are connected to the controller 51 as shown in FIG. The operation terminal 61 is provided with a completion button (not shown) that is pushed when picking from one pallet P is completed.
Further, the controller 51 is connected to conveyor drive units (not shown) for driving the supply conveyor 3, the work conveyor 5, and the unloading conveyor 7, respectively.

(3)ピッキングステーションの制御動作
図6を用いて、ピッキングステーション1の制御動作を説明する。図6は、ピッキングステーションの制御動作を示すフローチャートである。
以下に説明する制御フローチャートは例示であって、各ステップは必要に応じて省略及び入れ替え可能である。また、複数のステップが同時に実行されたり、一部又は全てが重なって実行されたりしてもよい。
さらに、制御フローチャートの各ブロックは、単一の制御動作とは限らず、複数のブロックで表現される複数の制御動作に置き換えることができる。
なお、各装置の動作は、コントローラ51から各装置への指令の結果であり、これらはソフトウェア・アプリケーションの各ステップによって表現される。
(3) Control Operation of Picking Station Control operation of the picking station 1 will be described with reference to FIG. FIG. 6 is a flow chart showing the control operation of the picking station.
The control flow chart described below is an example, and each step can be omitted or replaced as needed. Also, a plurality of steps may be executed simultaneously, or some or all of them may overlap.
Furthermore, each block in the control flow chart is not limited to a single control operation, and can be replaced with a plurality of control operations represented by a plurality of blocks.
The operation of each device is the result of commands from the controller 51 to each device, and these are expressed by each step of the software application.

ステップS1では、パレットPが作業コンベヤ5のピッキングポイント5aに到着するのを待つ。具体的には、パレットPは、供給コンベヤ3によって自動倉庫4から出庫されてきて、次に作業コンベヤ5がピッキングポイント5aまで搬送する。
ステップS2では、第1カメラ10A、10B及び第2カメラ11がパレットPに載っている複数の物品Aの前面を撮影する。なお、その後、画像処理部55が、撮影中の複数の動画からそれぞれ静止画を作成する。
In step S1, the arrival of the pallet P at the picking point 5a of the working conveyor 5 is waited. Specifically, the pallet P is taken out from the automated warehouse 4 by the supply conveyor 3, and then conveyed to the picking point 5a by the work conveyor 5.
In step S2, the first cameras 10A, 10B and the second camera 11 photograph the front surfaces of a plurality of articles A placed on the pallet P. As shown in FIG. After that, the image processing unit 55 creates still images from the plurality of moving images being captured.

ステップS3では、合成画像43が作成される。具体的には、画像処理部55が第1撮影画像41A、41Bと第2撮影画像42を合成することで、合成画像43を作成する。図7~図10を用いて、合成画像43の作成をさらに説明する。図7及び図8は、第1撮影画像の一例である。図9は、第2撮影画像の一例である。図10は、合成画像の一例である。
図7に示すように第1カメラ10Aが撮影した第1撮影画像41Aでは、作業者Wによって物品Aの一部が隠れている。また、図8に示すように第1カメラ10Bが撮影した第1撮影画像41Bでは、作業者Wによって物品Aの一部が隠れている。図9に示すように第2カメラ11によって撮影した第2撮影画像42において、物品Aが映っている。ただし、第2カメラ11は物品Aの近傍に設置されているので、物品Aの左右両側部分は十分に撮影できていない可能性がある。そこで、画像処理部55は、第2撮影画像42に対して、第1撮影画像41Aの部分画像41A1と第1撮影画像41Bの部分画像41B1を補完することで、図10に示すように合成画像43を形成する。なお、合成画像に用いられるのは、一方の第1撮影画像だけでもよい。
なお、実際には、合成の前には、各撮影画像の傾きを調整している。これは、各撮影画像は、撮影している向きや角度が互いに異なっているからである。
In step S3, a composite image 43 is created. Specifically, the image processing unit 55 combines the first captured images 41A and 41B and the second captured image 42 to create a combined image 43 . The creation of the composite image 43 will be further described with reference to FIGS. 7 to 10. FIG. 7 and 8 are examples of the first captured image. FIG. 9 is an example of a second captured image. FIG. 10 is an example of a composite image.
As shown in FIG. 7, part of the article A is hidden by the worker W in the first captured image 41A captured by the first camera 10A. In addition, as shown in FIG. 8, part of the article A is hidden by the worker W in the first captured image 41B captured by the first camera 10B. As shown in FIG. 9, the article A is shown in the second photographed image 42 photographed by the second camera 11 . However, since the second camera 11 is installed in the vicinity of the article A, there is a possibility that the left and right sides of the article A are not sufficiently photographed. Therefore, the image processing unit 55 complements the second captured image 42 with the partial image 41A1 of the first captured image 41A and the partial image 41B1 of the first captured image 41B, thereby obtaining a composite image as shown in FIG. form 43; Note that only one of the first captured images may be used for the composite image.
In practice, the inclination of each photographed image is adjusted before combining. This is because the captured images are different in direction and angle.

次に、画像合成の基準を説明する。物品Aを搭載するパレットP(物品搭載部材の一例)には、複数のマーカ31が記されている。画像処理部55は、マーカ31を基準にして、第1撮影画像41A、41Bと第2撮影画像42を合成する。この場合、第1撮影画像41A、41Bと第2撮影画像42の合成の計算量が少なくなる。 Next, the criteria for image composition will be described. A plurality of markers 31 are marked on a pallet P (an example of an article mounting member) on which articles A are to be mounted. The image processing unit 55 synthesizes the first captured images 41A and 41B and the second captured image 42 with the marker 31 as a reference. In this case, the amount of calculation for synthesizing the first captured images 41A and 41B and the second captured image 42 is reduced.

ステップS4では、QRコード40よる物品認識が行われる。具体的には、QRコード処理部53が、合成画像内のQRコード40から各物品Aを識別し、次にサーバ(図示せず)に照会することで、物品Aに関連する情報(ピッキング対象か否か、ピッキング対象の場合に種類)を入手する。
ステップS5では、ピッキング指示画像60が作成される。具体的には、画像形成部57が、合成画像43に物品Aに関連するピッキング情報を重ねることで、ピッキング指示画像60を作成する。
ステップS6では、ピッキング指示画像60が表示される。具体的には、ピッキング指示画像60がディスプレイ13に送られてそこに表示される。
In step S4, article recognition by the QR code 40 is performed. Specifically, the QR code processing unit 53 identifies each article A from the QR code 40 in the composite image, and then inquires to a server (not shown) to obtain information related to the article A (picking target). (or not, and if it is a picking target, the type) is obtained.
In step S5, a picking instruction image 60 is created. Specifically, the image forming unit 57 creates the picking instruction image 60 by superimposing the picking information related to the article A on the composite image 43 .
In step S6, a picking instruction image 60 is displayed. Specifically, the picking instruction image 60 is sent to the display 13 and displayed there.

ステップS7では、所定時間が経過したか否かが判断される。経過すればプロセスはステップS2に戻り、経過していなければプロセスはステップS8に移行する。
ステップS8では、作業者WがピッキングしたケースのQRコード40をタッチスキャナ63でスキャンしたか否かを判断する。作業者WがQRコード40をスキャンしたタイミングでピッキング完了とみなす。作業者Wは、スキャン後に、物品Aを出荷用パレット2に積み付ける。スキャンが完了すれば、プロセスはステップS9に移行する。
以上より、ピッキング指示画像60が表示されてから所定時間内にQRコード40のスキャンが終了しなければ、ピッキング指示画像60が更新される。このため、作業者Wは、物品Aの最新の荷姿に基づいたピッキング指示画像60をリアルタイムで参照できる。
In step S7, it is determined whether or not a predetermined time has passed. If it has passed, the process returns to step S2, and if it has not passed, the process moves to step S8.
In step S8, it is determined whether the QR code 40 of the case picked by the worker W has been scanned by the touch scanner 63 or not. Picking is considered to be completed when the worker W scans the QR code 40 . The worker W loads the article A on the shipping pallet 2 after scanning. If scanning is completed, the process moves to step S9.
As described above, the picking instruction image 60 is updated unless the scanning of the QR code 40 is completed within a predetermined time after the picking instruction image 60 is displayed. Therefore, the worker W can refer to the picking instruction image 60 based on the latest packaging of the article A in real time.

ステップS9では、ピッキングが全て終了したか否かが判断される。具体的には、コントローラ51が、ピッキング対象の物品Aが全てピッキングされたか否かを判断する。完了すればプロセスはステップS10に移行し、ディスプレイ13に完了が表示される。完了していなければプロセスはステップS2に戻り、次のピッキング指示画像60をディスプレイ13に表示する動作を実行する。
以上より、ピッキング対象が複数ある場合に、1つがピッキングされるごとにピッキング指示画像60が更新される。このため、作業者Wは物品Aの最新の荷姿に基づいたピッキング指示画像をリアルタイムで参照できる。
In step S9, it is determined whether or not the picking has been completed. Specifically, the controller 51 determines whether or not all the articles A to be picked have been picked. If completed, the process proceeds to step S10, and completion is displayed on the display 13. FIG. If not completed, the process returns to step S2, and the operation of displaying the next picking instruction image 60 on the display 13 is executed.
As described above, when there are a plurality of picking targets, the picking instruction image 60 is updated each time one is picked. Therefore, the worker W can refer to the picking instruction image based on the latest packaging of the article A in real time.

なお、ステップS7において作業者WがQRコード40をスキャンしたタイミングでミス(ピッキングしたものが異なっていた場合)が発覚した場合は、ディスプレイ13にピッキングミスであることを表示したり、音を鳴らしたりして作業者Wに報知してもよい。 In step S7, if an error is detected when the worker W scans the QR code 40 (if the picked item is different), the display 13 displays a picking error or sounds a sound. Alternatively, the worker W may be informed of the situation.

以上の結果、第2カメラ11によって物品Aの近くの位置からの撮影を行い、第1カメラ10A、10Bによって物品Aから離れた位置からの撮影を行い、その後第1撮影画像41A、41Bと第2撮影画像42が合成される。これにより、例えば、一方の撮影画像で物品Aの一部が十分に撮影できない部分があったとしても、その部分を他方の撮影画像で補うことができる。つまり、作業者が見ている物品Aと同様の画像を表示できる。その結果、作業者がピッキング作業を直感的に行えるようになる。
図11及び図12を用いて、ピッキング指示画像60と実際に作業者Wが見ている光景とを比較して説明する。図11は、ピッキング指示画像の一例である。図12は、作業者Wが見ている光景の一例である。図11はピッキング指示画像60の物品Aの配置を示しており、図12は作業者Wが実際に見た物品Aの配置である。図から明らかなように、作業者Wは、ピッキング指示画像60によってピッキング対象である物品Aを容易に把握できる。
As a result, the second camera 11 captures an image near the article A, the first cameras 10A and 10B capture an image distant from the article A, and then the first captured images 41A and 41B and the first captured image 41B. 2 photographed images 42 are synthesized. As a result, for example, even if there is a portion of the article A that cannot be sufficiently photographed in one photographed image, that portion can be compensated for by the other photographed image. In other words, it is possible to display an image similar to that of the article A viewed by the worker. As a result, the operator can intuitively perform the picking work.
11 and 12, the picking instruction image 60 and the scene actually seen by the worker W will be compared and explained. FIG. 11 is an example of a picking instruction image. FIG. 12 is an example of a scene seen by the worker W. FIG. FIG. 11 shows the arrangement of the articles A in the picking instruction image 60, and FIG. 12 shows the arrangement of the articles A that the worker W actually saw. As is clear from the drawing, the worker W can easily grasp the article A to be picked by the picking instruction image 60 .

変形例として、第1カメラ10A、10Bは、撮影対象の位置が作業者Wの目線と近似する位置になるように配置されていてもよい。この場合は、撮影画像を作業者Wの目線に合わせることで、作業者Wがさらに直感的にピッキングする物品Aを把握できるようになる。撮影画像と作業者が見た光景との角度が概ね一致するからである。 As a modification, the first cameras 10A and 10B may be arranged so that the position of the photographing target is close to the worker W's line of sight. In this case, by aligning the photographed image with the line of sight of the worker W, the worker W can more intuitively grasp the article A to be picked. This is because the angle between the photographed image and the scene seen by the worker approximately matches.

(4)ピッキング指示画像の例(その1)
図13及び図14を用いて、ピッキング指示画像の一例を説明する。図13及び図14は、ピッキング指示画像の一例である。
図13において、最初の段階では、ピッキング対象は積み重ねられた物品A1と物品A2である。したがって、この段階では物品A1と物品A2にピッキング対象としてのマーキングがされている。
なお、変形例として、実際にピッキングする個数よりも多くのピッキング対象の物品Aがある場合は、例えば、該当する物品Aのうち、取りやすいであろう物品Aを位置情報から自動で識別してマーキングする。例えば、上下に積まれた物品Aのいずれも該当する場合は、上の物品Aのみがマーキングされる。他の方法として、ピッキング個数を表示すると共に、全てのピッキング対象の物品Aにマーキングしてもよい。この場合マーキングされた物品Aのうち任意の物を選択可能であるので、必須の場合のマーキングと異なるマーキングを付与して任意であることを示すことが好ましい。例えば、必須の場合と任意の場合とで色を異ならせることができる。それにより、作業者Wは迷うことなくスムーズにピッキングできる。
(4) Example of picking instruction image (Part 1)
An example of the picking instruction image will be described with reference to FIGS. 13 and 14. FIG. 13 and 14 are examples of picking instruction images.
In FIG. 13, at the first stage, the objects to be picked are stacked items A1 and A2. Therefore, at this stage, the articles A1 and A2 are marked as objects to be picked.
As a modification, if there are more items A to be picked than the actual number of items to be picked, for example, among the corresponding items A, the item A that is likely to be picked up is automatically identified from the position information. to mark. For example, if both items A stacked above and below are applicable, only the top item A is marked. As another method, the number of items to be picked may be displayed and all items A to be picked may be marked. In this case, since any item can be selected from the marked items A, it is preferable to give a marking different from the marking in the case of essential to indicate that it is optional. For example, different colors can be used for mandatory and optional cases. Thereby, the worker W can pick smoothly without hesitation.

作業者Wが物品A1をピッキングすると、ピッキング対象としては物品A2のみとなる。すると、図14に示すように、物品A1がピッキングされた後の状態のピッキング指示画像60が新たに表示される。なぜなら、1回のピッキングが終了しても全てのピッキングが終了していなければ(例えば、図6のステップS9でNo)、画像撮影(例えば、図6のステップS2)画像処理(例えば、図6のステップS3)、ピッキング指示画像作成(例えば、図6のステップS5)、ピッキング指示画像の表示(例えば、図6のステップS6)等の一連の処理が行われるからである。新たなピッキング指示画像60では、物品A2のみをピッキング対象としてのマーキングがされている。
以上に述べたように、リアルタイムでQRコード40の読取りとピッキング指示画像60の更新がなされる。したがって、作業者Wは複数のピッキング作業をスムーズに続けることができる。
When the worker W picks the article A1, only the article A2 is picked. Then, as shown in FIG. 14, a new picking instruction image 60 after the article A1 has been picked is displayed. This is because if all picking is not completed even after one picking is completed (eg, No in step S9 of FIG. 6), image capturing (eg, step S2 of FIG. 6) and image processing (eg, FIG. 6 This is because a series of processes such as step S3 of ), creation of a picking instruction image (for example, step S5 in FIG. 6), and display of the picking instruction image (for example, step S6 in FIG. 6) are performed. In the new picking instruction image 60, only the article A2 is marked as a picking target.
As described above, the QR code 40 is read and the picking instruction image 60 is updated in real time. Therefore, the worker W can smoothly continue a plurality of picking operations.

(5)ピッキング指示画像の例(その2)
図15及び図16を用いて、下の方に積まれている物品を取る場合のピッキング指示画像の変化を説明する。図15は、ピッキング指示画像の一例である。図16は、ピッキング指示画像の一例である。
図15において、最初の段階では、ピッキング対象は物品A1の下にある物品A2である。したがって、この段階では物品A2にピッキング対象としてのマーキングがされている。
(5) Example of picking instruction image (Part 2)
15 and 16, changes in the picking instruction image when picking up an article stacked in the lower part will be described. FIG. 15 is an example of a picking instruction image. FIG. 16 is an example of a picking instruction image.
In FIG. 15, at the first stage, the object to be picked is the item A2 below the item A1. Therefore, at this stage, article A2 is marked as a picking object.

作業者Wが物品A2をピッキングするためには、図16に示すように物品A1を動かしてつまり横にのける必要がある。物品A1を移した後も、物品A1の移動後の状態のピッキング指示画像60が新たに表示される。なぜなら、一度ピッキング指示画像が表示されても所定時間が経過すれば(例えば、図6のステップS7でYes)、続いて画像撮影(例えば、図6のステップS2)、画像処理(例えば、図6のステップS3)、ピッキング指示画像作成(例えば、図6のステップS5)、ピッキング指示画像の表示(例えば、図6のステップS6)等の一連の処理が行われるからである。なお、新たなピッキング指示画像60では、引き続き、物品A2がマーキングされている。
以上に述べたように、リアルタイムでQRコード40の読取りとピッキング指示画像60の更新がなされる。したがって、作業者Wは物品AのパレットP上での移動が必要な場合でも、ピッキング作業を確実に行うことができる。
In order for the worker W to pick the article A2, it is necessary to move the article A1 to the side as shown in FIG. Even after the item A1 has been moved, the picking instruction image 60 in the state after the item A1 has been moved is newly displayed. This is because, even if the picking instruction image is displayed once, if a predetermined period of time elapses (for example, Yes in step S7 of FIG. 6), then image shooting (for example, step S2 of FIG. 6), image processing (for example, step S2 of FIG. 6) This is because a series of processes such as step S3 of ), creation of a picking instruction image (for example, step S5 in FIG. 6), and display of the picking instruction image (for example, step S6 in FIG. 6) are performed. In the new picking instruction image 60, article A2 is still marked.
As described above, the QR code 40 is read and the picking instruction image 60 is updated in real time. Therefore, even if the worker W needs to move the article A on the pallet P, the worker W can reliably perform the picking operation.

上記制御動作を可能にするためには、物品AのQRコード40が貼られた面を同じ側に向ける必要がある。したがって、物品Aを自動倉庫4に入庫する時には、作業者Wは、空のパレットPがピッキングポイント5aへ到着すると、作業者Wは物品AをQRコード40が貼りつけられた面を手前側にし、手前詰めでパレットPに積載していく。 In order to enable the above control operation, the surface of the article A to which the QR code 40 is attached must face the same side. Therefore, when the article A is to be stored in the automated warehouse 4, the worker W must place the article A with the side to which the QR code 40 is pasted to the front when the empty pallet P arrives at the picking point 5a. , are loaded on the pallet P in the near side.

2.実施形態の特徴
前記実施形態は下記のようにも説明できる。
ピッキングステーション1(ピッキングシステムの一例)は、作業者W(作業者の一例)がピッキング作業を行うことを支援するものであって、供給コンベヤ3と、作業コンベヤ5と、搬出コンベヤ7と、第1カメラ10A、10Bと、第2カメラ11と、画像処理部55(画像合成部の一例)と、QRコード処理部53(物品認識部)と、画像形成部57(情報追加部の一例)と、ディスプレイ13(表示装置の一例)とを備えている。
供給コンベヤ3は、物品Aを搬送する。
作業コンベヤ5は、供給コンベヤ3の下流側に接続され、作業者がピッキング作業を近傍で行うことができる。
搬出コンベヤ7は、作業コンベヤ5の下流側に接続される。
第1カメラ10A、10Bは、作業コンベヤ5の作業者がピッキング作業を行う側に配置されている。
第2カメラ11は、作業コンベヤ5の作業者がピッキング作業を行う側において作業コンベヤ5に近接した位置に配置されている。
画像処理部55は、第1カメラ10A、10Bによる第1撮影画像41A、41Bと第2カメラ11による第2撮影画像42を合成することによって合成画像43を形成する。
QRコード処理部53は、合成画像44から物品Aを認識する。
画像形成部57は、合成画像43に物品Aに関連するピッキング情報を重ねることで、ピッキング指示画像60を形成する。
ディスプレイ13は、ピッキング指示画像60を表示する。
2. Features of Embodiments The above embodiments can also be described as follows.
A picking station 1 (an example of a picking system) assists a worker W (an example of a worker) in picking work, and includes a supply conveyor 3, a work conveyor 5, an unloading conveyor 7, and a 1 cameras 10A and 10B, a second camera 11, an image processing unit 55 (an example of an image synthesizing unit), a QR code processing unit 53 (an article recognition unit), and an image forming unit 57 (an example of an information adding unit) , and a display 13 (an example of a display device).
The supply conveyor 3 conveys the articles A.
The work conveyor 5 is connected to the downstream side of the supply conveyor 3 so that workers can perform picking work nearby.
The unloading conveyor 7 is connected downstream of the working conveyor 5 .
The first cameras 10A and 10B are arranged on the side of the work conveyor 5 where the worker performs the picking work.
The second camera 11 is arranged at a position close to the work conveyor 5 on the side of the work conveyor 5 where the worker performs the picking work.
The image processing unit 55 forms a combined image 43 by combining the first captured images 41A and 41B captured by the first cameras 10A and 10B and the second captured image 42 captured by the second camera 11 .
The QR code processing section 53 recognizes the article A from the composite image 44 .
The image forming unit 57 forms the picking instruction image 60 by superimposing the picking information related to the article A on the composite image 43 .
The display 13 displays a picking instruction image 60. FIG.

このピッキングステーション1では、第2カメラ11によって物品Aの近くの位置からの撮影を行い、それとは別に第1カメラ10A、10Bによって物品Aから離れた位置からの撮影を行い、その後第1撮影画像41A、41Bと第2撮影画像42が合成される。これにより、例えば、一方の撮影画像で物品Aの一部が十分に撮影できない部分があったとしても、その部分を他方の撮影画像で補うことができる。つまり、作業者Wが見ている物品Aと同様の画像を表示できる。その結果、作業者Wがピッキング対象である物品Aを直感的に把握できる。 In the picking station 1, the second camera 11 captures an image near the article A, and the first cameras 10A and 10B capture an image distant from the article A. After that, the first captured image is taken. 41A, 41B and the second photographed image 42 are synthesized. As a result, for example, even if there is a portion of the article A that cannot be sufficiently photographed in one photographed image, that portion can be compensated for by the other photographed image. That is, an image similar to that of the article A viewed by the worker W can be displayed. As a result, the worker W can intuitively grasp the article A to be picked.

3.他の実施形態
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。特に、本明細書に書かれた複数の実施形態及び変形例は必要に応じて任意に組み合せ可能である。
ピッキング対象の物品Aへのマーキングとしては、物品A全体ではなく、例えばQRコード40に色を付けたり、光らせたりしてもよい。
撮影画像は、静止画に限定されない。例えば、動画であってもよいし、多数の静止画からなるコマ送り画像であってもよい。
物品を特定するための情報源は、QRコードに限定されない。他の二次元コードであってもよいし、バーコードであってもよい。さらに、物品の表面の模様や文字に基づいて、物品を特定してもよい。
3. Other Embodiments Although one embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment, and various modifications are possible without departing from the gist of the invention. In particular, multiple embodiments and modifications described herein can be arbitrarily combined as needed.
For marking the article A to be picked, instead of the entire article A, for example, the QR code 40 may be colored or illuminated.
A captured image is not limited to a still image. For example, it may be a moving image or a frame-by-frame image consisting of a large number of still images.
A source of information for specifying an article is not limited to the QR code. Other two-dimensional codes or barcodes may be used. Furthermore, the article may be specified based on the pattern or characters on the surface of the article.

物品の種類は特に限定されない。物品は、段ボール箱以外に、各種ケースや箱でもよい。さらに、物品は、コンテナに収納された複数の荷物でもよく、この場合はピッキング指示として荷物の取り出しが含まれる。
前記実施形態では、物品認識は、合成画像に基づいて行われたが、第1撮影画像又は第2撮影画像に基づいて行われてもよい。さらに、物品認識は、合成画像、第1撮影画像、第2撮影画像のうち複数に基づいて行われてもよい。
The type of article is not particularly limited. The articles may be various types of cases and boxes other than cardboard boxes. Further, the item may be a plurality of packages contained in a container, in which case the picking instructions include removal of the packages.
In the above embodiment, article recognition is performed based on the synthesized image, but may be performed based on the first captured image or the second captured image. Furthermore, article recognition may be performed based on a plurality of the composite image, the first captured image, and the second captured image.

第1カメラは、1つのピッキングポイントに対して1台でもよい。
第2カメラは、作業者に取り付けられていなくてもよい。例えば、第2カメラは、作業者エリアの作業コンベヤ寄りに固定されていてもよい。
One first camera may be provided for one picking point.
The second camera does not have to be attached to the operator. For example, the second camera may be fixed near the work conveyor in the worker area.

第2カメラは、1つのピッキングポイントに対して複数台あってもよい。
第2カメラは第1のカメラと同じ種類のカメラ(サイズ、性能)でもよい。
画像合成は、第1カメラによる第1の撮影画像を基準として、作業者によって隠れる部分を第2カメラによる第2の撮影画像によって補完してもよい。
画像合成のためのマーカの数や形状は特に限定されない。
画像合成のための基準は、マーカではなく、パレットPの前面の縁や角部でもよいし、一又は複数の物品Aの縁や角部でもよい。
A plurality of second cameras may be provided for one picking point.
The second camera may be the same type of camera (size, performance) as the first camera.
In the image synthesis, the first image captured by the first camera is used as a reference, and the portion hidden by the worker may be complemented by the second image captured by the second camera.
The number and shape of markers for image synthesis are not particularly limited.
The reference for image synthesis may be the front edge or corner of the pallet P, or the edge or corner of one or a plurality of articles A, instead of the marker.

本発明は、作業者が表示装置に表示された指示に従って物品をピッキングするピッキングシステムに広く適用できる。 INDUSTRIAL APPLICABILITY The present invention can be widely applied to picking systems in which a worker picks an article according to instructions displayed on a display device.

1 :ピッキングステーション
2 :出荷用パレット
3 :供給コンベヤ
5 :作業コンベヤ
5a :ピッキングポイント
7 :搬出コンベヤ
9 :作業者エリア
10A :第1カメラ
10B :第1カメラ
11 :第2カメラ
12 :ベルト
13 :ディスプレイ
40 :QRコード
41A :第1撮影画像
41A1 :部分画像
41B :第1撮影画像
41B1 :部分画像
42 :第2撮影画像
43 :合成画像
44 :合成画像
51 :コントローラ
53 :QRコード処理部
55 :画像処理部
57 :画像形成部
60 :ピッキング指示画像
61 :操作端末
63 :タッチスキャナ
A :物品
P :パレット
W :作業者

Reference Signs List 1: Picking station 2: Shipping pallet 3: Supply conveyor 5: Work conveyor 5a: Picking point 7: Unloading conveyor 9: Worker area 10A: First camera 10B: First camera 11: Second camera 12: Belt 13: Display 40: QR code 41A: First captured image 41A1: Partial image 41B: First captured image 41B1: Partial image 42: Second captured image 43: Synthetic image 44: Synthetic image 51: Controller 53: QR code processor 55: Image processing unit 57 : Image forming unit 60 : Picking instruction image 61 : Operation terminal 63 : Touch scanner A : Goods P : Pallet W : Worker

Claims (6)

作業者がピッキング作業を行うことを支援するピッキングシステムであって、
物品を搬送する供給コンベヤと、
前記供給コンベヤの下流側に接続され、前記作業者がピッキング作業を近傍で行うことができる作業コンベヤと、
前記作業コンベヤの下流側に接続される搬出コンベヤと、
前記作業コンベヤの前記作業者がピッキング作業を行う側に配置され、前記作業コンベヤ上の物品を撮影可能である第1カメラと、
前記作業コンベヤの前記作業者がピッキング作業を行う側において前記作業コンベヤに近接した位置に配置され、前記作業コンベヤ上の物品を撮影可能である第2カメラと、
前記第1カメラによる第1撮影画像と前記第2カメラによる第2撮影画像を合成することによって合成画像を形成する画像合成部と、
前記第1撮影画像、前記第2撮影画像及び前記合成画像の一つ又は複数から物品を認識する物品認識部と、
前記合成画像に前記物品に関連するピッキング情報を重ねることで、ピッキング指示画像を形成する情報追加部と、
前記ピッキング指示画像を表示する表示装置と、
を備えるピッキングシステム。
A picking system that assists a worker in picking work,
a supply conveyor for conveying articles;
a work conveyor connected to the downstream side of the supply conveyor and allowing the worker to perform picking work nearby;
a discharge conveyor connected to the downstream side of the work conveyor;
a first camera disposed on the side of the work conveyor where the worker performs the picking work, and capable of photographing articles on the work conveyor;
a second camera arranged at a position close to the work conveyor on the side of the work conveyor where the worker performs the picking work, and capable of photographing the articles on the work conveyor;
an image synthesizing unit that forms a synthesized image by synthesizing a first image captured by the first camera and a second image captured by the second camera;
an article recognition unit that recognizes an article from one or more of the first captured image, the second captured image, and the combined image;
an information addition unit that forms a picking instruction image by superimposing picking information related to the article on the composite image;
a display device that displays the picking instruction image;
picking system with
前記第2カメラは前記第1カメラより小さい、請求項1に記載のピッキングシステム。 2. The picking system of claim 1, wherein said second camera is smaller than said first camera. 前記第2カメラは、前記作業者の身体又は衣服に取り付け可能な保持部を有しており、前記作業者が携帯可能である、請求項1又は2に記載のピッキングシステム。 3. The picking system according to claim 1, wherein said second camera has a holding portion attachable to said worker's body or clothes, and is portable by said worker. 前記第1カメラは、前記作業者の背よりも高い位置に設けられている、請求項1~3のいずれかに記載のピッキングシステム。 The picking system according to any one of claims 1 to 3, wherein the first camera is provided at a position higher than the height of the worker. 前記第1カメラは、互いに離れて配置され前記作業コンベヤ上の物品を撮影可能である一対のカメラを有している、請求項1~4のいずれかに記載のピッキングシステム。 5. The picking system according to any one of claims 1 to 4, wherein said first camera has a pair of cameras arranged apart from each other and capable of photographing articles on said work conveyor. 前記物品を搭載する物品搭載部材にはマーカが記されており、
前記画像合成部は、前記マーカを基準にして、前記第1撮影画像と前記第2撮影画像を合成する、請求項1~5のいずれかに記載のピッキングシステム。
An article mounting member for mounting the article is marked with a marker,
6. The picking system according to claim 1, wherein said image synthesizing unit synthesizes said first photographed image and said second photographed image with reference to said marker.
JP2019096291A 2019-05-22 2019-05-22 picking system Active JP7238595B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019096291A JP7238595B2 (en) 2019-05-22 2019-05-22 picking system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096291A JP7238595B2 (en) 2019-05-22 2019-05-22 picking system

Publications (2)

Publication Number Publication Date
JP2020189733A JP2020189733A (en) 2020-11-26
JP7238595B2 true JP7238595B2 (en) 2023-03-14

Family

ID=73453324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096291A Active JP7238595B2 (en) 2019-05-22 2019-05-22 picking system

Country Status (1)

Country Link
JP (1) JP7238595B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7512915B2 (en) 2021-01-27 2024-07-09 村田機械株式会社 Assortment system and assortment method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045182A1 (en) 2013-09-30 2015-04-02 楽天株式会社 Warehouse system and delivery work guidance method
JP2017145144A (en) 2017-06-02 2017-08-24 株式会社ダイフク Sorting facility
JP2017202911A (en) 2016-05-12 2017-11-16 学校法人立命館 Picking system
JP2020516565A (en) 2017-04-18 2020-06-11 アラート イノヴェイション インコーポレイテッド Machine vision confirmation of each transfer performed by picking workstation with mobile robot and human operator

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155896B2 (en) * 2018-11-08 2022-10-19 株式会社ダイフク Image recognition system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045182A1 (en) 2013-09-30 2015-04-02 楽天株式会社 Warehouse system and delivery work guidance method
JP2017202911A (en) 2016-05-12 2017-11-16 学校法人立命館 Picking system
JP2020516565A (en) 2017-04-18 2020-06-11 アラート イノヴェイション インコーポレイテッド Machine vision confirmation of each transfer performed by picking workstation with mobile robot and human operator
JP2017145144A (en) 2017-06-02 2017-08-24 株式会社ダイフク Sorting facility

Also Published As

Publication number Publication date
JP2020189733A (en) 2020-11-26

Similar Documents

Publication Publication Date Title
WO2015145982A1 (en) Information processing device, information processing system, distribution system, information processing method, and program storage medium
US9546043B2 (en) Warehouse system
KR101537574B1 (en) Article receiving system, and article receiving and shipment method
KR101823173B1 (en) Operation management apparatus and sorting system with operation management apparatus
JP6245975B2 (en) Article storage auxiliary device and system using AR / VR
JP6496333B2 (en) Article conveying apparatus using at least one sensor
US10438153B2 (en) Warehouse system and picking work guidance method
KR20110027843A (en) Picking system and picking method
US20200273138A1 (en) Multicamera image processing
CN110431093A (en) Seperated robotic article picks place system
JP2014091609A (en) Article information display device
US10532437B2 (en) Production line
JP7459910B2 (en) Image Recognition System
JP7238595B2 (en) picking system
EP3647235B1 (en) Projection indication device, parcel sorting system, and projection indication method
EP3647233B1 (en) Parcel determination device, parcel sorting system, and parcel determination method
JP7140151B2 (en) Automated warehouse system and picking method
JP7151887B2 (en) Picking system and picking system captured image display method
JP2019104625A (en) Arrangement support system, arrangement support method and program
US20200234453A1 (en) Projection instruction device, parcel sorting system, and projection instruction method
JP7443991B2 (en) picking system
JP7375609B2 (en) picking system
JP7194884B2 (en) Luggage sorting system, projection instruction device, projection instruction method
JP7484575B2 (en) Picking System
US11679944B2 (en) Article picking system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R150 Certificate of patent or registration of utility model

Ref document number: 7238595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150