JP6678790B1

JP6678790B1 - Work support device

Info

Publication number: JP6678790B1
Application number: JP2019029283A
Authority: JP
Inventors: 多田　潔; 潔多田; 豪佐藤; 克己朝倉
Original assignee: Aioi Systems Co Ltd
Current assignee: Aioi Systems Co Ltd
Priority date: 2019-02-21
Filing date: 2019-02-21
Publication date: 2020-04-08
Anticipated expiration: 2039-02-21
Also published as: JP2020132375A

Abstract

【課題】作業の効率化を図る。【解決手段】作業支援装置１は、カメラ３０と、演算装置６１と、プロジェクタ２０とを備える。カメラ３０は、マーカー５１が付された複数の箱５０が置かれた物品棚１０の撮像画像を撮像する。演算装置６１は、撮像画像に写されたマーカー５１の位置に基づき、複数の箱５０のうちの第１箱５０−１の位置を特定し、第１箱５０−１に対応した表示領域１００−１の位置を決定する。プロジェクタ２０は、表示領域１００に作業者への指示を表示する。マーカー５１は、箱５０の幅に応じた長さを有する。【選択図】図１PROBLEM TO BE SOLVED: To improve work efficiency. A work support device 1 includes a camera 30, a calculation device 61, and a projector 20. The camera 30 captures a captured image of the article shelf 10 on which a plurality of boxes 50 with markers 51 are placed. The arithmetic device 61 specifies the position of the first box 50-1 of the plurality of boxes 50 based on the position of the marker 51 shown in the captured image, and displays the display area 100-corresponding to the first box 50-1. Determine the position of 1. The projector 20 displays an instruction to the worker in the display area 100. The marker 51 has a length corresponding to the width of the box 50. [Selection diagram] Fig. 1

Description

本発明は、作業支援装置に関するものである。 The present invention relates to a work support device.

作業支援装置は、棚に並べられている様々な物品（例えば、部品や商品）のいずれを取るべきかを作業者に指示する装置であり、生産ラインや物流拠点において広く使用される。一例としては、作業支援装置は、生産ラインにおいて、部品庫（典型的には、部品棚）に蓄積されている様々な部品のうち、対象の製品に組み付けるべき部品及びその個数を作業者に指示するために用いられる。他の例としては、作業支援装置は、物流拠点において、商品庫（典型的には、商品棚）にストックされている様々な商品のうち、対象のシッパー（コンテナ）に収納すべき商品及びその個数を作業者に指示するために用いられる。 The work support device is a device for instructing an operator on which of various articles (for example, parts or goods) to be taken on a shelf, and is widely used in a production line or a distribution base. As an example, the work support apparatus instructs a worker on a production line, out of various parts accumulated in a parts warehouse (typically, a parts shelf), a part to be assembled to a target product and the number of parts to be assembled. Used to As another example, at a distribution base, the work support device is configured to store, among various products stocked in a merchandise store (typically, a merchandise shelf), a product to be stored in a target shipper (container) and a product thereof. It is used to indicate the number to the operator.

作業支援装置は、作業者に指示を与えるための表示デバイスを備えている。作業支援装置の表示デバイスとしては、最も伝統的には、ランプやセグメント表示器が用いられてきたが、近年では、プロジェクタを用いることが提案されている。例えば、橋本明解他、「商品物流における仕分け作業支援への複合現実感技術の応用（２）」、第１９回日本バーチャルリアリティ学会大会論文集、２０１４年９月、ｐｐ．５５３−５５６（非特許文献１）は、仕分け作業の支援におけるウェアラブル型のプロジェクタと据置型のプロジェクタのメリットとデメリットについて議論している。 The work support device includes a display device for giving an instruction to a worker. Most traditionally, a lamp or a segment display has been used as a display device of the work support apparatus, but in recent years, it has been proposed to use a projector. For example, Akira Hashimoto et al., "Application of Mixed Reality Technology to Sorting Support in Merchandise Distribution (2)", Proceedings of the 19th Annual Meeting of the Virtual Reality Society of Japan, September 2014, pp. 553-556 (Non-Patent Document 1) discusses advantages and disadvantages of a wearable projector and a stationary projector in support of a sorting operation.

作業支援装置に求められる要求の一つは、作業ミスの防止である。作業ミスの防止のために、様々な機構が提案されている。例えば、特開２００６−３２１５９０号公報（特許文献１）は、商品棚の間口において作業者の手が通過する位置を、赤外線を用いて検出し、検出した位置が、不適正である場合に警告を発生する構成のピッキング支援装置を開示している。また、特許５４４１３９３号公報（特許文献２）は、作業者の手が通過する位置を、間口近傍に投光した光の反射光を用いて検出するピッキングシステムを開示している。 One of the requirements for a work support device is to prevent work mistakes. Various mechanisms have been proposed to prevent operation errors. For example, Japanese Unexamined Patent Application Publication No. 2006-321590 (Patent Literature 1) detects, using infrared rays, a position where a worker's hand passes in the frontage of a product shelf, and warns when the detected position is inappropriate. Discloses a picking support device configured to generate the following. Japanese Patent Application Laid-Open No. 5443933 (Patent Document 2) discloses a picking system that detects a position through which a worker's hand passes by using reflected light of light emitted near the frontage.

特開２００６−３２１５９０号公報JP 2006-321590 A 特許第５４４１３９３号公報Japanese Patent No. 5443933

橋本明解他、「商品物流における仕分け作業支援への複合現実感技術の応用（２）」、第１９回日本バーチャルリアリティ学会大会論文集、２０１４年９月、ｐｐ．５５３−５５６Akira Hashimoto et al., "Application of Mixed Reality Technology to Sorting Support in Merchandise Distribution (2)", Proceedings of the 19th Annual Meeting of the Virtual Reality Society of Japan, September 2014, pp. 553-556

作業支援装置を用いて作業を開始する際には、物品の位置に応じてランプやセグメント表示器の位置の調整、または、プロジェクタによる表示位置の調整などの様々な設定を行う必要がある。このような状況に鑑み、本発明は、作業を効率的に行うための作業支援装置を提供することを目的とする。他の目的については、以下の記載及び実施の形態の説明から理解することができる。 When starting work using the work support device, it is necessary to perform various settings such as adjusting the position of a lamp or a segment display or adjusting the display position of a projector according to the position of an article. In view of such a situation, an object of the present invention is to provide a work support device for performing work efficiently. Other objects can be understood from the following description and the description of the embodiments.

以下に、発明を実施するための形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための形態との対応関係の一例を示すために、参考として、括弧付きで付加されたものである。よって、括弧付きの記載により、特許請求の範囲は、限定的に解釈されるべきではない。 Hereinafter, means for solving the problems will be described using numbers and reference numerals used in the embodiments for carrying out the invention. These numbers and symbols are added in parentheses for reference in order to show an example of the correspondence between the description of the claims and the embodiment for carrying out the invention. Therefore, the appended claims should not be construed as limiting the scope of the appended claims.

上記目的を達成するための一実施の形態おける作業支援装置（１）は、カメラ（３０）と、演算装置（６１）と、プロジェクタ（２０）とを備える。カメラ（３０）は、マーカー（５１）が付された複数の箱（５０）が置かれた物品棚（１０）の撮像画像を撮像する。演算装置（６１）は、撮像画像に写されたマーカーの位置に基づき、複数の箱のうちの第１箱（５０−１）の位置を特定し、第１箱に対応した表示領域（１００−１）の位置を決定する。プロジェクタ（２０）は、表示領域（１００）に作業者への指示を表示する。マーカー（５１）は、箱（５０）の幅に応じた長さを有する。 A work support device (1) according to an embodiment for achieving the above object includes a camera (30), a calculation device (61), and a projector (20). The camera (30) captures an image of the article shelf (10) on which a plurality of boxes (50) with markers (51) are placed. The arithmetic unit (61) specifies the position of the first box (50-1) of the plurality of boxes based on the position of the marker captured in the captured image, and displays the display area (100-100) corresponding to the first box. Determine the position of 1). The projector (20) displays an instruction for an operator in a display area (100). The marker (51) has a length corresponding to the width of the box (50).

上記目的を達成するための一実施の形態における作業支援装置（１）は、カメラ（３０）と、演算装置（６１）とを備える。カメラ（３０）は、複数の箱（５０）が置かれた物品棚（１０）の撮像画像を撮像する。演算装置（６１）は、撮像画像に基づき、複数の箱のうち、作業者が物品を取り出す箱を特定する。 A work support device (1) according to an embodiment for achieving the above object includes a camera (30) and a calculation device (61). The camera (30) captures a captured image of the article shelf (10) in which a plurality of boxes (50) are placed. The arithmetic unit (61) specifies a box from which a worker takes out an article among a plurality of boxes based on the captured image.

本発明に係る作業支援装置によれば、作業の効率化を図ることができる。 According to the work support device of the present invention, work efficiency can be improved.

一実施の形態における作業支援装置の構成を示す正面図である。It is a front view showing the composition of the work support device in one embodiment. 一実施の形態における作業支援装置の構成を示す右側面図である。It is a right side view showing the composition of the work supporting device in one embodiment. 図１の箱の斜視図である。It is a perspective view of the box of FIG. 図１のカメラが撮像した画像の一例である。2 is an example of an image captured by the camera in FIG. 1. 一実施の形態における作業支援装置のシステム構成を示す図である。FIG. 1 is a diagram illustrating a system configuration of a work support device according to an embodiment. 演算装置が箱の位置を特定するときの処理を示すフローチャートである。It is a flowchart which shows the process when an arithmetic unit specifies the position of a box. 図５の演算装置に登録されている箱情報の一例である。It is an example of box information registered in the arithmetic unit of FIG. 作業者が物品を取り出すときに、カメラが撮像した画像の一例である。5 is an example of an image captured by a camera when an operator takes out an article. 演算装置が作業ミスを検知するときの処理を示すフローチャートである。It is a flowchart which shows a process when an arithmetic unit detects a work error. 演算装置が作業ミスを検知するときの処理を示すフローチャートである。It is a flowchart which shows a process when an arithmetic unit detects a work error. 作業者が物品を取り出すときに、カメラが撮像した画像の一例である。5 is an example of an image captured by a camera when an operator takes out an article. 一実施の形態における作業支援装置の構成を示す右側面図である。It is a right side view showing the composition of the work supporting device in one embodiment.

図１に示すように、本実施の形態に係る作業支援装置１は、物品棚１０と、プロジェクタ２０と、カメラ３０とを備える。物品棚１０は、床Ｆの上に設置され、上下方向に並べて配置された複数の棚１１（第１棚１１−１、第２棚１１−２、第３棚１１−３、第４棚１１−４、第５棚１１−５）を備える。理解を容易にするため、直交座標系を用いて作業支援装置１を説明する。棚１１の前端の延びる方向をｘ_１方向とする。ｘ_１方向に直交し、床Ｆに平行な方向をｙ_１方向とする。物品棚１０の上下方向をｚ_１方向とする。なお、物品棚１０の前側とは、図２に示すように、人が作業している方向を指す。 As shown in FIG. 1, the work support device 1 according to the present embodiment includes an article shelf 10, a projector 20, and a camera 30. The article shelf 10 is installed on the floor F and includes a plurality of shelves 11 (first shelf 11-1, second shelf 11-2, third shelf 11-3, fourth shelf 11-3) arranged vertically. -4, fifth shelf 11-5). For easy understanding, the work support device 1 will be described using a rectangular coordinate system. The direction of extension of the front end of the shelf 11 and x ₁ direction. orthogonal to the x ₁ direction and a direction parallel to the floor F and y ₁ direction. The vertical direction of the article shelf 10 and _{z 1} direction. Note that the front side of the article shelf 10 refers to the direction in which a person is working, as shown in FIG.

下方に設けられた３つの棚１１（第１棚１１−１、第２棚１１−２、第３棚１１−３）には、物品を収容する複数の箱５０が置かれている。箱５０が置かれた棚１１には、箱５０の落下を防止するため、バー１２が設けられている。また、箱５０を、バー１２に接するように置くことで、各棚１１において、直線状に配置することができる。 A plurality of boxes 50 for storing articles are placed on three shelves 11 provided below (first shelf 11-1, second shelf 11-2, and third shelf 11-3). A bar 12 is provided on the shelf 11 on which the box 50 is placed in order to prevent the box 50 from dropping. In addition, by arranging the box 50 so as to be in contact with the bar 12, the box 50 can be linearly arranged on each shelf 11.

また、箱５０が置かれた棚１１（第１棚１１−１、第２棚１１−２、第３棚１１−３）の各々は、図２に示すように、ｙ_１方向に対して、傾いて配置されている。具体的には、ｚ_１方向において、前端（−ｙ_１方向の端）よりも、後端（＋ｙ_１方向の端）が上方に位置するように、箱５０が置かれた棚１１は配置されている。このため、作業者Ｗは、箱５０から物品を取り出しやすい。 Further, the box 50 is placed shelves 11 (first shelf 11-1, second shelf 11-2, third shelf 11-3) each, as shown in FIG. 2, with respect to _{y 1} direction, It is arranged at an angle. Specifically, in the z ₁ direction, the front end than the (-y ₁ direction end), a shelf 11 that the rear end (+ y ₁ direction end) is positioned above the box 50 is placed is arranged ing. Therefore, the worker W can easily take out the article from the box 50.

各棚１１の前端は、ｚ_１方向から見たときに、最下段の第１棚１１−１から順番に、＋ｙ_１方向に並ぶように配置されている。具体的には、第２棚１１−２の前端は、第１棚１１−１の前端よりも＋ｙ_１方向に配置されている。第３棚１１−３の前端は、第２棚１１−２の前端よりも＋ｙ_１方向に配置されている。第４棚１１−４の前端は、第３棚１１−３の前端よりも＋ｙ_１方向に配置されている。第５棚１１−５の前端は、第４棚１１−４の前端よりも＋ｙ_１方向に配置されている。 The front end of each shelf 11, when viewed from the z ₁ direction, are arranged in order from the first stage 11-1 of the bottom, so as to be aligned in + y ₁ direction. Specifically, the front end of the second shelf 11-2 is arranged in + _{y 1} direction from the front end of the first shelf 11-1. The front end of the third shelf 11-3 is arranged in + _{y 1} direction from the front end of the second shelf 11-2. Front end of the fourth shelf 11-4 is arranged in + _{y 1} direction from the front end of the third shelf 11-3. Front end of the 5 shelf 11-5 is arranged in + _{y 1} direction from the front end of the fourth shelf 11-4.

また、箱５０が置かれた棚１１に隣接する上方の棚１１には、前端、つまり−ｙ_１方向の端に、ｘ_１方向に延びるスクリーン１３が設けられている。具体的には、第１スクリーン１３−１が、箱５０が置かれた第１棚１１−１に隣接する上方の第２棚１１−２の−ｙ_１方向の端に設けられている。同様に、第２スクリーン１３−２が第３棚１１−３の−ｙ_１方向の端に、第３スクリーン１３−３が第４棚１１−４の−ｙ_１方向の端に、それぞれ設けられている。 Above the rack 11 adjacent to the rack 11 of the box 50 is placed, the front end, in other words -y ₁ direction of the end, the screen 13 extending in the x ₁ direction. More specifically, the first screen 13-1 is provided in the -y ₁ direction of the end of the second shelf 11-2 upward adjacent to the first shelf 11-1 the box 50 is placed. Similarly, the second screen 13-2 -y ₁ direction of the end of the third shelf 11-3, third screen 13-3 in the -y ₁ direction of the end of the fourth shelf 11-4, respectively provided ing.

また、最上段の第５棚１１−５には、図２に示すように、プロジェクタ２０が設置されている。プロジェクタ２０は、アーム１４を介して、第５棚１１−５に支持されている。アーム１４は、第５棚１１−５の前方に突出して設けられている。言い換えると、プロジェクタ２０は、第５棚１１−５の前端より−ｙ_１方向に設置されている。 Further, a projector 20 is installed on the fifth shelf 11-5 at the top as shown in FIG. The projector 20 is supported on the fifth shelf 11-5 via the arm 14. The arm 14 is provided to protrude forward of the fifth shelf 11-5. In other words, the projector 20 is installed in the -y ₁ direction from the front end of the fifth shelf 11-5.

プロジェクタ２０は、作業者Ｗへの指示をスクリーン１３に投影して表示する。作業者Ｗが箱５０に収容されている物品（例えば、部品や商品）を取り出すときに、作業支援装置１は、スクリーン１３に作業者Ｗへの指示（例えば、ピッキングすべき物品の指定）を表示する。作業者Ｗは、スクリーン１３の表示に基づき、指定された物品を箱５０から取出す。例えば、第１箱５０−１に収納された物品を取り出すことを作業者Ｗに指示するとする。ここで、第１箱５０−１は、第３棚１１−３の−ｘ_１方向の端に置かれているとする。この場合、作業支援装置１は、スクリーン１３の領域のうち、第１箱５０−１の上方にある第１表示領域１００−１に、第１箱５０−１に収容された物品と、取り出す数量とを表示する。作業者Ｗは、表示領域１００の中から数量が表示されている第１表示領域１００−１を確認し、第１表示領域１００−１の下方にある第１箱５０−１に収容されている物品を取り出す。このように、作業者Ｗは、作業支援装置１が表示する表示領域１００を確認することで、作業ミスを低減することができる。 The projector 20 projects an instruction to the worker W on the screen 13 and displays it. When the worker W takes out an article (for example, a part or a product) stored in the box 50, the work support apparatus 1 displays an instruction to the worker W on the screen 13 (for example, designation of an article to be picked). indicate. The worker W takes out the designated article from the box 50 based on the display on the screen 13. For example, it is assumed that the worker W is instructed to take out the articles stored in the first box 50-1. The first box 50-1 to be laid in the -x ₁ direction of the end of the third shelf 11-3. In this case, the work support device 1 displays, in the first display area 100-1 above the first box 50-1 in the area of the screen 13, the articles stored in the first box 50-1 and the number of pieces to be taken out. And are displayed. The worker W checks the first display area 100-1 in which the quantity is displayed from the display area 100, and is housed in the first box 50-1 below the first display area 100-1. Take out the goods. As described above, the worker W can reduce a work error by checking the display area 100 displayed by the work support device 1.

また、最上段の第５棚１１−５には、カメラ３０が設置されている。カメラ３０は、図２に示すように、アーム１５を介して、第５棚１１−５に支持されている。アーム１５も、第５棚１１−５の前方に突出して設けられている。言い換えると、カメラ３０も、第５棚１１−５の前端より−ｙ_１方向に設置されている。 A camera 30 is installed on the fifth shelf 11-5 at the top. The camera 30 is supported on the fifth shelf 11-5 via the arm 15, as shown in FIG. The arm 15 is also provided so as to protrude forward of the fifth shelf 11-5. In other words, the camera 30 are also installed -y in _one direction from the front end of the fifth shelf 11-5.

作業支援装置１は、カメラ３０が物品棚１０の上方から棚１１を撮像することで、作業者Ｗが取り出した物品が取り出すべき物品と異なるとき、作業者Ｗに作業ミスを報知する。作業者Ｗは、スクリーン１３に表示された指示に従い、第１箱５０−１に収納されている物品を取り出す。このとき、カメラ３０は、物品棚１０の上方から作業者Ｗが物品を取り出すところを撮像する。作業支援装置１は、カメラ３０が撮像した撮像画像に基づき、指定された第１箱５０−１から作業者Ｗが物品を取り出しているかを判定することができる。作業支援装置１は、作業者Ｗが第１箱５０−１と異なる箱５０から物品を取り出していると判定すると、作業者Ｗに作業ミスを報知する。つまり、作業支援装置１は、作業者Ｗのピッキングにおける作業ミスを検知すると、作業者Ｗに作業ミスを報知する。例えば、プロジェクタ２０がスクリーン１３に赤色を点滅表示することで、作業者Ｗに作業ミスを報知する。物品棚１０はスピーカーを備え、音声により作業者Ｗに作業ミスを報知してもよい。作業支援装置１が作業者Ｗの作業ミスを検知する方法は、後述する。 The work support apparatus 1 notifies the worker W of a work error when the article taken out by the worker W is different from the article to be taken out by the camera 30 taking an image of the shelf 11 from above the article shelf 10. The worker W takes out the articles stored in the first box 50-1 according to the instructions displayed on the screen 13. At this time, the camera 30 captures an image of a place where the worker W takes out the article from above the article shelf 10. The work support device 1 can determine whether the worker W is taking out the article from the designated first box 50-1 based on the image captured by the camera 30. When the work support apparatus 1 determines that the worker W has taken out an article from a box 50 different from the first box 50-1, the work support apparatus 1 notifies the worker W of a work error. That is, when detecting a work error in picking by the worker W, the work support device 1 notifies the worker W of the work error. For example, the projector 20 notifies the worker W of a work error by blinking red on the screen 13. The article shelf 10 may include a speaker and notify the worker W of a work error by voice. A method by which the work support device 1 detects a work mistake of the worker W will be described later.

このように、作業支援装置１は、作業者Ｗによるピッキング作業で生じるミスを低減し、効率化を図ることができる。 As described above, the work support device 1 can reduce errors caused by the picking work by the worker W, and can improve efficiency.

また、カメラ３０は、物品棚１０の上方から各棚１１を撮像することで、箱５０の位置を特定する。ｚ_１方向から見たときに、各棚１１は、前端が最下段から順番に＋ｙ_１方向に並ぶように、配置されている。このため、カメラ３０は、各棚１１に置かれた箱５０の前端を撮像することができる。また、箱５０は、図３に示すように、上側の一辺にマーカー５１、例えばバーコードが付されている。マーカー５１は、マーカー５１が付されている箱５０の幅、言い換えるとマーカー５１が付されている辺の長さに応じた長さを有する。例えば、マーカー５１は、マーカー５１が付されている辺の一端から他端までの長さを有する。箱５０は、このマーカー５１が棚１１の前方に配置されるように、棚１１に置かれる。このため、カメラ３０は、図４に示すように、各棚１１に置かれた箱５０のマーカー５１を撮像することができる。作業支援装置１は、カメラ３０が撮像した撮像画像におけるマーカー５１の位置に基づき、箱５０の位置を特定する。作業支援装置１が箱５０の位置を特定する方法は、後述する。 Further, the camera 30 specifies the position of the box 50 by imaging each shelf 11 from above the article shelf 10. when viewed from the z ₁ direction, each shelf 11, as the front end is arranged in the + y ₁ direction from the bottom in order, are disposed. For this reason, the camera 30 can image the front end of the box 50 placed on each shelf 11. Further, as shown in FIG. 3, the box 50 has a marker 51, for example, a bar code, on one side on the upper side. The marker 51 has a width corresponding to the width of the box 50 to which the marker 51 is attached, in other words, the length according to the length of the side to which the marker 51 is attached. For example, the marker 51 has a length from one end to the other end of the side to which the marker 51 is attached. The box 50 is placed on the shelf 11 such that the marker 51 is arranged in front of the shelf 11. Therefore, the camera 30 can image the marker 51 of the box 50 placed on each shelf 11 as shown in FIG. The work support device 1 specifies the position of the box 50 based on the position of the marker 51 in the image captured by the camera 30. A method by which the work support device 1 specifies the position of the box 50 will be described later.

ここで、マーカー５１は、撮像画像から箱５０を識別するために利用される。このため、カメラ３０の撮像画像に基づき、各箱５０の位置を特定することができる。マーカー５１は、箱５０を識別できるものであれば、任意に選択してもよく、例えばＡＲマーカー、ＱＲコード（登録商標）などを含む。 Here, the marker 51 is used to identify the box 50 from the captured image. Therefore, the position of each box 50 can be specified based on the image captured by the camera 30. The marker 51 may be arbitrarily selected as long as it can identify the box 50, and includes, for example, an AR marker and a QR code (registered trademark).

次に、作業支援装置１のシステム構成を説明する。作業支援装置１は、図５に示すように、制御装置６０と、管理端末８０とを備える。制御装置６０は、作業支援装置１の動作を制御する。例えば、制御装置６０は、カメラ３０の撮像画像に基づき、プロジェクタ２０が表示する画像を制御する。制御装置６０は、制御用演算装置６１と、インターフェース６２とを備える。 Next, a system configuration of the work support device 1 will be described. The work support device 1 includes a control device 60 and a management terminal 80 as shown in FIG. The control device 60 controls the operation of the work support device 1. For example, the control device 60 controls an image displayed by the projector 20 based on an image captured by the camera 30. The control device 60 includes a control arithmetic device 61 and an interface 62.

インターフェース６２は、カメラ３０と、プロジェクタ２０と、管理端末８０とに電気的に接続されている。具体的には、インターフェース６２は、カメラ３０が撮像した撮像画像を表す画像情報をカメラ３０から受信する。インターフェース６２は、プロジェクタ２０に、表示する画像を示す表示情報を送信する。また、インターフェース６２は、管理端末８０とデータの送受信を行う。インターフェース６２は、カメラ３０と、プロジェクタ２０と、管理端末８０と有線または無線で接続されている。例えば、インターフェース６２は管理端末８０とＬＡＮ（Local Area Network）を介して接続されている。また、作業支援装置１は、作業者Ｗなどに報知する出力装置７０（例えば、スピーカーなど）を備えてもよい。この場合、出力装置７０も同様に、インターフェース６２と電気的に接続されている。 The interface 62 is electrically connected to the camera 30, the projector 20, and the management terminal 80. Specifically, the interface 62 receives, from the camera 30, image information indicating a captured image captured by the camera 30. The interface 62 transmits display information indicating an image to be displayed to the projector 20. The interface 62 transmits and receives data to and from the management terminal 80. The interface 62 is connected to the camera 30, the projector 20, and the management terminal 80 by wire or wirelessly. For example, the interface 62 is connected to the management terminal 80 via a LAN (Local Area Network). Further, the work support device 1 may include an output device 70 (for example, a speaker or the like) that notifies the worker W or the like. In this case, the output device 70 is also electrically connected to the interface 62.

制御用演算装置６１は、作業支援装置１の動作を制御するためのデータ処理を行う。例えば、制御用演算装置６１は、作業者Ｗが取り出すべき物品と、その数量とを指定する指示データを生成する。制御用演算装置６１は、生成した指示データに基づき、作業者Ｗへの指示を所望の位置に表示するための表示情報を生成し、プロジェクタ２０に送信する。制御用演算装置６１は、例えば中央演算装置（ＣＰＵ；Central Processing Unit）を含む。 The control arithmetic device 61 performs data processing for controlling the operation of the work support device 1. For example, the control arithmetic unit 61 generates instruction data for designating an article to be taken out by the worker W and the quantity thereof. The control arithmetic unit 61 generates display information for displaying an instruction to the worker W at a desired position based on the generated instruction data, and transmits the display information to the projector 20. The control operation device 61 includes, for example, a central processing unit (CPU; Central Processing Unit).

管理端末８０は制御装置６０を管理する。例えば、管理端末８０は、作業支援装置１の動作を制御するために必要な情報を制御装置６０に送信する。また、管理端末８０は、作業支援装置１の状態を制御装置６０から受信し、作業支援装置１の状態を表示する。管理端末８０は、管理用演算装置８１と、表示装置８２と、入力装置８３と、インターフェース８４とを備える。 The management terminal 80 manages the control device 60. For example, the management terminal 80 transmits information necessary for controlling the operation of the work support device 1 to the control device 60. Further, the management terminal 80 receives the state of the work support device 1 from the control device 60 and displays the state of the work support device 1. The management terminal 80 includes a management computing device 81, a display device 82, an input device 83, and an interface 84.

インターフェース８４は、制御装置６０のインターフェース６２に電気的に接続されている。インターフェース８４は作業支援装置１の動作を制御するために必要な情報を制御装置６０のインターフェース６２に送信する。また、インターフェース８４は作業支援装置１の状態を表す情報を制御装置６０のインターフェース６２から受信する。 The interface 84 is electrically connected to the interface 62 of the control device 60. The interface 84 transmits information necessary for controlling the operation of the work support device 1 to the interface 62 of the control device 60. The interface 84 receives information indicating the state of the work support apparatus 1 from the interface 62 of the control device 60.

管理用演算装置８１は、制御装置６０を管理するためのデータ処理を行う。例えば、管理用演算装置８１は、入力装置８３から入力されたデータを制御装置６０に送信する。また、管理用演算装置８１は、作業支援装置１の状態を表す情報を制御装置６０から受信して、表示装置８２に作業支援装置１の状態を表示するためのデータを送信する。 The management computing device 81 performs data processing for managing the control device 60. For example, the management computing device 81 transmits data input from the input device 83 to the control device 60. Further, the management computing device 81 receives information indicating the state of the work support device 1 from the control device 60 and transmits data for displaying the state of the work support device 1 to the display device 82.

表示装置８２は、管理端末８０が保有する様々なデータ、例えば管理用演算装置８１から取得する作業支援装置１の状態を表示する。また、入力装置８３には、制御装置６０に設定するデータなどが入力される。入力装置８３は、例えば、キーボード、マウス、マイクなどが例示される。また、管理端末８０は、汎用のパーソナルコンピュータなどが例示される。 The display device 82 displays various data held by the management terminal 80, for example, the state of the work support device 1 acquired from the management processing device 81. The input device 83 receives data to be set in the control device 60 and the like. The input device 83 is exemplified by, for example, a keyboard, a mouse, and a microphone. The management terminal 80 is, for example, a general-purpose personal computer.

（箱の位置の特定）
作業支援装置１は、カメラ３０の撮像画像により、箱５０の位置を特定することができる。図４に示すように、設定要求マーカー１１０が第４棚１１−４の上方に付されている。設定要求マーカー１１０の上方に作業者Ｗが手を置くと、制御用演算装置６１は箱５０の位置を特定する。設定要求マーカー１１０は、例えばバーコード、ＡＲマーカー、ＱＲコード（登録商標）などが含まれる。 (Identify the position of the box)
The work support apparatus 1 can specify the position of the box 50 based on the image captured by the camera 30. As shown in FIG. 4, a setting request marker 110 is provided above the fourth shelf 11-4. When the worker W places his / her hand above the setting request marker 110, the control arithmetic unit 61 specifies the position of the box 50. The setting request marker 110 includes, for example, a barcode, an AR marker, a QR code (registered trademark), and the like.

制御用演算装置６１は、図６に示すように、ステップＳ１１０において、カメラ３０から撮像画像を取得する。例えば、制御用演算装置６１は、カメラ３０に対して撮像する指令を示す撮像信号を送信する。カメラ３０は、撮像信号に基づき、物品棚１０を撮像し、撮像画像を制御用演算装置６１に送信する。また、カメラ３０は、常時撮像してもよい。この場合、制御用演算装置６１は、設定要求が入力されたときに撮像された撮像画像を取得する。 The control arithmetic unit 61 acquires a captured image from the camera 30 in step S110, as shown in FIG. For example, the control arithmetic unit 61 transmits an imaging signal indicating an instruction to perform imaging to the camera 30. The camera 30 captures an image of the article shelf 10 based on the image capturing signal, and transmits the captured image to the control arithmetic device 61. Further, the camera 30 may always take an image. In this case, the control arithmetic device 61 acquires a captured image captured when the setting request is input.

ステップＳ１２０において、制御用演算装置６１は、設定要求が入力されたかを確認する。設定要求は、図４に示す設定要求マーカー１１０の上方に作業者Ｗの手が置かれると、制御用演算装置６１に入力される。撮像画像には、設定要求マーカー１１０が含まれる。設定要求マーカー１１０の上方に作業者Ｗの手が置かれると、撮像画像において、設定要求マーカー１１０の一部が作業者Ｗの手に隠される。このため、制御用演算装置６１は、撮像画像から設定要求マーカー１１０を検索して、撮像画像に設定要求マーカー１１０が存在しないときに（ステップＳ１２０；ＹＥＳ）、設定要求が入力されたと判定して、ステップＳ１３０の処理に移行する。制御用演算装置６１は、撮像画像に設定要求マーカー１１０が存在するとき（ステップＳ１２０；ＮＯ）、設定要求が入力されていないと判定して、設定要求が入力されるまでステップＳ１１０〜Ｓ１２０を繰り返し、設定要求が入力されるのを待つ。 In step S120, the control arithmetic unit 61 checks whether a setting request has been input. The setting request is input to the control arithmetic unit 61 when the hand of the worker W is placed above the setting request marker 110 shown in FIG. The captured image includes a setting request marker 110. When the hand of the worker W is placed above the setting request marker 110, a part of the setting request marker 110 is hidden in the hand of the worker W in the captured image. Therefore, the control arithmetic unit 61 searches the captured image for the setting request marker 110, and when the captured image does not include the setting request marker 110 (step S120; YES), determines that the setting request has been input. Then, the process proceeds to step S130. When the setting request marker 110 is present in the captured image (step S120; NO), the control arithmetic device 61 determines that the setting request has not been input, and repeats steps S110 to S120 until the setting request is input. Wait for a setting request to be input.

ステップＳ１３０において、制御用演算装置６１はカメラ３０から撮像画像を取得する。ステップＳ１１０と同様の処理のため、説明を省略する。 In step S130, the control arithmetic unit 61 acquires a captured image from the camera 30. Since the processing is the same as that in step S110, the description is omitted.

ステップＳ１４０において、制御用演算装置６１は、マーカー５１の位置から、マーカー５１が付された箱５０の位置を特定する。カメラ３０の撮像画像には、図４に示すように、各箱５０に付されたマーカー５１が含まれている。カメラ３０が撮像した撮像画像は、棚１１の前端が延びる方向をｘ_２方向とし、これに直交する方向をｙ_２方向として、解析される。ここで、＋ｙ_２方向は、棚１１の前方から後方に向かう方向とする。箱５０の前端にマーカー５１が付されているため、撮像画像において、同じ棚１１に配置された箱５０のマーカー５１は、ｘ_２方向に並ぶ。これにより、作業支援装置１は、棚１１において、箱５０が置かれているｘ_１方向の位置を、ｘ_２方向の位置から特定することができる。また、各棚１１の前端は、ｚ_１方向、つまりカメラ３０の撮像方向から見たときに、＋ｙ_１方向に並ぶように配置されている。このため、撮像画像において、各棚１１の前端は、＋ｙ_２方向に並ぶ。 In step S140, the control arithmetic unit 61 specifies the position of the box 50 to which the marker 51 is attached from the position of the marker 51. As shown in FIG. 4, the captured image of the camera 30 includes a marker 51 attached to each box 50. Captured image by the camera 30 is imaged, the direction extending front end of the shelf 11 and x ₂ direction, the direction orthogonal thereto as y ₂ direction, is analyzed. Here, + y ₂ direction is a direction from the front to the rear of the shelf 11. Since the marker 51 is attached to the front end of the box 50, in the captured image, the marker 51 of the box 50 arranged on the same shelf 11, arranged in x ₂ direction. Thus, the work support device 1, in rack 11, the x ₁ direction position the box 50 is placed can be identified from the x ₂ direction position. Further, the front end of each shelf 11, z ₁ direction, that is, when viewed from the imaging direction of the camera 30, are arranged side by side in + y ₁ direction. Therefore, in the captured image, the front end of each shelf 11 is aligned in the + _{y 2} direction.

具体的には、撮像画像において、第１棚１１−１の上方に隣接する第２棚１１−２の前端は、最下段の第１棚１１−１の前端よりも＋ｙ_２方向に位置する。第２棚１１−２の上方に隣接する第３棚１１−３の前端は、第２棚１１−２の前端よりも＋ｙ_２方向に位置する。このため、第２棚１１−２に置かれている箱５０は、第１棚１１−１に置かれている箱５０よりも＋ｙ_２方向に位置する。また、第３棚１１−３に置かれている箱５０は、第２棚１１−２に置かれている箱５０よりも＋ｙ_２方向に位置する。このため、ｙ_２方向において、最下段の第１棚１１−１に置かれている箱５０のマーカー５１が写される領域は、２段目の第２棚１１−２に置かれている箱５０のマーカー５１が写される領域と区別することができる。同様に、ｙ_２方向において、２段目の第２棚１１−２に置かれている箱５０のマーカー５１が写される領域は、３段目の第３棚１１−３に置かれている箱５０のマーカー５１が写される領域と区別することができる。このようにｙ_２方向における箱５０の位置、つまりマーカー５１の位置に基づき、箱５０が置かれている棚１１を特定することができる。 Specifically, in the captured image, the front end of the second shelf 11-2 adjacent above the first shelf 11-1 is located in + _{y 2} direction from the front end of the first shelf 11-1 bottom. The third front end of the shelf 11-3 adjacent to the upper side of the second shelf 11-2 is located in + _{y 2} direction from the front end of the second shelf 11-2. Therefore, the box 50 which is located in the second shelf 11-2 is located in + _{y 2} direction from the box 50 which is located in the first stage 11-1. The third box is placed on a shelf 11-3 50 is located in + _{y 2} direction from the box 50 which is located in the second shelf 11-2. Boxes Therefore, in the y ₂ direction, which is the region where the marker 51 of the box 50 which is placed on the first shelf 11-1 lowermost is photographed is placed in the second shelf 11-2 in the second stage It can be distinguished from the area where the 50 markers 51 are captured. Similarly, in the _{y 2} direction, the region where the marker 51 of that box 50 placed on the second shelf 11-2 in the second stage is photographed is placed on the third shelf 11-3 in the third stage It can be distinguished from the area where the marker 51 of the box 50 is photographed. Thus the position of the box 50 in the y ₂ direction, that based on the position of the marker 51, it is possible to identify the shelf 11 for the box 50 is placed.

例えば、制御用演算装置６１は、撮像画像において、各棚１１のｙ_２方向の範囲を特定する。カメラ３０が物品棚１０に固定されているため、各棚１１のｙ_２方向の範囲は、予め入力装置８３から登録されていてもよい。次に、制御用演算装置６１は、最下段に設けられている第１棚１１−１の範囲において、マーカー５１を検出する。制御用演算装置６１は、ｘ_２方向において、マーカー５１が検出された位置に基づき、第１棚１１−１における箱５０の位置を特定する。さらに、制御用演算装置６１は、図７に示す箱情報２００から検出したマーカー５１を検索し、物品ＩＤを抽出する。物品ＩＤを抽出することで、制御用演算装置６１は、マーカー５１が付された箱５０に収納されている物品を特定することができる。次に、制御用演算装置６１は、第２棚１１−２の範囲、第３棚１１−３の範囲においても、同様にマーカー５１を検出し、箱５０の位置を特定する。このように、制御用演算装置６１は、ｙ_２方向における箱５０の位置、つまりマーカー５１の位置に基づき、箱５０が置かれている棚１１を特定する。また、制御用演算装置６１は、ｘ_２方向における箱５０の位置、つまりマーカー５１の位置に基づき、各棚１１におけるｘ_１方向の位置を特定する。 For example, the control calculation device 61, in the captured image, to identify the y ₂ direction in the range of each shelf 11. Since the camera 30 is fixed to the article shelf 10, y ₂ direction in the range of each shelf 11 may be registered in advance from the input device 83. Next, the control arithmetic unit 61 detects the marker 51 in the range of the first shelf 11-1 provided at the bottom. Controlling calculation device 61, in the _{x 2} direction, based on the position where the marker 51 is detected to identify the position of the box 50 in the first stage 11-1. Further, the control arithmetic unit 61 searches for the detected marker 51 from the box information 200 shown in FIG. 7 and extracts the article ID. By extracting the article ID, the control arithmetic unit 61 can specify the article stored in the box 50 to which the marker 51 is attached. Next, the control arithmetic unit 61 similarly detects the marker 51 in the range of the second shelf 11-2 and the range of the third shelf 11-3, and specifies the position of the box 50. Thus, the control arithmetic unit 61, the position of the box 50 in the y ₂ direction, that based on the position of the marker 51 to identify the shelf 11 for the box 50 is placed. The control calculation device 61, the position of the box 50 in the _{x 2} direction, that based on the position of the marker 51 to identify the _{x 1} direction position in each shelf 11.

ステップＳ１５０において、制御用演算装置６１は、特定した箱５０の位置に基づき、箱５０に対応した表示領域１００を決定する。具体的には、制御用演算装置６１は、表示領域１００の−ｘ_１方向の端を箱５０の−ｘ_１方向の端に決定し、表示領域１００の＋ｘ_１方向の端を、箱５０の＋ｘ_１方向の端に決定する。マーカー５１の長さは、箱５０のｘ_１方向の長さに対応している。このため、制御用演算装置６１は、検出したマーカー５１の長さに応じて、箱５０の−ｘ_１方向の端と、＋ｘ_１方向の端とを決定する。例えば、マーカー５１の−ｘ_１方向の端を箱５０の−ｘ_１方向の端に決定し、マーカー５１の＋ｘ_１方向の端を箱５０の＋ｘ_１方向の端に決定する。これにより、表示領域１００のｘ_１方向の両端を決定することができる。制御用演算装置６１は、表示領域１００のｚ_１方向の両端を、箱５０が置かれている棚１１の上方に隣接して設けられているスクリーン１３の範囲に応じて決定する。例えば、スクリーン１３の＋ｚ_１方向の端が表示領域１００の＋ｚ_１方向の端に、スクリーン１３の−ｚ_１方向の端が表示領域１００の−ｚ_１方向の端に決定される。 In step S150, the control arithmetic unit 61 determines the display area 100 corresponding to the box 50 based on the specified position of the box 50. Specifically, the control calculation device 61, the -x ₁ direction of the box end 50 of the display area 100 -x determined in _one direction of the end, a + _{x 1} direction of the end of the display area 100, box 50 + X Determined at the end in the ₁ direction. The length of the marker 51 corresponds to the length of x ₁ direction of the box 50. Therefore, the control calculation device 61, depending on the length of the detected marker 51, to determine the -x ₁ direction of the end of the box 50, the + x ₁ direction and an end. For example, to determine the -x ₁ direction of the end of the -x ₁ direction of the box end 50 of the marker 51, to determine a + _{x 1} direction of the end marker 51 to the + _{x 1} direction of the end of the box 50. This makes it possible to determine x ₁ opposite ends of the display area 100. Controlling calculation device 61, a z ₁ opposite ends of the display area 100 is determined according to the range of the screen 13 is provided adjacent the upper shelf 11 that the box 50 is placed. For example, + _{z 1} direction of the end of the screen 13 to + _{z 1} direction of the end of the display area 100, -z ₁ direction of the end of the screen 13 is determined in the -z ₁ direction of the end of the display area 100.

制御用演算装置６１は、決定した表示領域１００を記憶する。例えば、制御用演算装置６１は、図７に示すように、箱５０に付されているマーカー５１を表すマーカー情報と、箱５０に収納されている物品を表す物品ＩＤと、箱５０に対応した表示領域１００を表す表示領域情報と、箱５０は配置されている棚１１の位置を表す棚情報と、箱５０が配置されている棚１１において当該箱５０に隣接する箱５０を表す隣接情報と、撮像画像においてマーカー５１が写されている領域を表すマーカー領域情報とを関連付けた箱情報２００を記憶している。マーカー情報と、物品ＩＤとは、入力装置８３から予め登録される。制御用演算装置６１は、決定した表示領域１００の情報を表示領域情報に、箱５０が配置されていると特定した棚１１の情報を棚情報に、箱５０に隣接する箱５０の情報を隣接情報に登録する。 The control arithmetic unit 61 stores the determined display area 100. For example, as shown in FIG. 7, the control arithmetic device 61 is configured to correspond to the marker information indicating the marker 51 attached to the box 50, the article ID indicating the article stored in the box 50, and the box 50. The display area information indicating the display area 100, the shelf information indicating the position of the shelf 11 where the box 50 is arranged, and the adjacent information indicating the box 50 adjacent to the box 50 on the shelf 11 where the box 50 is arranged. And box information 200 that is associated with marker area information indicating an area where the marker 51 is captured in the captured image. The marker information and the article ID are registered in advance from the input device 83. The control arithmetic unit 61 uses the determined information of the display area 100 as the display area information, the information of the shelf 11 that specifies that the box 50 is arranged as the shelf information, and the information of the box 50 adjacent to the box 50 as the adjacent information. Register with information.

ステップＳ１６０において、制御用演算装置６１は、すべての箱５０の位置を特定し、表示領域１００を決定すると、作業者Ｗに設定作業が完了したことを報知する。例えば、設定要求マーカー１１０に手を置くと、スクリーン１３に所定の画像が表示され、設定作業が完了したときに所定の画像が消えてもよい。所定の画像は、任意に選択でき、例えば箱５０を特定する処理を行っていることを示す画像でもよい。また、出力装置７０に含まれるスピーカーから、設定作業が完了したことを示す音声が出力されてもよい。このとき、制御用演算装置６１は、設定作業が完了したことを示す表示情報や音声情報を生成し、生成した表示情報や音声情報をプロジェクタ２０や出力装置７０に送信する。言い換えると、制御用演算装置６１は、プロジェクタ２０の表示や出力装置７０の出力を制御する制御信号を生成し、送信する。 In step S160, the control arithmetic unit 61 specifies the positions of all the boxes 50 and determines the display area 100, and notifies the worker W that the setting operation has been completed. For example, when the user puts his hand on the setting request marker 110, a predetermined image may be displayed on the screen 13, and the predetermined image may disappear when the setting operation is completed. The predetermined image can be arbitrarily selected, and may be, for example, an image indicating that processing for specifying the box 50 is being performed. Further, a sound indicating that the setting operation has been completed may be output from a speaker included in the output device 70. At this time, the control arithmetic unit 61 generates display information and audio information indicating that the setting operation is completed, and transmits the generated display information and audio information to the projector 20 and the output device 70. In other words, the control arithmetic device 61 generates and transmits a control signal for controlling the display of the projector 20 and the output of the output device 70.

以上のように、作業支援装置１は、箱５０の位置を変更しても、箱５０の位置を管理端末８０に入力装置８３から登録することなく、設定作業を完了することができる。また、箱５０を新たに配置する場合も、同様に処理することができる。このように、箱５０の移動を容易にし、作業の効率化を図ることができる。 As described above, even if the position of the box 50 is changed, the work support device 1 can complete the setting operation without registering the position of the box 50 in the management terminal 80 from the input device 83. Also, when the box 50 is newly arranged, the same processing can be performed. Thus, the movement of the box 50 can be facilitated, and the work efficiency can be improved.

（作業ミスの検知）
作業支援装置１は、カメラ３０が撮像した撮像画像により、作業者Ｗが取り出した物品が収容されている箱５０を特定することができる。図８に示すように、作業者Ｗが物品を箱５０から取り出すとき、カメラ３０は作業者Ｗの手２を撮像する。制御用演算装置６１は、撮像画像から作業者Ｗの手２の位置を特定することで、作業者Ｗが取り出した物品が収容されている箱５０を特定することができる。 (Detection of work mistake)
The work support device 1 can specify the box 50 in which the article taken out by the worker W is stored, based on the image captured by the camera 30. As shown in FIG. 8, when the worker W takes out an article from the box 50, the camera 30 takes an image of the hand 2 of the worker W. By specifying the position of the hand 2 of the worker W from the captured image, the control arithmetic device 61 can specify the box 50 in which the article taken out by the worker W is stored.

制御用演算装置６１は、例えば、図９Ａ、９Ｂに示す処理を実行して、作業者Ｗが取り出した物品が収容されている箱５０を特定し、作業ミスの有無を判定する。制御用演算装置６１は、ステップＳ２１０において、カメラ３０から撮像画像を取得する。ステップＳ１１０と同様の処理のため、説明を省略する。 The control arithmetic device 61 executes, for example, the processing shown in FIGS. 9A and 9B to identify the box 50 in which the articles taken out by the worker W are stored, and determine whether there is a work error. The control arithmetic device 61 acquires a captured image from the camera 30 in step S210. Since the processing is the same as that in step S110, the description is omitted.

作業者Ｗは、撮像画像において一部が隠れているマーカー５１が付された箱５０から物品を取り出している。例えば、作業者Ｗが第２箱５０−２に収容されている物品を取り出すときに、作業者Ｗの手２は第２箱５０−２に付された第２マーカー５１−２の上方を通過する。このため、箱５０の上方から撮像される撮像画像は、作業者Ｗが物品を取り出した第２箱５０−２の第２マーカー５１−２の一部が手２に隠れる。このように、一部が隠れているマーカー５１を特定することで、作業者Ｗが取り出した物品が収容されている箱５０を特定することができる。 The worker W has taken out an article from the box 50 to which the marker 51 that is partially hidden in the captured image is attached. For example, when the worker W takes out an article stored in the second box 50-2, the hand 2 of the worker W passes above the second marker 51-2 attached to the second box 50-2. I do. Therefore, in the captured image captured from above the box 50, a part of the second marker 51-2 of the second box 50-2 from which the worker W has taken out the article is hidden in the hand 2. In this way, by specifying the marker 51 that is partially hidden, it is possible to specify the box 50 in which the articles taken out by the worker W are stored.

そこで、ステップＳ２２０において、制御用演算装置６１は、取得した撮像画像に写されているマーカー５１を抽出し、手２などの物体に隠れたマーカー５１があるかを判定する。少なくとも一部が隠れているマーカー５１がないとき（ステップＳ２２０；ＮＯ）、制御用演算装置６１は、作業者Ｗが物品を取り出していないと判定して、処理を終了する。少なくとも一部が隠れているマーカー５１があるとき（ステップＳ２２０；ＹＥＳ）、作業者Ｗが物品を取り出している可能性があると判定して、ステップＳ２３０の処理に移行する。具体的には、制御用演算装置６１は、箱情報２００に登録されているマーカー情報に表された登録マーカーが撮像画像に含まれているかを判定する。制御用演算装置６１は、箱情報２００に登録されているマーカー情報に表された登録マーカーのうち、撮像画像に含まれていない登録マーカーが一部隠れているマーカー５１であると判定する。 Therefore, in step S220, the control arithmetic unit 61 extracts the marker 51 shown in the acquired captured image and determines whether there is a marker 51 hidden by an object such as the hand 2. When there is no marker 51 at least partially hidden (step S220; NO), the control arithmetic unit 61 determines that the worker W has not taken out the article, and ends the processing. When there is a marker 51 that is at least partially hidden (step S220; YES), it is determined that there is a possibility that the worker W has taken out the article, and the process proceeds to step S230. Specifically, the control arithmetic unit 61 determines whether the registered marker represented in the marker information registered in the box information 200 is included in the captured image. The control arithmetic unit 61 determines that among the registered markers represented in the marker information registered in the box information 200, the registered marker that is not included in the captured image is the partially hidden marker 51.

ステップＳ２３０において、制御用演算装置６１は、一部が隠れているマーカー５１が複数存在するかを判定する。一部が隠れているマーカー５１が１つのとき（ステップＳ２３０；ＮＯ）、制御用演算装置６１は、このマーカー５１が付された箱５０を作業者Ｗが取り出している箱５０として特定し、図９Ｂに示すステップＳ２８０の処理に移行する。一部が隠れているマーカー５１が複数存在するとき（ステップＳ２３０；ＹＥＳ）、制御用演算装置６１は、作業者Ｗが物品を取り出している箱５０を特定するために、図９Ａに示すステップＳ２４０の処理に移行する。 In step S230, the control calculation device 61 determines whether there are a plurality of partially hidden markers 51. When the number of the partially hidden marker 51 is one (step S230; NO), the control arithmetic unit 61 identifies the box 50 with the marker 51 as the box 50 taken out by the worker W. The process proceeds to the process in step S280 shown in FIG. 9B. When there are a plurality of partially hidden markers 51 (step S230; YES), the control processing device 61 determines in step S240 shown in FIG. Move to the processing of.

撮像画像において一部が隠されているマーカー５１が付された箱５０が異なる棚１１に存在するとき、上方の棚１１に配置された箱５０が、作業者Ｗが物品を取り出す箱５０である。例えば、図８に示すように、作業者Ｗの手２は、第２棚１１−２に配置された第２箱５０−２から物品を取り出すとき、第１棚１１−１に配置された第３箱５０−３の第３マーカー５１−３の上方を通過する場合がある。このとき、撮像画像において、第２箱５０−２に付された第２マーカー５１−２の一部と、第３箱５０−３に付された第３マーカー５１−３の一部とが手２により隠れる。このため、作業者Ｗが物品を取り出す箱５０は、手２により隠されたマーカー５１が付された箱５０のうち、最も上方の棚１１に配置された箱５０である。 When the box 50 provided with the marker 51 that is partially hidden in the captured image is present on a different shelf 11, the box 50 arranged on the upper shelf 11 is the box 50 from which the worker W takes out the articles. . For example, as illustrated in FIG. 8, when the hand 2 of the worker W takes out an article from the second box 50-2 arranged on the second shelf 11-2, the hand 2 of the worker W is arranged on the first shelf 11-1. It may pass above the third marker 51-3 of the three boxes 50-3. At this time, in the captured image, a part of the second marker 51-2 attached to the second box 50-2 and a part of the third marker 51-3 attached to the third box 50-3 are hand-held. 2 hides. For this reason, the box 50 from which the worker W takes out the articles is the box 50 arranged on the uppermost shelf 11 among the boxes 50 with the markers 51 hidden by the hands 2.

そこで、ステップＳ２４０において、制御用演算装置６１は、一部が隠れているマーカー５１のうち、最も上方（ｚ_１方向）にある棚１１に配置された箱５０に付されたマーカー５１を検出する。制御用演算装置６１は、箱情報２００から一部が隠れているマーカー５１に対応する棚情報を抽出し、このマーカー５１が付されている箱５０が配置されている棚１１を特定する。制御用演算装置６１は、特定した棚１１のうち、最も上方にある棚１１を選択する。一部が隠れているマーカー５１が付された箱５０から、選択した棚１１に配置されている箱５０を抽出することで、最も上方にある棚１１に配置された箱５０を特定することができる。 Therefore, in step S240, the control calculation device 61, of the markers 51 partially hidden, for detecting the uppermost marker 51 attached to a box 50 which is arranged on the shelf 11 in the (z ₁ direction) . The control arithmetic unit 61 extracts shelf information corresponding to the marker 51 that is partially hidden from the box information 200, and specifies the shelf 11 in which the box 50 to which the marker 51 is attached is arranged. The control arithmetic unit 61 selects the uppermost shelf 11 among the identified shelves 11. By extracting the box 50 placed on the selected shelf 11 from the box 50 with the marker 51 partially hidden, it is possible to specify the box 50 placed on the uppermost shelf 11. it can.

ステップＳ２５０において、制御用演算装置６１は、ステップＳ２４０で検出したマーカー５１が複数存在するかを判定する。一部が隠れているマーカー５１のうち、最も上方の棚１１に配置された箱５０のマーカー５１が１つのとき（ステップＳ２５０；ＮＯ）、制御用演算装置６１は、このマーカー５１が付された箱５０を作業者Ｗが物品を取り出している箱５０として特定し、ステップＳ２８０の処理に移行する。一部が隠れているマーカー５１のうち、最も上方の棚１１に配置された箱５０のマーカー５１が複数存在するとき（ステップＳ２５０；ＹＥＳ）、制御用演算装置６１は、作業者Ｗが物品を取り出している箱５０を特定するために、ステップＳ２６０の処理に移行する。 In step S250, the control arithmetic unit 61 determines whether there are a plurality of markers 51 detected in step S240. When the marker 51 of the box 50 arranged on the uppermost shelf 11 is one of the partially hidden markers 51 (step S250; NO), the control arithmetic unit 61 has the marker 51 attached. The box 50 is specified as the box 50 from which the worker W has taken out the article, and the process proceeds to step S280. When there are a plurality of markers 51 of the box 50 arranged on the uppermost shelf 11 among the partially hidden markers 51 (step S250; YES), the control calculation device 61 causes the worker W to remove the article. In order to identify the box 50 that has been taken out, the process proceeds to step S260.

ステップＳ２６０において、制御用演算装置６１は、ステップＳ２４０で検出したマーカー５１が互いに隣接する２つのマーカー５１であるかを判定する。検出したマーカー５１が互いに隣接しないとき（ステップＳ２６０；ＮＯ）、制御用演算装置６１は、作業者Ｗがピッキング作業を行っていないと判定し、処理を終了する。検出したマーカー５１が互いに隣接するとき（ステップＳ２６０；ＹＥＳ）、制御用演算装置６１は、作業者Ｗが物品を取り出している箱５０を特定するために、ステップＳ２７０の処理に移行する。具体的には、制御用演算装置６１は、箱情報２００から検出したマーカー５１に関連付けて登録された隣接情報を抽出する。抽出した隣接情報に基づき、検出されたマーカー５１が互いに隣接する２つのマーカー５１であるかが判定される。 In step S260, the control arithmetic unit 61 determines whether the marker 51 detected in step S240 is two markers 51 adjacent to each other. When the detected markers 51 are not adjacent to each other (Step S260; NO), the control calculation device 61 determines that the worker W is not performing the picking operation, and ends the processing. When the detected markers 51 are adjacent to each other (step S260; YES), the control processing device 61 proceeds to the process of step S270 in order to identify the box 50 from which the worker W is taking out the article. Specifically, the control arithmetic unit 61 extracts the adjacent information registered in association with the detected marker 51 from the box information 200. Based on the extracted adjacent information, it is determined whether the detected marker 51 is two markers 51 adjacent to each other.

検出したマーカー５１が互いに隣接する２つのマーカー５１でないと判定されるとき、例えば、ステップＳ２４０で検出したマーカー５１が３以上のとき、制御用演算装置６１は、作業者Ｗがピッキングを行っていないと判定し、処理を終了する。また、ステップＳ２４０で検出したマーカー５１が２つであっても、この２つのマーカー５１が互いに隣接していないとき、制御用演算装置６１は、作業者Ｗがピッキングを行っていないと判定し、処理を終了する。 When it is determined that the detected markers 51 are not two adjacent markers 51, for example, when the number of the markers 51 detected in step S240 is three or more, the control calculation device 61 determines that the worker W is not picking. Is determined, and the process ends. In addition, even if the number of the markers 51 detected in step S240 is two, when the two markers 51 are not adjacent to each other, the control calculation device 61 determines that the worker W is not picking, The process ends.

ステップＳ２７０において、制御用演算装置６１は、ステップＳ２４０で検出したマーカー５１が付されている箱５０のうち、作業者Ｗが物品を取り出している箱５０を特定できるかを判定する。制御用演算装置６１は、作業者Ｗの手２が隠しているマーカー５１が付された箱５０が、同じ棚１１に複数存在するとき、撮像画像から手２の領域を抽出する。例えば、制御用演算装置６１は、ステップＳ２４０で検出したマーカー５１に基づき、箱情報２００からマーカー領域情報を抽出する。撮像画像において、抽出したマーカー領域情報に表された領域からマーカー５１を隠している物体、例えば手２が抽出される。制御用演算装置６１は、抽出された手２の長手方向がｙ_２方向に対して傾いていないと判断するとき（ステップＳ２７０；ＮＯ）、作業者Ｗが物品を取り出していないとして、処理を終了する。抽出された手２の長手方向がｙ_２方向に対して傾いていると判断するとき（ステップＳ２７０；ＹＥＳ）、制御用演算装置６１は、抽出された手２の長手方向に基づき、作業者Ｗが物品を取り出している箱５０を特定して、ステップＳ２８０の処理に移行する。例えば、制御用演算装置６１は、物体の長手方向が＋ｙ_２方向に平行であるとき、作業者Ｗが箱５０から物品を取り出していないとして、処理を終了する。また、物体の長手方向が＋ｙ_２方向との成す角度が所望の角度以下であるときに、作業者Ｗが箱５０から物品を取り出していないとして、処理を終了してもよい。また、撮像画像において、物体、例えば手２の長手方向が＋ｙ_２方向よりも＋ｘ_２方向に所望の角度以上傾いているとき、＋ｘ_２方向にある箱５０が、作業者Ｗが物品を取り出している箱５０として特定される。物体の長手方向が＋ｙ_２方向に行くに従い−ｘ_２方向に所望の角度以上傾いているとき、−ｘ_２方向にある箱５０が、作業者Ｗが物品を取り出している箱５０として特定される。 In step S270, the control arithmetic unit 61 determines whether the box 50 from which the worker W takes out the article can be specified from among the boxes 50 to which the markers 51 detected in step S240 are attached. When there are a plurality of boxes 50 with the markers 51 hidden by the hands 2 of the worker W on the same shelf 11, the control arithmetic unit 61 extracts the area of the hands 2 from the captured image. For example, the control arithmetic unit 61 extracts marker area information from the box information 200 based on the marker 51 detected in step S240. In the captured image, the object that hides the marker 51, for example, the hand 2, is extracted from the area represented by the extracted marker area information. Controlling calculation device 61, when the longitudinal direction of the extracted hand 2 is determined to be not inclined with respect to the y ₂ direction (step S270; NO), the operator W is not removed articles, the process ends I do. When the longitudinal direction of the extracted hand 2 is judged to be inclined with respect to the y ₂ direction (step S270; YES), the control calculation device 61, based on the longitudinal direction of the extracted hand 2, the worker W Specifies the box 50 from which the article is taken out, and shifts to the process of step S280. For example, the control calculation device 61, when the longitudinal direction of the object is parallel to the + y ₂ direction, the operator W is a not taken out the article from the box 50, the process ends. Further, when the angle between the longitudinal direction + y ₂ direction of the object is less than the desired angle, as the operator W is not taken out the article from the box 50, it may end the process. Further, in the captured image, the object, for example, when the longitudinal direction of the hand 2 + y ₂ than in the direction tilted + x ₂ direction at a desired angle or more, the box 50 in the + x ₂ direction, the operator W takes out the articles Is specified as a box 50. When tilted -x ₂ direction at a desired angle or more in accordance with the longitudinal direction of the object goes to + y ₂ direction, the box 50 in the -x ₂ direction, the worker W is specified as a box 50 are fetched article .

例えば、作業者Ｗの手２は、図１０に示すように、第１棚１１−１に配置された第４箱５０−４から物品を取り出すとき、第４箱５０−４に付された第４マーカー５１−４の上方だけでなく、第４箱５０−４に隣接する第５箱５０−５に付された第５マーカー５１−５の上方を通過する場合がある。この結果、手２が隠しているマーカー５１が付された箱５０は、同じ棚１１に２つ存在する。このとき、作業支援装置１は、手２の傾きを検出する。具体的には、撮像画像において、マーカー５１を隠している物体、つまり手２を抽出し、抽出した物体の傾きを検出する。抽出した物体が、ｙ_２方向に行くに従い、＋ｘ_２方向に傾いている場合、手２が隠しているマーカー５１が付された箱５０のうち、＋ｘ_２方向に配置している箱５０を、作業者Ｗが取り出した物品が収納されている箱５０と特定する。また、抽出した物体が、ｙ_２方向に行くに従い、−ｘ_２方向に傾いている場合、手２が隠しているマーカー５１が付された箱５０のうち、−ｘ_２方向に配置している箱５０を、作業者Ｗが取り出した物品が収納されている箱５０と特定する。 For example, as shown in FIG. 10, the hand 2 of the worker W takes out the fourth box 50-4 attached to the fourth box 50-4 when taking out the article from the fourth box 50-4 arranged on the first shelf 11-1. It may pass not only above the fourth marker 51-4 but also above the fifth marker 51-5 attached to the fifth box 50-5 adjacent to the fourth box 50-4. As a result, two boxes 50 with the markers 51 hidden by the hands 2 are present on the same shelf 11. At this time, the work support device 1 detects the inclination of the hand 2. Specifically, in the captured image, the object that hides the marker 51, that is, the hand 2, is extracted, and the inclination of the extracted object is detected. Extracted object, as it goes in the y ₂ direction, + x ₂ case is inclined in the direction of the box 50 to the marker 51 the hand 2 is hiding is attached, a box 50 which is arranged in + x ₂ direction, Identify the box 50 in which the articles taken out by the worker W are stored. When the extracted object is inclined in the −x ₂ direction as it goes in the y ₂ direction, the extracted object is arranged in the −x ₂ direction in the box 50 with the marker 51 hidden by the hand 2. The box 50 is specified as the box 50 in which the articles taken out by the worker W are stored.

ステップＳ２８０において、制御用演算装置６１は、特定した箱５０が、作業者Ｗに指示している箱５０と同じであるかを判定する。特定した箱５０と、作業者Ｗに指示している箱５０とが同じであるとき（ステップＳ２８０；ＹＥＳ）、制御用演算装置６１は、作業者Ｗが指示している箱５０から物品を取り出していると判定して、処理を終了する。特定した箱５０と、作業者Ｗに指示している箱５０とが異なるとき（ステップＳ２８０；ＮＯ）、制御用演算装置６１は、ステップＳ２９０の処理に移行する。 In step S280, the control arithmetic unit 61 determines whether the specified box 50 is the same as the box 50 instructed to the worker W. When the specified box 50 is the same as the box 50 instructed by the worker W (step S280; YES), the control arithmetic unit 61 takes out the article from the box 50 instructed by the worker W. It is determined that it has been done, and the process ends. When the specified box 50 is different from the box 50 instructed to the worker W (step S280; NO), the control arithmetic unit 61 proceeds to the process of step S290.

ステップＳ２９０において、制御用演算装置６１は、作業者Ｗに作業ミスを報知する。作業者Ｗが指示している箱５０と異なる箱５０から物品を取り出しているため、制御用演算装置６１は、ピッキング作業において、作業ミスが発生したと判定する。制御用演算装置６１は、作業者Ｗに作業ミスが生じていることを知らせるため、作業ミスを報知する信号を生成して、処理を終了する。作業ミスを報知する報知信号は、プロジェクタ２０、出力装置７０などに送信される。プロジェクタ２０、出力装置７０などは、報知信号に基づき、作業者Ｗに作業ミスを報知する。 In step S290, the control arithmetic unit 61 notifies the worker W of a work error. Since the article is taken out of the box 50 different from the box 50 instructed by the worker W, the control arithmetic unit 61 determines that an operation error has occurred in the picking operation. The control arithmetic device 61 generates a signal for notifying the worker W of the work error in order to notify the worker W that the work error has occurred, and ends the processing. A notification signal for notifying a work error is transmitted to the projector 20, the output device 70, and the like. The projector 20, the output device 70, and the like notify the worker W of a work error based on the notification signal.

このように、制御用演算装置６１が図９Ａ、９Ｂに示す処理を行うことで、作業支援装置１は、作業者Ｗによるピッキング作業の作業ミスを抑制することができる。 As described above, by the processing device 61 for control performing the processing shown in FIGS. 9A and 9B, the work support device 1 can suppress the work error of the picking work by the worker W.

制御用演算装置６１は、指定された物品が取り出されたことを確認し、次の指示をスクリーン１３に表示するようにプロジェクタ２０を制御する。図４に示すように、作業完了マーカー１２０が第４棚１１−４の上方に付されている。作業者Ｗは、指定された物品を箱５０から取出したあとに、作業完了マーカー１２０の上方に手２を置く。カメラ３０の撮像画像には、作業完了マーカー１２０が含まれる。作業完了マーカー１２０の上方に手２が置かれると、撮像画像において、作業完了マーカー１２０の一部が手２により隠される。このため、制御用演算装置６１は、撮像画像から作業完了マーカー１２０を検索して、撮像画像に作業完了マーカー１２０が存在しないときに、作業者Ｗが指定された物品を箱５０から取出したと判定する。制御用演算装置６１は、作業者Ｗが指定された物品を箱５０から取り出したと判定すると、次の指示をスクリーン１３に表示するようにプロジェクタ２０を制御する。制御用演算装置６１は、撮像画像に作業完了マーカー１２０が存在するとき、作業者Ｗが指定された物品を箱５０から取り出していないと判定し、撮像画像に作業完了マーカー１２０が存在しなくなるまで待つ。 The control operation device 61 confirms that the specified article has been taken out, and controls the projector 20 so that the next instruction is displayed on the screen 13. As shown in FIG. 4, a work completion marker 120 is provided above the fourth shelf 11-4. After taking out the designated article from the box 50, the worker W places the hand 2 above the work completion marker 120. The captured image of the camera 30 includes the work completion marker 120. When the hand 2 is placed above the work completion marker 120, a part of the work completion marker 120 is hidden by the hand 2 in the captured image. For this reason, the control arithmetic unit 61 searches the captured image for the work completion marker 120, and when the work completion marker 120 does not exist in the captured image, the worker W takes out the specified article from the box 50. judge. When determining that the worker W has taken out the specified article from the box 50, the control arithmetic unit 61 controls the projector 20 to display the next instruction on the screen 13. When the work completion marker 120 is present in the captured image, the control calculation device 61 determines that the worker W has not removed the specified article from the box 50, and until the work completion marker 120 is no longer present in the captured image. wait.

また、制御用演算装置６１は、撮像画像から作業完了マーカー１２０の領域を抽出して、一部が手２などの物体に隠されているかを確認してもよい。この場合、制御用演算装置６１は、作業完了マーカー１２０の一部が物体により隠されているとき、作業者Ｗが指定された物品を箱５０から取出したと判定する。 Alternatively, the control arithmetic unit 61 may extract the area of the work completion marker 120 from the captured image and check whether a part is hidden by an object such as the hand 2. In this case, the control arithmetic unit 61 determines that the worker W has taken out the specified article from the box 50 when a part of the work completion marker 120 is hidden by the object.

（変形例）
マーカー５１は、例えば、作業者Ｗが箱５０から物品を取り出すときに、作業者Ｗの手２がマーカー５１の上方を通過するような長さを有する。例えば、箱５０を隙間なく棚１１に並べるとき、マーカー５１の一端は、箱５０においてマーカー５１が付された一辺の一端と離れていてもよい。例えばマーカー５１の一端と、箱５０においてマーカー５１が付された一辺の一端との距離は、所望の距離、例えば２ｃｍ以下でもよい。 (Modification)
The marker 51 has a length such that the hand 2 of the worker W passes above the marker 51 when the worker W takes out an article from the box 50, for example. For example, when the boxes 50 are arranged on the shelf 11 without any gap, one end of the marker 51 may be separated from one end of one side of the box 50 on which the marker 51 is attached. For example, the distance between one end of the marker 51 and one end of one side of the box 50 to which the marker 51 is attached may be a desired distance, for example, 2 cm or less.

図６に示すステップＳ１２０において、制御用演算装置６１は、撮像された画像から設定要求マーカー１１０の領域を抽出して、一部が手２などの物体に隠されているかを確認してもよい。この場合、制御用演算装置６１は、設定要求マーカー１１０の一部が物体により隠されているとき、設定要求が入力されたと判定する（ステップＳ１２０；ＹＥＳ）。撮像画像における設定要求マーカー１１０の領域は、予め制御用演算装置６１に記憶されている。 In step S120 illustrated in FIG. 6, the control calculation device 61 may extract the region of the setting request marker 110 from the captured image and check whether a part is hidden by an object such as the hand 2. . In this case, when a part of the setting request marker 110 is hidden by the object, the control arithmetic unit 61 determines that the setting request has been input (step S120; YES). The area of the setting request marker 110 in the captured image is stored in the control arithmetic device 61 in advance.

図９Ａに示すステップＳ２２０において、制御用演算装置６１は、マーカー５１が写されている領域を抽出し、一部が隠れたマーカー５１があるかを判定してもよい。制御用演算装置６１は、撮像画像においてマーカー５１が写されている領域を表すマーカー領域情報を箱情報２００から取得して、当該領域を撮像画像から抽出する。抽出した領域に、一部が隠されたマーカー５１があるかを判定する。 In step S220 illustrated in FIG. 9A, the control calculation device 61 may extract an area where the marker 51 is captured, and determine whether there is a marker 51 that is partially hidden. The control arithmetic unit 61 acquires marker area information indicating an area where the marker 51 is captured in the captured image from the box information 200, and extracts the area from the captured image. It is determined whether or not the extracted area includes a marker 51 that is partially hidden.

図９Ａに示すステップＳ２４０において、制御用演算装置６１は、撮像画像において一部が隠れているマーカー５１のｙ_２方向における位置に基づき、最も上方にある棚１１に配置された箱５０を特定してもよい。マーカー５１のｙ_２方向における位置に基づき、一部が隠れているマーカー５１が付された箱５０が配置された棚１１が特定される。制御用演算装置６１は、特定した棚１１に基づき、最も上方の棚１１に配置された箱５０を特定する。例えば、制御用演算装置６１は、ｙ_２方向におけるマーカー５１の位置に基づき、第２箱５０−２と、第３箱５０−３とが配置されている棚１１を特定することができる。このため、作業支援装置１は、作業者Ｗが物品を取り出した箱５０を、より上方の棚１１に配置されている第２箱５０−２に特定することができる。マーカー５１のｙ_２方向における位置は、例えば、箱情報２００からマーカー領域情報を抽出することで取得される。 In step S240 shown in FIG. 9A, the control arithmetic unit 61, based on the position in the y ₂ direction marker 51 that partially hidden in the captured image, to identify the box 50 disposed on the shelf 11 in the uppermost You may. Based on the position in the y ₂ direction marker 51, part of the box 50 which has a marker 51 is attached to hidden shelf 11 arranged is specified. The control arithmetic unit 61 specifies the box 50 arranged on the uppermost shelf 11 based on the specified shelf 11. For example, the control calculation device 61, based on the position of the marker 51 in the _{y 2} direction, and the second box 50-2 can be a third box 50-3 identifies the shelf 11 is located. For this reason, the work support apparatus 1 can specify the box 50 from which the worker W has taken out the article as the second box 50-2 arranged on the shelf 11 above. Position in y ₂ direction marker 51 is, for example, is obtained by extracting the marker area information of the box information 200.

作業支援装置１は、設定要求を入力するための設定要求ボタンを備えてもよい。制御用演算装置６１は、設定要求ボタンが押されることで、図６に示すステップＳ１３０〜Ｓ１６０を実行して、箱５０の位置を特定してもよい。設定要求を入力する方法は、設定要求ボタンに限定されず、任意の方法を選択することができる。 The work support device 1 may include a setting request button for inputting a setting request. The control processing device 61 may specify the position of the box 50 by executing steps S130 to S160 shown in FIG. 6 when the setting request button is pressed. The method for inputting the setting request is not limited to the setting request button, and any method can be selected.

作業支援装置１は、作業完了を入力するための作業完了ボタンを備えてもよい。制御用演算装置６１は、作業完了ボタンが押されることで、作業者Ｗが指定された物品を箱５０から取出したと判定してもよい。作業完了を入力する方法は、作業完了ボタンに限定されず、任意の方法を選択することができる。 The work support device 1 may include a work completion button for inputting work completion. The control computing device 61 may determine that the worker W has taken out the specified article from the box 50 by pressing the work completion button. The method of inputting the work completion is not limited to the work completion button, and any method can be selected.

上記実施の形態では、ｙ_１方向において、各棚１１の前端が最下段から順番に並び、カメラ３０の撮像方向がｚ_１方向である例を示したが、これに限定されない。カメラ３０の撮像画像を用いて、箱５０が置かれている位置を特定できればよく、任意の方式を選択することができる。例えば、ｙ_１方向において、各棚１１の前端が同じ位置であっても、図１１に示すように、カメラ３０の撮影方向がｚ_１方向から傾いていればよい。言い換えると、カメラ３０の撮影方向から見たときに、各棚１１の前端が、前端の延びる方向に直交する方向に、カメラ３０に近い棚１１から順に並んでいればよい。これにより、カメラ３０は、各棚１１の前端を撮像することができる。 In the above embodiment, in the y ₁ direction, the front end of each shelf 11 is arranged in order from the bottom, but the imaging direction of the camera 30 is an example which is z ₁ direction is not limited thereto. It is sufficient that the position where the box 50 is placed can be specified using the image captured by the camera 30, and an arbitrary method can be selected. For example, in the y ₁ direction, even the front end have the same position of each shelf 11, as shown in FIG. 11, the photographing direction of the camera 30 has only to inclined from z ₁ direction. In other words, when viewed from the shooting direction of the camera 30, the front ends of the respective shelves 11 may be arranged in order in a direction perpendicular to the direction in which the front ends extend, starting from the shelves 11 closer to the camera 30. Thereby, the camera 30 can image the front end of each shelf 11.

上記実施の方法では、スクリーン１３が棚１１の前端に設けられている例を示したが、これに限定されない。スクリーン１３は、箱５０に対応する表示領域１００を表示できればよく、任意に選択することができる。例えば、箱５０に設けられてもよい。 In the above embodiment, the example in which the screen 13 is provided at the front end of the shelf 11 has been described, but the present invention is not limited to this. The screen 13 only needs to be able to display the display area 100 corresponding to the box 50, and can be arbitrarily selected. For example, it may be provided in the box 50.

以上において説明した処理は一例であり、各ステップの順番、処理内容は、機能を阻害しない範囲で変更してもよい。また、説明した構成は、機能を阻害しない範囲で、任意に変更してもよい。例えば、箱５０が置かれる棚１１の段数は、任意に選択することができる。また、箱５０の位置を特定するために、撮像画像における各棚１１の範囲からマーカー５１を検出する例を示したが、これに限定されない。例えば、最初にマーカー５１の位置を検出し、検出したマーカー５１のｙ_２方向の位置から箱５０が置かれている棚１１を特定してもよい。また、カメラ３０を用いて箱５０の位置を特定する場合、作業支援装置１はカメラ３０と制御用演算装置６１とを備えればよい。また、カメラ３０を用いて作業者Ｗの作業ミスを検知する場合も、作業支援装置１はカメラ３０と制御用演算装置６１とを備えればよい。また、カメラ３０は、撮像画像を静止画として撮像しても、動画として撮像してもよい。また、作業支援装置１は、箱５０から物品を取り出す作業を例に説明したが、これに限定されない。例えば、物品を取り出す作業を、物品を収容する作業に置き換えることで、物品を収容する作業に作業支援装置１を適用することができることを理解できよう。 The processing described above is an example, and the order of each step and the processing content may be changed within a range that does not impair the function. In addition, the configuration described above may be arbitrarily changed without impairing the function. For example, the number of shelves 11 on which the boxes 50 are placed can be arbitrarily selected. In addition, an example has been described in which the marker 51 is detected from the range of each shelf 11 in the captured image in order to specify the position of the box 50, but the present invention is not limited to this. For example, first detects the position of the marker 51, the box 50 from y ₂ position of the detected marker 51 may identify the shelf 11 is located. When the position of the box 50 is specified using the camera 30, the work support device 1 may include the camera 30 and the control arithmetic device 61. Also, when detecting a work error of the worker W using the camera 30, the work support device 1 may include the camera 30 and the control arithmetic device 61. The camera 30 may capture the captured image as a still image or a moving image. In addition, the work support apparatus 1 has been described with reference to the example of the work of taking out an article from the box 50, but is not limited to this. For example, it can be understood that the work support device 1 can be applied to the work of housing the articles by replacing the work of taking out the articles with the work of housing the articles.

１作業支援装置
２手
１０物品棚
１１棚
１２バー
１３スクリーン
１４アーム
１５アーム
２０プロジェクタ
３０カメラ
５０箱
５１マーカー
６０制御装置
６１制御用演算装置
６２インターフェース
７０出力装置
８０管理端末
８１管理用演算装置
８２表示装置
８３入力装置
８４インターフェース
１００表示領域
１１０設定要求マーカー
１２０作業完了マーカー
２００箱情報
Ｆ床
Ｗ作業者 DESCRIPTION OF SYMBOLS 1 work support apparatus 2 hands 10 goods shelf 11 shelf 12 bar 13 screen 14 arm 15 arm 20 projector 30 camera 50 box 51 marker 60 control device 61 control arithmetic device 62 interface 70 output device 80 management terminal 81 management arithmetic device 82 display Device 83 Input device 84 Interface 100 Display area 110 Setting request marker 120 Work completion marker 200 Box information F Floor W Worker

Claims

A camera that captures an image of an article shelf on which a plurality of boxes with markers are placed,
A computing device that specifies a position of a first box among the plurality of boxes based on a position of the marker captured in the captured image, and determines a position of a display area corresponding to the first box,
And a projector for displaying instructions to the operator in the display area,
The work support device, wherein the marker has a length from one end of the box to another end .

The article shelf has a plurality of shelves in which the plurality of boxes are arranged,
If the direction in which the front ends of the plurality of shelves extend is the first direction,
Each shelf included in the plurality of shelves,
When the front end of each of the shelves is viewed from the imaging direction of the camera, in a second direction orthogonal to the first direction, in order from the shelf close to the camera,
The work support device according to claim 1, which is arranged.

The arithmetic unit includes:
Based on the position of the first box in the first direction, specify the position of the first box in the first direction on each shelf,
The work support device according to claim 2, wherein a shelf on which the first box is placed is specified from the plurality of shelves based on a position of the first box in the second direction.

The arithmetic unit includes:
The work support device according to any one of claims 1 to 3, wherein a second box from which articles are taken out is specified from the plurality of boxes based on the captured image.

The arithmetic unit includes:
The work support device according to claim 4, wherein the second box is specified by detecting the marker that is at least partially hidden from the captured image.

The article shelf has at least one shelf,
In the captured image,
The direction in which the front end of the shelf extends is a third direction,
Assuming that a direction orthogonal to the third direction and going from the front end to the rear end of the shelf is a fourth direction,
The arithmetic unit includes:
The work support device according to claim 5, wherein the second box is specified based on a position in the fourth direction at which the marker at least partially hidden is captured in the captured image.

The arithmetic unit includes:
Detecting the marker at least partially hidden from the captured image,
Based on the captured image, detecting an object hiding the detected marker,
The work support device according to claim 5, wherein the second box is specified based on a longitudinal direction of the object in the captured image.

The article shelf has at least one shelf,
In the captured image,
The direction in which the front end of the shelf extends is a third direction,
Assuming that a direction orthogonal to the third direction and going from the front end to the rear end of the shelf is a fourth direction,
The arithmetic unit includes:
In the captured image, when the longitudinal direction of the object is inclined at a desired angle or more in the third direction than the fourth direction, among the boxes to which the markers at least partially hidden are attached, The work support device according to claim 7, wherein the box in the third direction is specified as the second box.

The arithmetic unit includes:
Search for the registered marker represented in the previously registered marker information from the captured image,
The work support device according to any one of claims 5 to 8, wherein the registered marker that is not present in the captured image specifies that the marker is at least partially hidden.

A camera that captures an image of an article shelf on which a plurality of boxes with markers are placed,
A computing device that specifies a box from which the operator takes out the article, based on the captured image ,
The marker has a length from one end of the box to another end,
The arithmetic unit includes:
Based on the captured image, detecting a first marker at least partially hidden from the marker,
A work support apparatus for specifying a box to which the first marker is attached as a box from which an operator takes out an article .