JP6656328B1 - 作業支援装置 - Google Patents

Abstract

【課題】作業の効率化を図る。【解決手段】作業支援装置１は、カメラ３０と、演算装置６１と、プロジェクタ２０とを備える。カメラ３０は、複数の箱５０が置かれた物品棚１０の撮像画像を取得する。演算装置６１は、撮像画像に基づき、複数の箱のうちの第１箱５０−１の位置を特定し、第１箱に対応した表示領域１００−１の位置を決定する。プロジェクタ２０は、表示領域１００に作業者への指示を表示する。また、第１箱５０−１には、マーカー５１が付されてもよい。この場合、演算装置６１は、撮像画像におけるマーカー５１の位置に基づき、第１箱５０−１の位置を特定してもよい。【選択図】図１

Description

本発明は、作業支援装置に関するものである。

作業支援装置は、棚に並べられている様々な物品（例えば、部品や商品）のいずれを取るべきかを作業者に指示する装置であり、生産ラインや物流拠点において広く使用される。一例としては、作業支援装置は、生産ラインにおいて、部品庫（典型的には、部品棚）に蓄積されている様々な部品のうち、対象の製品に組み付けるべき部品及びその個数を作業者に指示するために用いられる。他の例としては、作業支援装置は、物流拠点において、商品庫（典型的には、商品棚）にストックされている様々な商品のうち、対象のシッパー（コンテナ）に収納すべき商品及びその個数を作業者に指示するために用いられる。

作業支援装置は、作業者に指示を与えるための表示デバイスを備えている。作業支援装置の表示デバイスとしては、最も伝統的には、ランプやセグメント表示器が用いられてきたが、近年では、プロジェクタを用いることが提案されている。例えば、橋本 明解 他、「商品物流における仕分け作業支援への複合現実感技術の応用（２）」、第１９回日本バーチャルリアリティ学会大会論文集、２０１４年９月、ｐｐ．５５３−５５６（非特許文献１）は、仕分け作業の支援におけるウェアラブル型のプロジェクタと据置型のプロジェクタのメリットとデメリットについて議論している。

作業支援装置に求められる要求の一つは、作業ミスの防止である。作業ミスの防止のために、様々な機構が提案されている。例えば、特開２００５−１７８１号公報（特許文献１）は、各シッパーに収容された商品の重量を計測し、計測された重量に基づいてシッパーに収納された物品が正しいかを判断するピッキング支援装置を開示している。また、特開２００６−３２１５９０号公報（特許文献２）は、商品棚の間口において作業者の手が通過する位置を、赤外線を用いて検出し、検出した位置が、不適正である場合に警告を発生する構成のピッキング支援装置を開示している。

特開２００５−１７８１号公報 特開２００６−３２１５９０号公報

橋本 明解 他、「商品物流における仕分け作業支援への複合現実感技術の応用（２）」、第１９回日本バーチャルリアリティ学会大会論文集、２０１４年９月、ｐｐ．５５３−５５６

作業支援装置を用いて作業を開始する際には、物品の位置に応じてランプやセグメント表示機の位置、または、プロジェクタによる表示位置を設定する必要がある。このような状況を鑑み、本発明は、作業を効率的に行うための作業支援装置を提供することを目的とする。他の目的については、以下の記載及び実施の形態の説明から理解することができる。

以下に、発明を実施するための形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための形態との対応関係の一例を示すために、参考として、括弧付きで付加されたものである。よって、括弧付きの記載により、特許請求の範囲は、限定的に解釈されるべきではない。

上記目的を達成するため、本発明の第１の態様に係る作業支援装置（１）は、カメラ（３０）と、演算装置（６１）と、プロジェクタ（２０）とを備える。カメラ（３０）は、複数の箱（５０）が置かれた物品棚（１０）の撮像画像を取得する。演算装置（６１）は、撮像画像に基づき、複数の箱のうちの第１箱（５０−１）の位置を特定し、第１箱に対応した表示領域（１００−１）の位置を決定する。プロジェクタ（２０）は、表示領域（１００）に作業者への指示を表示する。

本発明の第２の態様に係る作業支援装置（１）は、センサ（４０）と、演算装置（６１）とを備える。センサ（４０）は、物品を収容する物品棚に設定された監視範囲内の物体の位置を検知する。演算装置（６１）は、第１モードでは、センサの検知結果に基づき、ピッキングにおける作業ミスを検知する。第２モードでは、センサの検知結果に基づき、補充を要求された物品を特定する。

本発明に係る作業支援装置によれば、作業の効率化を図ることができる。

本実施の形態に係る作業支援装置の構成を示す正面図である。 本実施の形態に係る作業支援装置の構成を示す右側面図である。 図１の箱の斜視図である。 図１のカメラが撮像した画像の一例である。 本実施の形態に係る作業支援装置のシステム構成を示す図である。 図５の演算装置に登録されている箱情報の一例である。 箱の位置を演算装置に設定するときの処理を示すフロー図である。 補充すべき物品を報知するときの処理を示すフロー図である。 本実施の形態に係る作業支援装置の構成の一例を示す右側面図である。

図１に示すように、本実施の形態に係る作業支援装置１は、物品棚１０と、プロジェクタ２０と、カメラ３０と、センサ４０とを備える。物品棚１０は、床Ｆの上に設置され、上下方向に並べて配置された複数の棚１１（第１棚１１−１、第２棚１１−２、第３棚１１−３、第４棚１１−４、第５棚１１−５）を備える。理解を容易にするため、直交座標系を用いて説明する。棚１１の前端の延びる方向をｘ_１方向とする。ｘ_１方向に直交し、床Ｆに平行な方向をｙ_１方向とする。物品棚１０の上下方向をｚ_１方向とする。なお、物品棚１０の前側とは、図２に示すように、人が作業している方向を指す。

下から３段の棚１１（第１棚１１−１、第２棚１１−２、第３棚１１−３）には、物品を収容する複数の箱５０が置かれている。箱５０が置かれた棚１１には、箱５０の落下を防止するため、バー１２が設けられている。また、箱５０を、バー１２に接するように置くことで、各棚１１において、直線状に配置することができる。

また、箱５０が置かれた棚１１に隣接する上方の棚１１には、前端、つまり−ｙ_１方向の端に、ｘ_１方向に延びるスクリーン１３が設けられている。具体的には、第１スクリーン１３−１が、箱５０が置かれた第１棚１１−１に隣接する上方の第２棚１１−２の−ｙ_１方向の端に設けられている。同様に、第２スクリーン１３−２が第３棚１１−３の−ｙ_１方向の端に、第３スクリーン１３−３が第４棚１１−４の−ｙ_１方向の端に、それぞれ設けられている。

また、箱５０が置かれた棚１１（第１棚１１−１、第２棚１１−２、第３棚１１−３）の各々は、図２に示すように、ｙ_１方向に対して、傾いて配置されている。具体的には、ｚ_１方向において、前端（−ｙ_１方向の端）よりも、後端（＋ｙ_１方向の端）が上方に位置するように、箱５０が置かれた棚１１は配置されている。このため、作業者Ｗは、箱５０から物品を取り出しやすい。

各棚１１の前端は、ｚ_１方向から見たときに、最下段の第１棚１１−１から順番に、＋ｙ_１方向に並ぶように配置されている。具体的には、第２棚１１−２の前端は、第１棚１１−１の前端よりも＋ｙ_１方向に配置されている。第３棚１１−３の前端は、第２棚１１−２の前端よりも＋ｙ_１方向に配置されている。第４棚１１−４の前端は、第３棚１１−３の前端よりも＋ｙ_１方向に配置されている。第５棚１１−５の前端は、第４棚１１−４の前端よりも＋ｙ_１方向に配置されている。

また、最上段の第５棚１１−５には、図２に示すように、プロジェクタ２０が設置されている。プロジェクタ２０は、アーム１４を介して、第５棚１１−５に支持されている。アーム１４は、第５棚１１−５の前方に突出して設けられている。言い換えると、プロジェクタ２０は、第５棚１１−５の前端より−ｙ_１方向に設置されている。このため、プロジェクタ２０は、スクリーン１３に投影し、作業者Ｗへの指示を表示する。

作業者Ｗが箱５０に収容されている物品（例えば、部品や商品）を取り出すときに、作業支援装置１は、スクリーン１３に作業者Ｗへの指示（例えば、ピッキングすべき物品の指定）を表示する。作業者Ｗは、スクリーン１３の表示に基づき、指定された物品を箱５０から取出す。例えば、第１箱５０−１に収納された物品を取り出すことを作業者Ｗに指示するとする。ここで、第１箱５０−１は、第３棚１１−３の−ｘ_１方向の端に置かれているとする。この場合、作業支援装置１は、スクリーン１３の領域のうち、第１箱５０−１の上方にある第１表示領域１００−１に、第１箱５０−１に収容された物品と、取り出す数量とを表示する。作業者Ｗは、表示領域１００の中から表示されている第１表示領域１００−１を確認し、第１表示領域１００−１の下方にある第１箱５０−１に収容されている物品を取り出す。このように、作業者Ｗは、作業支援装置１が表示する表示領域１００を確認することで、作業ミスを低減することができる。

また、最上段の第５棚１１−５には、センサ４０が設置されている。センサ４０は、図２に示すように、物品棚１０の前側に設定された監視範囲４１において、手などの物体の位置を検知する。具体的には、箱５０が置かれている棚１１と、これに隣接する上方の棚１１との間で形成される空間の前側に監視範囲４１が設定されている。また、箱５０と、箱５０に隣接する上方の棚１１との間で形成される空間の前側に監視範囲４１が設定されてもよい。

作業者Ｗは、スクリーン１３に表示された指示に従い、第１箱５０−１に収納されている物品を取り出す。このとき、作業者Ｗの手は、監視範囲４１を通過する。この結果、センサ４０は、監視範囲４１を通過する作業者Ｗの手の位置を検知する。この検知結果に基づき、作業支援装置１は、作業者Ｗが指定された第１箱５０−１から物品を取り出しているかを判定することができる。作業支援装置１は、作業者Ｗの手の位置が第１箱５０−１と異なる位置であると判定すると、作業者Ｗに報知する。つまり、作業支援装置１は、作業者Ｗのピッキングにおける作業ミスを検知すると、作業者Ｗに報知する。例えば、プロジェクタ２０がスクリーン１３に赤色を点滅表示することで、作業者Ｗに報知する。物品棚１０はスピーカーを備え、音声により作業者Ｗに報知してもよい。

さらに、作業者Ｗは、第１箱５０−１から指定された数量の物品を取り出した後、第１表示領域１００−１を触る。センサ４０は、第１表示領域１００−１に対応する監視範囲４１において、作業者Ｗの手を検知する。この結果、作業支援装置１は、第１箱５０−１からの取り出し作業が完了したことを判定する。

また、最上段の第５棚１１−５には、カメラ３０が設置されている。カメラ３０は、アーム１５を介して、第５棚１１−５に支持されている。アーム１５も、第５棚１１−５の前方に突出して設けられている。言い換えると、カメラ３０も、第５棚１１−５の前端より−ｙ_１方向に設置されている。

カメラ３０は、箱５０の位置を特定するために、物品棚１０の上方から各棚１１を撮像する。ｚ_１方向から見たときに、各棚１１は、前端が最下段から順番に＋ｙ_１方向に並ぶように、配置されている。このため、カメラ３０は、各棚１１に置かれた箱５０の前端を撮像することができる。また、箱５０は、図３に示すように、上側の四隅の少なくとも１か所に、マーカー５１が付されている。箱５０は、このマーカー５１が棚１１の前方に配置されるように、棚１１に置かれる。このため、カメラ３０は、図４に示すように、各棚１１に置かれた箱５０のマーカー５１を撮像することができる。

カメラ３０が撮像した撮像画像は、棚１１の前端が延びる方向をｘ_２方向とし、これに直交する方向をｙ_２方向として、解析される。ここで、＋ｙ_２方向は、棚１１の前方から後方に向かう方向とする。箱５０の前端にマーカー５１が付されているため、撮像画像において、同じ棚１１に配置された箱５０のマーカー５１は、ｘ_２方向に並ぶ。これにより、作業支援装置１は、棚１１において、箱５０が置かれているｘ_１方向の位置を、ｘ_２方向の位置から特定することができる。また、各棚１１の前端は、ｚ_１方向、つまりカメラ３０の撮像方向から見たときに、＋ｙ_１方向に並ぶように配置されている。このため、撮像画像において、各棚１１の前端は、＋ｙ_２方向に並ぶ。具体的には、撮像画像において、最下段の第１棚１１−１の前端よりも、＋ｙ_２方向に、第１棚１１−１の上方に隣接する第２棚１１−２の前端は位置する。第２棚１１−２の前端よりも、＋ｙ_２方向に、第２棚１１−２の上方に隣接する第３棚１１−３の前端は位置する。このため、第１棚１１−１に置かれている箱５０よりも、第２棚１１−２に置かれている箱５０は、＋ｙ_２方向に位置する。また、第２棚１１−２に置かれている箱５０よりも、第３棚１１−３に置かれている箱５０は、＋ｙ_２方向に位置する。言い換えると、ｙ_２方向において、最下段の第１棚１１−１に置かれている箱５０のマーカー５１が写される領域は、２段目の第２棚１１−２に置かれている箱５０のマーカー５１が写される領域と区別することができる。同様に、ｙ_２方向において、２段目の第２棚１１−２に置かれている箱５０のマーカー５１が写される領域は、３段目の第３棚１１−３に置かれている箱５０のマーカー５１が写される領域と区別することができる。このようにｙ_２方向における箱５０の位置、つまりマーカー５１の位置に基づき、箱５０が置かれている棚１１を特定することができる。

ここで、マーカー５１は、ＡＲマーカー、ＱＲコード（登録商標）など、撮像画像から箱５０を識別するために利用される。このため、カメラ３０の撮像画像に基づき、各箱５０の位置を特定することができる。

次に、作業支援装置１のシステム構成を説明する。作業支援装置１は、図５に示すように、管理端末６０を備える。管理端末６０は、作業支援装置１の動作を制御する。例えば、管理端末６０は、カメラ３０の撮像画像と、センサ４０の検知結果とに基づき、プロジェクタ２０が表示する画像を制御する。管理端末６０は、演算装置６１と、表示装置６２と、入力装置６３と、インターフェース６４とを備える。

インターフェース６４は、カメラ３０と、センサ４０と、プロジェクタ２０とに電気的に接続されている。具体的には、インターフェース６４は、カメラ３０が撮像した画像を示す画像情報をカメラ３０から受信する。また、インターフェース６４は、センサ４０が検知した物体の位置を示す位置情報をセンサ４０から受信する。さらに、インターフェース６４は、プロジェクタ２０に、表示する画像を示す表示情報を送信する。インターフェース６４は、カメラ３０と、センサ４０と、プロジェクタ２０と有線または無線で接続されている。また、作業支援装置１は、作業者Ｗなどに報知する出力装置７０（例えば、スピーカーなど）を備えてもよい。この場合、出力装置７０も同様に、インターフェース６４と電気的に接続されている。

演算装置６１は、作業支援装置１の動作を制御するためのデータ処理を行う。例えば、演算装置６１は、作業者Ｗが取り出すべき物品と、その数量とを指定する指示データを生成する。演算装置６１は、生成した指示データに基づき、作業者Ｗへの指示を所望の位置に表示するための表示情報を生成し、プロジェクタ２０に送信する。

例えば、演算装置６１は、センサ４０の検知結果に基づき、作業者Ｗが指定した物品を取り出しているかを判定する。具体的には、演算装置６１は、センサ４０の検知した位置が、指定した箱５０に対応する領域に含まれるかを判定する。演算装置６１は、センサ４０の検知した位置が指定した箱５０に対応する領域に含まれない場合、作業ミスが発生したと判断し、赤色を点滅表示する表示情報を生成し、プロジェクタ２０に送信する。また、演算装置６１は、作業ミスを示す音声情報を生成し、出力装置７０から警報を出力してもよい。ここで、箱５０に対応する領域は、例えば、監視範囲４１の中の、箱５０の−ｙ_１方向の領域である。また、この領域は、−ｘ_１方向の端が箱５０の−ｘ_１方向の端であり、＋ｘ_１方向の端は箱５０の＋ｘ_１方向の端であり、−ｚ_１方向の端は箱５０の置かれている棚１１であり、＋ｚ_１方向の端はこれに隣接する上方の棚１１でもよい。

また、演算装置６１は、例えば、箱５０の表示領域１００に対応する領域において、センサ４０が物体を検知した場合、物品の取り出しが完了したと判定する。具体的には、作業者Ｗは、物品の取り出しが完了すると、指定した箱５０の上方にある表示領域１００を触る。このため、表示領域１００の−ｙ_１方向の領域において、センサ４０が作業者Ｗの手を検知する。演算装置６１は、センサ４０が検知した位置が、表示している表示領域１００に対応する領域に含まれる場合、作業が完了したと判定する。

表示装置６２は、作業者Ｗへの指示など、管理端末６０が保有する様々なデータを表示する。また、入力装置６３は、演算装置６１に設定するデータなどを入力する。入力装置６３は、例えば、キーボード、マウス、マイクなどが例示される。また、管理端末６０は、汎用のパーソナルコンピュータなどが例示される。

（箱の位置の特定）
作業支援装置１は、カメラ３０の撮像画像により、箱５０の位置を特定することができる。このため、作業支援装置１は、箱５０を配置した後に、カメラ３０の撮像画像を解析することで、各物品が収納された箱５０の位置を特定することができる。

演算装置６１は、図６に示すように、箱５０に付されているマーカー５１と、箱５０の幅、つまりｘ_１方向の長さと、箱５０に収納されている物品を示す物品ＩＤと、箱５０に対応した表示領域１００の範囲を関連付けた箱情報２００が登録されている。この箱情報２００は、表示領域１００の範囲を除き、入力装置６３から予め登録される。

作業支援装置１が箱５０の位置を特定するための動作を説明する。図１に示すように、スクリーン１３に、箱５０の位置を設定するための設定要求領域１１０が設けられている。作業者Ｗは、箱５０の位置を変更した場合、設定要求領域１１０を触る。設定要求領域１１０は、表示領域１００に含まれない領域である。設定要求領域１１０には、表示領域１００と区別するための画像が表示されている。

作業者Ｗが設定要求領域１１０を触ると、センサ４０は設定要求領域１１０の−ｙ_１方向において、作業者Ｗの手を検知する。演算装置６１は、図７に示すように、センサ４０の検知結果に基づき、箱５０の設定要求が入力されたと判断する（ステップＳ１１０：Ｙｅｓ）。具体的には、演算装置６１は、センサ４０が検知した位置が、設定要求領域１１０の−ｙ_１方向である場合に、設定要求が入力されたと判断する。演算装置６１は、センサ４０が検知した位置が設定要求領域１１０に対応した空間でない場合、設定要求が入力されていないと判断する（ステップＳ１１０：Ｎｏ）。

演算装置６１は、設定要求が入力されると、カメラ３０から撮像画像を取得する（ステップＳ１２０）。例えば、演算装置６１は、カメラ３０に対して撮像する指令を示す撮像信号を送信する。カメラ３０は、撮像信号に基づき、物品棚１０を撮像し、撮像画像を演算装置６１に送信する。また、カメラ３０は、常時撮像してもよい。この場合、演算装置６１は、設定要求が入力されたときに撮像された撮像画像を取得する。

カメラ３０の撮像画像には、図４に示すように、各箱５０に付されたマーカー５１が含まれている。このため、演算装置６１は、マーカー５１の位置から、マーカー５１が付された箱５０の位置を特定する（ステップＳ１３０）。具体的には、演算装置６１は、撮像画像において、各棚１１のｙ_２方向の範囲を特定する。カメラ３０が物品棚１０に固定されているため、各棚１１のｙ_２方向の範囲は、予め入力装置６３から登録されていてもよい。次に、演算装置６１は、最下段に設けられている第１棚１１−１の範囲において、マーカー５１を検出する。演算装置６１は、ｘ_２方向において、マーカー５１が検出された位置に基づき、第１棚１１−１における箱５０の位置を特定する。さらに、演算装置６１は、箱情報２００から、検出したマーカー５１を検索し、対応する箱５０の幅と、物品ＩＤとを抽出する。ここで、箱５０の幅が取得されるため、ｘ_１方向における箱５０の両端を特定することができる。次に、演算装置６１は、第２棚１１−２の範囲、第３棚１１−３の範囲においても、同様にマーカー５１を検出し、箱５０の位置を特定する。このように、演算装置６１は、ｙ_２方向における箱５０の位置、つまりマーカー５１の位置に基づき、箱５０が置かれている棚１１を特定する。また、演算装置６１は、ｘ_２方向における箱５０の位置、つまりマーカー５１の位置に基づき、各棚１１におけるｘ_１方向の位置を特定する。

演算装置６１は、特定した箱５０の位置に基づき、箱５０に対応した表示領域１００を決定する（ステップＳ１４０）。具体的には、演算装置６１は、表示領域１００の−ｘ_１方向の端を箱５０の−ｘ_１方向の端に決定し、表示領域１００の＋ｘ_１方向の端を、箱５０の＋ｘ_１方向の端に決定する。演算装置６１は、ｚ_１方向においては、箱５０が置かれている棚１１の上方に隣接して設けられているスクリーン１３の範囲を、表示領域１００として決定する。箱情報２００に、決定した表示領域１００が登録される。

演算装置６１は、すべての箱５０の位置を特定し、表示領域１００を決定すると、作業者Ｗに設定作業が完了したことを報知する（ステップＳ１５０）。例えば、設定要求領域１１０に触ると設定要求領域１１０への表示が消え、設定作業が完了したときに設定要求領域１１０が表示されてもよい。また、出力装置７０に含まれるスピーカーにより、設定作業が完了したことを示す音声が出力されてもよい。このとき、演算装置６１は、設定作業が完了したことを示す表示情報や音声情報を生成し、生成した表示情報や音声情報をプロジェクタ２０や出力装置７０に送信する。言い換えると、演算装置６１は、プロジェクタ２０の表示や出力装置７０の出力を制御する制御信号を生成し、送信する。

以上のように、作業支援装置１は、箱５０の位置を変更しても、箱５０の位置を管理端末６０に入力装置６３から登録することなく、設定作業を完了することができる。また、箱５０を新たに配置する場合も、同様に処理することができる。このように、箱５０の移動を容易にし、作業の効率化を図ることができる。なお、作業支援装置１は、プロジェクタ２０が作業者Ｗへの指示を表示するときに、取り出すべき物品を箱情報２００から検索し、対応する表示領域１００を抽出する。抽出した表示領域１００に作業者Ｗへの指示を表示する表示情報がプロジェクタ２０に送信される。

（物品の補充）
作業者Ｗは、箱５０に収納されている物品の数が少なくなると、その物品を補充する。このため、図１に示すように、スクリーン１３に、物品の補充を要求するための補充要求領域１２０が設けられている。作業者Ｗは、箱５０に収納されている物品の数が少なくなると、補充要求領域１２０に触る。その後、作業者Ｗは、物品の少ない箱５０に対応した表示領域１００を触り、再度、補充要求領域１２０を触る。これにより、作業支援装置１は、補充すべき物品を取得し、出力装置７０を用いて、他の作業者に報知する。

作業者Ｗが補充要求領域１２０に触ると、センサ４０は、作業者Ｗの手を、補充要求領域１２０の−ｙ_１方向において検知する。演算装置６１は、図８に示すように、センサ４０の検知結果に基づき、物品の補充要求が入力されたと判断する（ステップＳ２１０：Ｙｅｓ）。具体的には、演算装置６１は、センサ４０が検知した位置が、補充要求領域１２０の−ｙ_１方向である場合に、補充要求が入力されたと判断する。演算装置６１は、センサ４０が検知した位置が補充要求領域１２０に対応した空間でない場合、補充要求が入力されていないと判断する（ステップＳ２１０：Ｎｏ）。

演算装置６１は、補充要求が入力されると、プロジェクタ２０の表示が変更される（ステップＳ２２０）。例えば、すべての表示領域１００を認識できる画像を示す画像情報を生成し、プロジェクタ２０に送信する。例えば、すべての表示領域１００が青色となる画像を示す画像情報を生成する。これにより、作業支援装置１は、補充を要求するモードに切り替えられたことを作業者Ｗに報知する。また、すべての表示領域１００に、対応する箱５０に収容されている物品の名称を表示してもよい。

作業者Ｗは、補充すべき物品が収容されている箱５０に対応した表示領域１００を触る。このため、センサ４０は、作業者Ｗの手の位置を検知する。演算装置６１は、センサ４０が検知した位置を取得する（ステップＳ２３０：Ｙｅｓ）。センサ４０が検知した位置は表示領域１００に対応した空間であるため（ステップＳ２４０：その他）、演算装置６１は補充すべき物品を特定する（ステップＳ２６０）。このため、演算装置６１は、箱情報２００から表示領域１００を検索し、対応する物品ＩＤを抽出する。抽出した物品ＩＤが示す物品が補充を要求された物品として特定される。作業支援装置１は、特定された物品に対応する表示領域１００の色を変化させる。つまり、演算装置６１は、特定された物品が収納されている箱５０に対応した表示領域１００の色を変化させた画像を示す画像情報を生成し、プロジェクタ２０に送信する。これにより、プロジェクタ２０は、要求された物品に対応した箱５０の表示領域１００の色を変化させた画像を表示する。これにより、作業者Ｗは、要求した物品を確認することができる。

作業者Ｗは、さらに補充すべき物品がある場合、他の表示領域１００を触る。同様に、センサ４０が作業者Ｗの手の位置を検知し、演算装置６１は補充すべき物品を特定する。また、作業支援装置１は、要求された箱５０の表示領域１００の色を変化させる。

作業者Ｗは、補充すべき物品をすべて選択すると、補充要求領域１２０を触る。このため、センサ４０は、作業者Ｗの手を、補充要求領域１２０の−ｙ_１方向において検知する。センサ４０が検知した位置は補充要求領域１２０に対応した空間であるため（ステップＳ２４０：補充要求）、演算装置６１は、補充すべき物品の一覧情報を生成し、出力装置７０に送信する（ステップＳ２５０）。言い換えると、演算装置６１は、出力装置７０を制御する制御信号を送信する。出力装置７０は、補充すべき物品の一覧を表示し、他の作業者に報知する。出力装置７０は、補充すべき物品の一覧情報を受信したときに、アラームが鳴ってもよい。また、演算装置６１は、補充を要求する前にプロジェクタ２０が表示していた画像を示す画像情報を生成し、プロジェクタ２０に送信する。これにより、作業支援装置１は、作業者Ｗに、補充を要求するモードから通常のモードに切り替えられたことを報知する。

上記実施の形態では、ｙ_１方向において、各棚１１の前端が最下段から順番に並び、カメラ３０の撮像方向がｚ_１方向である例を示したが、これに限定されない。カメラ３０の撮像画像を用いて、箱５０が置かれている位置を特定できればよく、任意の方式を選択することができる。例えば、ｙ_１方向において、各棚１１の前端が同じ位置であっても、図９に示すように、カメラ３０の撮影方向がｚ_１方向から傾いていればよい。言い換えると、カメラ３０の撮影方向から見たときに、各棚１１の前端が、前端の延びる方向に直交する方向に、カメラ３０から近い棚１１から順に並んでいればよい。これにより、カメラ３０は、各棚１１の前端を撮像することができる。

また、演算装置６１が、撮像画像において、箱５０のｙ_２方向の位置に基づき、箱５０の置かれている棚１１を特定する例を示したが、これに限定されない。演算装置６１が、箱５０の置かれている棚１１を特定することができれば、任意の方法を選択することができる。例えば、演算装置６１は、撮像画像に写されたマーカー５１の大きさにより、棚１１を特定してもよい。マーカー５１の大きさが同じ場合、箱５０の位置がカメラ３０から離れると、撮像画像に写されたマーカー５１の大きさは小さくなる。また、マーカー５１のｘ_１方向の長さに基づき、箱５０が置かれている棚１１が特定されてもよい。

上記実施の方法では、スクリーン１３が棚１１の前端に設けられている例を示したが、これに限定されない。スクリーン１３は、箱５０に対応する表示領域１００を表示できればよく、任意に選択することができる。例えば、箱５０に設けられてもよい。

また、監視範囲４１が物品棚１０の前側に設定されている例を示したが、これに限定されない。センサ４０の検知結果に基づき、演算装置６１が、作業者Ｗが手を伸ばす箱５０を特定できればよく、任意の方法を選択することができる。

ピッキング作業終了時などに、スクリーン１３に触れたことを、センサ４０で検知する例を示したが、これに限定されない。例えば、スクリーン１３がタッチセンサを備えてもよい。この場合、スクリーン１３は、物体が触れると、その位置を検出し、検出結果を演算装置６１に送信する。また、スクリーン１３に、ピッキング作業終了時に押下する複数のスイッチを設けてもよい。演算装置６１は、押下されたスイッチの位置を特定し、ピッキング作業が終了したことを判断する。また、作業者Ｗが物品を取り出した後に触る領域を、表示領域１００と異なる１つまたは複数の領域に設けてもよい。なお、設定要求領域１１０と、補充要求領域１２０とについても同様に、スイッチやタッチセンサを用いてもよい。

以上において説明した処理は一例であり、各ステップの順番、処理内容は、機能を阻害しない範囲で変更してもよい。また、説明した構成は、機能を阻害しない範囲で、任意に変更してもよい。例えば、箱５０が置かれる棚１１の段数は、任意に選択することができる。また、箱５０の位置を特定するために、撮像画像における各棚１１の範囲からマーカー５１を検出する例を示したが、これに限定されない。例えば、最初にマーカー５１の位置を検出し、検出したマーカー５１のｙ_２方向の位置から箱５０が置かれている棚１１を特定してもよい。また、カメラ３０を用いて箱５０の位置を特定する場合、作業支援装置１はカメラ３０と演算装置６１とを備えればよい。また、補充すべき物品を特定する場合、作業支援装置１はセンサ４０と演算装置６１とを備えればよい。また、作業支援装置１は、箱５０から物品を取り出す作業を例に説明したが、これに限定されない。例えば、物品を取り出す作業を、物品を収容する作業に置き換えることで、物品を収容する作業に作業支援装置１を適用することができることを理解できよう。

１ 作業支援装置
１０ 物品棚
１１ 棚
１１−１ 第１棚
１１−２ 第２棚
１１−３ 第３棚
１１−４ 第４棚
１１−５ 第５棚
１２ バー
１３ スクリーン
１３−１ 第１スクリーン
１３−２ 第２スクリーン
１３−３ 第３スクリーン
１４ アーム
１５ アーム
２０ プロジェクタ
３０ カメラ
４０ センサ
４１ 監視範囲
５０ 箱
５０−１ 第１箱
５１ マーカー
６０ 管理端末
６１ 演算装置
６２ 表示装置
６３ 入力装置
６４ インターフェース
７０ 出力装置
１００ 表示領域
１００−１ 第１表示領域
１１０ 設定要求領域
１２０ 補充要求領域
２００ 箱情報
Ｆ 床
Ｗ 作業者

Claims (5)

1. 複数の箱が置かれた物品棚の撮像画像を取得するカメラと、
   前記撮像画像に基づき、前記複数の箱のうちの第１箱の位置を特定し、前記第１箱に対応した表示領域の位置を決定する演算装置と、
   前記表示領域に作業者への指示を表示するプロジェクタと、
   前記物品棚に設定された監視範囲内の物体の位置を検知するセンサと、
   を備え、
   前記第１箱には、マーカーが付され、
   前記撮像画像には、前記マーカーが写され、
   前記演算装置は、
   前記マーカーと、前記第１箱に収容されている第１物品の情報とを関連づけて保持し、
   前記マーカーに基づき、前記第１物品が収容されている前記第１箱の位置を特定し、
   前記第１物品の情報に基づき、前記表示領域に表示する表示情報を生成し、
   前記プロジェクタは前記表示情報に基づき前記表示領域に表示し、
   前記演算装置は、
   第１モードでは、前記センサの検知結果に基づき、ピッキングにおける作業ミスを検知し、
   第２モードでは、
   前記センサの検知結果に基づき、前記物体により示された前記第１箱を特定し、
   前記第１箱に収容されている前記第１物品を、補充が要求された物品として特定する
   作業支援装置。
2. 前記演算装置は、前記第１モードのときに、前記センサが前記監視範囲内の第１領域において、前記物体を検知すると、前記第１モードから前記第２モードに切り替える
   請求項１に記載の作業支援装置。
3. 前記演算装置は、前記第２モードのときに、前記センサが前記第１領域において、前記物体を検知すると、前記第２モードから前記第１モードに切り替える
   請求項２に記載の作業支援装置。
4. 前記演算装置は、前記第２モードに切り替えられたことを示す画像情報を前記プロジェクタに送信する
   請求項１から３のいずれか１項に記載の作業支援装置。
5. 物品を収容する物品棚に設定された監視範囲内の物体の位置を検知するセンサと
   演算装置と、
   を備え、
   前記物品棚には、第１物品を収容する第１箱が置かれ、
   前記演算装置は、
   前記第１箱に収容されている前記第１物品の情報を保持し、
   第１モードでは、前記センサの検知結果に基づき、ピッキングにおける作業ミスを検知し、
   第２モードでは、
   前記センサの検知結果に基づき、前記物体により示された前記第１箱を特定し、
   前記第１箱に収容されている前記第１物品を、補充が要求された物品として特定する
   作業支援装置。
   

Images