JP7107364B2 - 案内制御装置および案内制御方法、案内制御システム、プログラム - Google Patents

Description

本発明は、案内制御装置および案内制御方法、案内制御システム、プログラムに関する。

商品配送センタなどの作業現場において、作業者に所定の作業を行うよう案内情報を画面表示する技術が知られている。例えば、配送センタにおいては、商品を配送先毎に個別に仕分けをするために、どの配送先に何の商品を何個配送するかを作業者に案内する案内情報をデジタル表示装置などの所定のモニタに表示する技術が利用されている。特許文献１は、表示器を用いることなく物品の仕分け作業に関する情報（作業指示情報）を表示可能な物品の仕分け設備を開示している。具体的には、ユーザから注文を受けた物品をユーザ注文が割り付けられた集品容器に集めて配送するピッキング設備において、拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）を用いたヘッドマウントディスプレイ（ＨＭＤ）システムに作業指示情報を表示している。

特開２０１５－１２４０５７号公報

上述のように、作業者に対する案内情報を表示する技術では、作業者が作業を行うときに表示装置を用いずに誤りなく作業を精度良く行えるように案内情報を提示する必要がある。商品配送センタなどの作業現場では、複数の作業者が近接した位置で同時に作業を行っており、作業対象物（商品）と作業個所（仕分け容器）との位置関係が複雑となり、作業誤りが発生する可能性がある。また、作業者にヘッドマウントディスプレイを装着すると、作業者に負担をかけることになる。

本発明は、上述の課題を解決するためになされたものであり、作業などの案内情報を提示する案内制御装置および案内制御方法、案内制御システム、プログラムを提供することを目的とする。

本発明の第一態様は、投影装置と通信接続可能な案内制御装置である。案内制御装置は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、対象者が視認可能な第二位置に対応する第二投影範囲に投影して対象者に所定行為の案内を行う案内画像を生成し、対象者特定画像と案内画像とを含む投影画像を投影するよう投影装置を制御する投影制御部を備える。

本発明の第二態様は、投影装置と、投影装置と通信接続可能な案内制御装置とを備えた案内制御システムである。案内制御装置は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、対象者が視認可能な第二位置に対応する第二投影範囲に投影して対象者に所定行為の案内を行う案内画像を生成し、投影装置を制御して、対象者特定画像と案内画像とを含む投影画像を投影する。

本発明の第三態様は、案内制御方法である。案内制御方法は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成し、対象者が視認可能な第二位置に対応する第二投影範囲に投影して対象者に所定行為の案内を行う案内画像を生成し、対象者特定画像と案内画像とを含む投影画像を投影する。

本発明の第四態様は、コンピュータに対して所定の処理過程を実行させるプログラムを記憶した記憶媒体である。所定の処理過程は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成する処理過程と、対象者が視認可能な第二位置に対応する第二投影範囲に投影して対象者に所定行為の案内を行う案内画像を生成する処理過程と、対象者特定画像と案内画像とを含む投影画像を投影する処理過程と、を具備する。

本発明によれば、表示装置を用いることなく、対象者が行う所定行為を特定し、かつ、対象者に所定行為を案内することができる。また、対象者が所定行為を誤りなく精度よく行うことができる。

本発明の一実施形態に係る案内制御システムの全体構成を示す斜視図である。 本発明の一実施形態に係る案内制御システムが適用される作業現場における作業状況を示す平面図である。 本発明の一実施形態に係る案内制御装置のハードウェア構成図である。 本発明の一実施形態に係る案内制御装置の機能ブロック図である。 本発明の一実施形態に係る案内制御装置に適用される端末の処理手順を示すフローチャートである。 本発明の一実施形態に係る案内制御装置による画像投影処理のフローチャートである。 画像投影処理に用いられる各種のデータテーブルの例を示す。 本発明の一実施形態に係る案内制御装置により生成される投影画像の例を示す。 作業者に対する案内画像を含む投影画像の生成処理を示すフローチャートである。 本発明の一実施形態に係る案内制御装置による仕分け作業判定処理を示すフローチャートである。 本発明の一実施形態に係る案内制御装置の最小構成を示すブロック図である。

本発明に係る案内制御装置および案内制御方法について添付図面を参照して説明する。
図１は、本発明の一実施形態に係る作業案内装置１が適用される作業案内システム１００の全体構成を示す斜視図である。作業案内システム１００は、作業案内装置１、プロジェクタ（投影装置）２、カメラ（撮影装置）３、及び端末（管理装置）５を備えている。案内制御装置１は、プロジェクタ２、カメラ３、及び端末５と通信接続されている。プロジェクタ２は、作業者の上方に設置され、下方に向けて画像を投影する。つまり、プロジェクタ２は、案内制御装置１から出力された画像を所定の投影範囲に投影する。カメラ３は、作業者の上方に設置され、下方の所定の撮影範囲に映る画像を撮影して、その撮影画像を案内制御装置１へ送信する。端末５は、作業者により利用される。作業対象物を商品とした場合、案内制御システム１００は、商品配送先としての店舗に商品を配送する配送センタに設置される。

説明の便宜上、図１では、１台のプロジェクタ２と１台のカメラ３が案内制御装置１に通信接続されているが、実際には、案内制御装置１は、複数のプロジェクタ２と複数のカメラ３と通信接続されている。この場合、プロジェクタ２は異なる投影範囲に画像を投影する。また、カメラ３は異なる撮影範囲に映る画像を撮影する。なお、投影装置はプロジェクタに限定されるものではなく、所定の画像を所定位置に投影できるものであればよい。また、撮影装置もカメラに限定されるものではなく、所定の撮影範囲に映る画像を良好な解像度で撮影できるものであればよい。また、管理装置も端末に限定されるものではなく、案内制御装置１に対して所定の指示や情報入力を行えるものであればよい。また、本実施形態では、作業者（対象者）が行う所定行為を店舗宛の商品の仕分け作業として説明しているが、店舗で販売される商品以外の他の物品（例えば、工業製品の組み立てに必要な部品など）を取り扱うようにしてもよい。

配送センタにおいて、作業者は、カート４に乗せた商品かご４１内の商品を所定の配送先に対応する配送かご５１に順次投入するという作業を行う。このとき、案内制御装置１は、所望の配送先の配送かご５１の前の通路床面の第一投影範囲に、その配送かご５１に商品を投入すべき作業者を特定するための対象者特定画像が投影されるようプロジェクタ２を制御する。案内制御装置１は、所望の配送先の配送かご５１の前に止まったカート４を押す作業者が、その配送かご５１に商品を投入すべき作業者である場合に、カート４に取り付けられた案内プレート４２（第二投影範囲）に案内画像４２０が投影されるよう制御する。なお、案内プレート４２は、作業者に対する仕分け作業の案内画像４２０を投影する板状の構造物である。本実施形態では、一例として、案内プレート４２はカート４の上部に取り付けられる。

図２は、配送センタにおける作業状況を示す平面図である。図２は、複数の作業者の作業状況を上方から見た平面図である。図２において、通路６の両側には、異なる配送先の複数の配送かご５１が配送先エリア毎に配置されている。配送かご５１の近傍の通路６の床面には、第１投影範囲６１が位置する。第一投影範囲６１には、作業者を特定する対象者特定画像６１０が投影される。例えば、作業者には、複数の商品や物品（例えば、ひよこ、ぶどう、など）などの予め設定された複数の画像（対象者特定画像６１０）のうち何れかが割り当てられる。案内制御装置１は、作業者に割り当てられた対象者特定画像６１０のうち、所望の配送先に対して配送すべき商品を仕分ける作業者を特定する。案内制御装置１は、作業者に割り当てた対象者特定画像６１０を特定し、配送先の配送かご５１の前の第一投影範囲６１に、その対象者特定画像６１０が投影されるようプロジェクタ２を制御する。案内制御装置１は、カート４に設けられた案内プレート４２に案内画像４２０が投影されるようプロジェクタ２を制御する。

案内制御装置１は、複数の配送先に対応する対象者特定画像６１０と、案内画像４２０とを含む投影画像を生成して、それらの画像に対応する配送かご５１に対応する配送先エリアに設置されたプロジェクタ２に対して投影画像を投影するよう制御する。

図３は、案内制御装置１のハードウェア構成図である。案内制御装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０４、インタフェース１０５、及び通信モジュール１０６を具備する。なお、ＨＤＤ１０３は、ＳＤＤ（ＳｏｌｉｄＳｔａｔｅ Ｄｒｉｖｅ）としてもよい。

図４は、案内制御装置１の機能ブロック図である。案内制御装置１は、ＣＰＵ１０１がＲＯＭ１０２などの記憶部に予め記憶される案内制御プログラムを読み出して実行することにより、機能部１０～１５を実装するものである。すなわち、案内制御装置１は、制御部１０、登録受付部１１、投影制御部１２、作業者認識部１３、行為管理部１４、及び管理情報更新部１５を具備する。制御部１０は、登録受付部１１、投影制御部１２、作業者認識部１３、行為管理部１４、及び管理情報更新部１５を制御する。

登録受付部１１は、対象者（作業者）と、その対象者が行う所定行為（仕分け作業）を示す情報との対応関係の登録を受け付ける。所定行為を示す情報とは、例えば、仕分け作業を行う商品種別と、カート４の商品かご４１に投入する商品の数量などである。投影制御部１２は、対象者特定画像６１０や案内画像４２０を含む投影画像を生成して、その投影画像をプロジェクタ２へ出力する。これにより、プロジェクタ２は配送かご５１近傍の所定エリアに投影画像を投影する。作業者認識部１３は、カメラ３が撮影した画像に基づいて作業者を認識する。行為管理部１４は、作業者が行う仕分け作業をカメラ３の撮影画像に基づいて認識する。管理情報更新部１５は、作業完了の有無に従って作業に関する管理情報を記憶する仕分け管理テーブルを更新する。なお、案内制御装置１は、仕分け管理テーブルを記録したデータベース４０と接続される。

次に、作業者が作業を開始するときに利用する端末５の処理手順について説明する。図５は、端末５の処理手順を示すフローチャートである（ステップＳ１０１～Ｓ１０３）。作業者は、一例として、１種類の商品をカート４に載せた商品かご４１に１個又は複数個投入して、配送センタのフロアに配置された配送かご５１に順次投入して、商品仕分け作業を行う。作業者は、まず、端末５を利用して自身が仕分けを行う商品を登録する。具体的には、端末５のモニタに登録画像が表示されている。登録画像には、氏名選択ボタン、商品選択ボタン、１度にカート４で運ぶ商品の運搬数量選択ボタンなどが表示される。端末５のモニタは、一例として、タッチパネルを備えたディスプレイである。作業者は、端末５のモニタにおいて、作業者自身の氏名、識別情報（ＩＤ）などの作業者識別情報を選択し、商品を選択し、１度にカート４で運ぶ商品の運搬作業を選択する。例えば、作業者は、自身の氏名及びＩＤを選択した後に、複数の異なる商品の中から、「卵」を選択し、１度にカート４で運ぶ卵の運搬数量を「１００」個と選択する。端末５は、作業者の選択した情報（作業者識別情報、商品識別情報、運搬数量など）を取得する（Ｓ１０１）。端末５は、作業者の選択情報に基づいて、商品名「卵」、運搬数量「１００」、作業者識別情報に紐づいて記憶された対象者特定画像６１０（例えば、「ひよこ」の画像）、確認ボタンなどを示す確認画面を生成してモニタに表示する（Ｓ１０２）。なお、対象者特定画像６１０の「ひよこ」は、作業者に対して作業対象物（例えば、商品「卵」）を連想させる画像を意味する。作業者は、対象者特定画像６１０を視認することにより、端末５のモニタに表示される画像が、作業者自身の作業を示すものであることを認識することができる。作業者は、確認画面の表示情報を確認し、作業者自身が行う仕分け作業の対象商品の商品名と運搬数量とが、予め登録した情報と一致した場合、対象者特定画像６１０を認識した上で確認ボタンを操作する。端末５は、確認ボタンの操作を検出すると、作業者氏名に対応する作業者ＩＤ、商品「卵」の商品ＩＤ、卵の運搬数量、作業者ＩＤに対応する対象者特定画像６１０を示す対象者画像ＩＤを含む登録要求を案内制御装置１へ出力する（Ｓ１０３）。作業者は、商品かご４１に卵を１００個投入して、カート４に載せる。作業者は、カート４を押して、配送かご５１が両側に並べられた通路上を移動して、商品「卵」の仕分け作業を行う。

次に、案内制御装置１がプロジェクタ２を制御して投影する画像の処理（画像投影処理）について説明する。図６は、画像投影処理のフローチャートである（Ｓ２０１～Ｓ２０８）。図７は、画像投影処理に使用される各種のデータテーブルの例を示す。
まず、案内制御装置１の登録受付部１１は、端末５から登録要求を受信する（Ｓ２０１）。登録受付部１１は、作業者ＩＤ、仕分け作業の対象商品の商品ＩＤ、運搬数量、対象者画像ＩＤを紐づけてデータベース４０に記憶される仕分け管理テーブルに書き込む（Ｓ２０２）。これにより、作業者が仕分け作業を行う商品に関する情報がデータベース４０に記録される。

図７において、商品配送テーブルは、配送先の店舗の識別情報（店舗ＩＤ）、店舗が配送を希望する商品の識別情報（商品ＩＤ）、店舗が配送を希望する商品の配送数量、仕分け作業完了までの残りの商品の数量（残り仕分け数量）、仕分け作業完了の有無を示すフラグなどを、紐づけて記憶している。また、投影管理テーブルは、配送先の店舗の識別情報（店舗ＩＤ）、その店舗宛の配送かご５１に対応する投影画像の投影位置を示す第一投影範囲６１の座標、その座標に画像を投影するプロジェクタ２の識別情報（プロジェクタＩＤ）を記憶する。投影制御テーブルは、作業者ＩＤ、商品ＩＤ、対象者識別画像ＩＤ、及び店舗ＩＤを記憶する。案内制御装置１は、上述のデータテーブルを生成してＲＡＭ１０３などの記憶部に記憶する。

案内制御装置１の投影制御部１２は、仕分け管理テーブルの記録情報を読み込む。また、投影制御部１２は、商品配送テーブルの記憶情報を読み込む。新たな登録要求が発せられると、投影制御部１２は、登録要求に含まれる仕分け作業の対象商品の商品ＩＤと運搬数量とを取得する。投影制御部１２は、商品配送テーブル上にて商品ＩＤに紐づく残り仕分け数量が「０」となっていない店舗ＩＤを１つ又は複数特定する（Ｓ２０３）。この店舗ＩＤは、登録要求に含まれる商品ＩＤに係る商品の配送先の店舗に相当する。また、投影制御部１２は、登録要求に含まれる作業者ＩＤ、商品ＩＤ、対象者特定画像ＩＤに加えて、１つ又は複数の店舗ＩＤを含む投影制御情報を生成する（Ｓ２０４）。

図８は、案内制御装置１により制御されたプロジェクタ２により投影される投影画像の例を示す。投影画像として、１つ又は複数の店舗宛の配送かご５１の前に位置する第一投影範囲６１に投影される店舗前画像と、カート４の案内プレート４２に投影される案内画像４２０とが存在する。店舗前画像には、１つ又は複数の対象者特定画像６１０が含まれる。投影制御部１２は、投影制御情報を生成して、投影制御情報に基づいて図８に示すような投影画像を生成する。なお、投影画像の投影範囲にカート４の案内プレート４２が含まれていない場合には、投影制御部１２の生成する投影画像には案内画像４２０は含まれない。上述のように、投影画像には複数の店舗宛の配送かご５１の前に位置する第一投影範囲６１に投影される店舗前画像が含まれるため、本実施形態においては、複数の店舗前画像に対応する店舗ＩＤに紐づいて投影画像が記憶される。投影制御部１２は、投影画像に含まれる店舗毎の店舗前画像の範囲を示す座標を店舗ＩＤ毎に記憶している。

投影制御部１２は、投影制御テーブルに記録される投影制御情報を一つ読み込み、その投影制御情報に含まれる店舗ＩＤを取得する（Ｓ２０５）。投影制御部１２は、店舗ＩＤに紐づく投影画像をＲＡＭ１０３などの記憶部から取得する。また、投影制御部１２は、店舗ＩＤに対応する店舗前画像の投影範囲の座標を取得する。投影制御部１２は、対象者特定画像６１０をデータベース４０から取得する。投影制御部１２は、店舗ＩＤで特定される店舗前画像の投影範囲の座標に対応して対象者特定画像６１０を含む投影画像を生成する（Ｓ２０６）。投影制御部１２は、投影画像を記憶する。

投影制御部１２は、投影画像を投影するためのプロジェクタ２を、店舗ＩＤに紐づけて投影管理テーブルに記録されているプロジェクタＩＤに基づいて特定する。投影制御部１２は、プロジェクタＩＤに基づいて、投影画像の送信先のプロジェクタ２のネットワークアドレスを取得する。投影制御部１２は、投影画像をネットワークアドレスで特定されるプロジェクタ２へ送信する（Ｓ２０７）。プロジェクタ２は、投影制御部１２より受信した投影画像を、配送かご５１の前の通路上の所定の投影範囲に投影する。

投影制御部１２は、投影制御情報に他の店舗ＩＤが含まれているか判定する（Ｓ２０８）。投影制御情報に他の店舗ＩＤが含まれている場合、上述の処理により、他の店舗ＩＤに紐づけて投影画像を生成又は更新して、投影制御を行う。また、投影制御部１２は、次の投影制御情報が生成されているか判定してもよい。次の投影制御情報が生成されている場合には、投影制御部１２は、次の投影制御情報に基づいて、投影画像を生成又は更新するような投影制御を繰り返す。投影制御部１２は、案内制御装置１の電源オフなどにより画像投影処理を終了する場合には、投影制御を終了する。

上述のように、案内制御装置１は、対象者特定画像６１０を１つ又は複数含む店舗前画像を生成して、店舗前画像を含む投影画像を複数並べて通路上の第一投影範囲６１に投影する。作業者は、店舗前画像に自身の対象者特定画像６１０が表示されている場合に、所定の店舗宛の配送かご５１に対して商品の仕分け作業を行う必要があることを認識する。例えば、作業者が端末５を用いて仕分け作業の対象商品を「卵」と登録した場合、カート４を通路上で移動して、作業者自身の対象者特定画像６１０が投影された第一投影範囲６１の近傍で停止し、その泰一投影範囲６１に対応する配送かご５１に所定数の卵を投入すればよい。これにより、作業者は、どの店舗に対応する作業を行えばよいかの判断を、床面に投影された対象者特定画像６１０を視認するだけで行うことができ、仕分け作業の効率を向上することができ、仕分け作業の誤りを軽減することができる。

作業者が、自身の対象者特定画像６１０が投影された第一投影範囲６１の前でカート４を停止すると、案内プレート４２には、仕分け作業を行う商品名や店舗かご５１に投入すべき商品の数量を含む案内画像４２０が投影される。

次に、作業者に対する案内画像４２０を含む投影画像の生成処理について説明する。図９は、案内制御装置１による案内画像を含む投影画像の生成処理を示すフローチャートである（ステップＳ３００～Ｓ３０８）。上述の投影制御情報は、作業者が仕分け作業を行う商品の登録完了後に直ちに生成される。一方、案内画像４２０は、商品登録完了後に、作業者が仕分け作業を行うためにカート４を移動して、商品の配送先の店舗に対応する店舗かご５１の前に位置し、カメラ３の撮影範囲に入ったときに、その作業者を検知した案内制御装置１により生成される。

作業者は、カート４を押して通路に入り、店舗かご５１の前の第一投影範囲６１に作業者自身の対象者特定画像６１０が投影されているかを確認しながら移動する。作業者は、通路床面の第一投影範囲６１に作業者自身の対象者特定画像６１０が投影されている場合、その第一投影範囲６１に対応するカート配置位置やその近傍にカート４を停止する。カメラ３は、所定時間間隔（例えば、１秒）で所定の撮影範囲に映る画像を撮影して、その撮影画像を案内制御装置１へ送信している。なお、カメラ３は静止画像ではなく、動画像を案内制御装置１へ送信してもよい。案内制御装置１は、撮影画像又は動画像をカメラ３から受信する。

案内制御装置１の作業者認識部１３は、カメラ３から受信した撮影画像（又は動画像）を取得する（Ｓ３００）。例えば、カメラ３の撮影範囲は、複数の店舗かご５１や、その店舗かご５１の前の通路部分を含んでいる。なお、カメラ３の撮影範囲とプロジェクタ２の投影範囲とは重複していても、重複しなくてもよい。案内制御装置１は、カメラ３の撮影範囲に映る画像の座標と、プロジェクタ２の投影範囲に投影される投影画像の座標や店舗ＩＤとの対応関係をデータベース４０に記憶する。従って、案内制御装置１は、投影画像を更新する場合には、撮影画像の座標により、どの店舗の店舗ＩＤに対応する投影画像を更新するかを認識することができる。

作業者認識部１３は、カメラ３の撮影画像に作業者識別コードが含まれているかを検出する（Ｓ３０１）。作業者識別コードは一例として、カメラ３から撮影できるカート４や案内プレート４２に印字されている。或いは、作業者識別コードは、作業者が身に着ける作業服などのように、カメラ３から撮影できる位置に印字されてもよい。作業者識別コードは、２次元コードや英数字の組み合わせであってもよい。作業者認識部１３は、撮影画像において作業者識別コードを検出すると、その作業者識別コードに紐づいて予め記憶した作業者ＩＤをデータベース４０から取得する。また、作業者認識部１３は、撮影画像中の作業者識別コードの座標を取得する。作業者認識部１３は、撮影画像中の作業者識別コードの座標に対応する店舗ＩＤをデータベース４０から取得する。例えば、作業者認識部１３は、作業者ＩＤと、撮影画像中の作業者識別コードの座標に対応する店舗ＩＤと、それらの識別情報の取得に用いた撮影画像の送信元のカメラ３を示すカメラＩＤと、を含む案内画像生成要求を投影制御部１２へ送出する（Ｓ３０２）。また、作業者認識部１３は、作業者ＩＤと、作業者ＩＤに紐づいて仕分け管理テーブルに記録されている商品ＩＤと、上述の処理で取得した店舗ＩＤと、カメラＩＤと、を含む行為確認要求を行為管理部１４へ送出する（Ｓ３０３）。

投影制御部１２は、案内画像生成要求に含まれるカメラＩＤに対応するカメラ３の撮影画像を取得する。投影制御部１２は、カメラ３の撮影画像に映る案内プレート４２の座標を検出する。投影制御部１２は、案内画像生成要求から店舗ＩＤを取得する。また、投影制御部１２は、カメラ３の撮影画像に映る案内プレート４２の座標に対応するプロジェクタ２を特定する。投影制御部１２は、撮影画像中の案内プレート４２の座標を投影画像中の案内プレート４２の座標に変換して、投影画像内に配置する案内画像４２０の位置を決定する（Ｓ３０４）。

投影制御部１２は、案内画像生成要求から作業者ＩＤと店舗ＩＤとを取得する。投影制御部１２は、作業者ＩＤに紐づいて仕分け管理テーブルに記録されている商品ＩＤを取得する。商品ＩＤは、作業者が店舗かご５１に投入すべき商品を示す情報である。

投影制御部１２は、案内画像生成要求から取得した商品ＩＤと店舗ＩＤとに紐づけて商品配送テーブルに記録された商品の残り仕分け数量を取得する。残り仕分け数量とは、店舗ＩＤが示す店舗に対して仕分けが必要な商品の数量を示す。

投影制御部１２は、作業者ＩＤと商品ＩＤとに紐づいて仕分け管理テーブルに記録された運搬数量を取得する。運搬数量は、作業者ＩＤの示す作業者がカート４で現在運んでいる商品ＩＤの示す商品の数量である。

投影制御部１２は、残り仕分け数量が１以上の値であり、運搬数量が残り仕分け数量以上の値を示す場合には、残り仕分け数量を作業者の仕分け数量と判定する。投影制御部１２は、残り仕分け数量が１以上の値であり、運搬数量が残り仕分け数量未満の値を示す場合には、運搬数量を作業者の仕分け数量と判定する。また、仕分け数量が１以上の場合には、投影制御部１２は作業者ＩＤと、店舗ＩＤと、商品ＩＤと、仕分け数量とを記述した行為情報を生成する（Ｓ３０５）。投影制御部１２は、行為情報をＲＡＭ１０３などの記憶部に記憶する。行為情報は、作業者がどのような仕分け作業を行うべきかを示す情報である。投影制御部１２は、残り仕分け数量が「０」の場合には、仕分け数量がゼロであると判定し、仕分け作業を終了する。

投影制御部１２は、商品ＩＤに対応する商品名と、その商品ＩＤに対応する商品画像と、作業者の仕分け数量とを示す案内画像４２０を生成する（Ｓ３０６）。そして、投影制御部１２は、所定位置に案内画像４２０を配置した投影画像を生成又は更新する（Ｓ３０７）。投影制御部１２は、案内プレート４２の座標に対応するプロジェクタ２のネットワークアドレスを取得し、そのネットワークアドレスに向けて投影画像を送信する（Ｓ３０８）。プロジェクタ２は、投影制御部１２から受信した投影画像を、第一投影範囲６１や案内プレート４２に投影する。なお、案内制御装置１は、上述のステップＳ３００～Ｓ３０８を複数のカメラ３から得た撮影画像に対して並列に実行する。

上述の処理により、カート４に設置された案内プレート４２に案内画像４２０が投影される。案内制御装置１は、案内プレート４２の座標に従って投影画像内に配置する案内画像４２０の位置を決定する。このため、案内プレート４２の位置がカメラ３の撮影範囲に含まれており、かつ、案内プレート４２の撮影画像中の座標に対応するプロジェクタ２の投影範囲中の座標が特定できれば、案内制御装置１は、案内画像４２０が案内プレート４２の位置に投影されるよう位置合わせを行った投影画像を生成することができる。

作業者は、案内プレート４２に投影された案内画像４２０に含まれる商品名と、商品画像と、仕分け数量と、を目視して、作業者自身が運んでいる商品の種類と数量とに齟齬がないか確認し、仕分け数量分の商品を商品かご４１から取り出して店舗かご５１へ投入する。これにより、作業者は、所定の店舗宛の商品の仕分け作業を完了する。その後、作業者は、自身を示す対象者特定画像６１０が床面の通路に映る位置までカート４を移動して、再度、商品の仕分け作業を商品かご４１内の商品が無くなるまで続ける。

案内画像４２０を案内プレート４２に表示することにより、作業者は、作業内容を精度良く認識することができる。また、作業者は、案内画像４２０に従って作業を素早くかつ精度よく行うことができる。なお、案内画像４２０は案内プレート４２に投影する必要はなく、他の床面領域や配送かご５１に投影するようにしてもよい。

案内制御装置１は、作業者が仕分け作業を行ったかどうかの判定と、仕分け作業が行われた場合に仕分け管理テーブルや商品配送テーブルの情報を更新する必要がある。また、作業者認識部１３は、通路床面の第一投影範囲６１に投影された対象者特定画像６１０に対応する作業者の位置が、作業者が運搬する商品の配送を依頼する店舗の位置（すなわち、店舗かご５１の位置）に一致するか判定してもよい。この場合、作業者認識部１３は、カメラ３の撮影画像中の作業者識別コードに対応する作業者ＩＤに紐づいて仕分け管理テーブルに記録された商品ＩＤを取得する。また、作業者認識部１３は、カメラ３の撮影画像中の作業者識別コードの座標に対応する店舗の店舗ＩＤに紐づいて商品配送テーブルに記録される商品ＩＤを取得する。上記の２つの商品ＩＤが一致した場合には、作業者の位置が作業者の運搬する商品の配送依頼する店舗への仕分け作業を行う位置と一致すると判定できる。投影制御部１２は、第一投影範囲６１に投影された対象者特定画像６１０に対応する作業者の位置が仕分け作業を行う位置に一致すると判定された場合に、作業者に仕分け作業を促す案内画像４２０を案内プレート４２（第二投影範囲）に投影するようプロジェクタ２を制御してもよい。

次に、案内制御装置１による作業者が仕分け作業を行ったかを判定する処理（仕分け作業判定処理）について説明する。図１０は、仕分け作業判定処理のフローチャートである（ステップＳ４０１～Ｓ４１４）。
案内制御装置１の行為管理部１４は、作業者認識部１３から送出された行為確認要求を取得する（Ｓ４０１）。また、行為管理部１４は、行為確認要求に含まれるカメラＩＤに対応するカメラ３の撮影画像を作業者認識部１３と同様に取得する（Ｓ４０２）。行為管理部１４は、カメラ３の撮影画像に映る作業者の骨格情報を検出する（Ｓ４０３）。前述のように、カメラ３は上方から作業者を撮影している。撮影画像には作業者の頭部や腕部分が含まれているため、画像解析により作業者の頭部や腕を伸ばした場合の腕の延出方向を検出することができる。行為管理部１４は、骨格情報に基づいて、撮影画像に映る作業者の腕の長さや腕の延出方向をベクトルとして算出する。なお、公知の技術を用いて、物体の大きさや移動方向に係るベクトルを算出することができる。行為管理部１４は、行為確認情報に記録された店舗ＩＤに対応する店舗宛の配送かご５１の座標をデータベースか４０から取得する。行為管理部１４は、作業者の腕の延出方向を示すベクトルと、配送かご５１の座標とに基づいて、腕先端部が配送かご５１の座標の範囲に入ったか否かを判定する（Ｓ４０４）。すなわち、行為管理部１４は、作業者の腕の延出方向のベクトルと作業者の腕の長さで定まる腕先端部（又は、作業者の手部分）が行為確認要求に記録された店舗ＩＤに対応する配送かご５１の座標の範囲に入ったかを判定する。行為管理部１４は、作業者の腕先端部が行為確認要求に記録された店舗ＩＤに対応する配送かご５１の座標の範囲に入ったと判定して、仕分け作業が完了したと判定する（Ｓ４０５）。なお、行為管理部１４は、作業者の身体の一部が所定行為に関する位置の所定範囲に入ったかどうかにより作業の完了を判定するが、上述の判定は行為管理部１４の判定処理の一態様である。ステップＳ４０４の判定結果が「ＮＯ」の場合、行為管理部１４は、作業者の上での延出方向のベクトルと配送かご５１の座標に基づいて、作業者の腕先端部が他の配送かご５１の座標の範囲に入ったか否かを判定する（Ｓ４０６）。すなわち、行為管理部１４は、上述のベクトルと作業者の腕の長さで定まる腕先端部が行為確認要求に含まれる店舗ＩＤに対応する配送かご５１以外の他の店舗宛の配送かご５１の座標の範囲に入ったか否かを判定する。ステップＳ４０６の判定結果が「ＮＯ」の場合、処理フローはステップＳ４０１に戻り、行為管理部１４は仕分け作業完了と判定しない。

ステップＳ４０４の判定結果が「ＹＥＳ」の場合、行為管理部１４は、仕分け作業完了と判定し（Ｓ４０５）、行為確認要求に含まれる作業者ＩＤと、店舗ＩＤと、商品ＩＤとを含む行為情報がＲＡＭ１０３などの記憶部に記憶されているか判定する。行為情報とは、図９において説明したように、投影制御部１２が案内画像４２０を生成する際に生成した情報である。作業者ＩＤと、店舗ＩＤと、商品ＩＤとを含む行為情報が記憶部に記憶されている場合、行為管理部１４は、行為情報に含まれる仕分け数量を取得する。行為管理部１４は、仕分け作業完了と判定した場合、作業者による商品の仕分け数量を確認する（Ｓ４０７）。行為管理部１４は、作業者ＩＤと商品ＩＤとに紐づいて仕分け管理テーブルに記録される運搬数量を読み取って、仕分け数量の値を運搬数量から減じる（Ｓ４０８）。また、作業管理部１４は、店舗ＩＤと商品ＩＤとに紐づいて商品配送テーブルに記録される残り仕分け数量を読み取って、行為情報に含まれる仕分け数量を残り仕分け数量から減じる（Ｓ４０９）。これにより、作業者が仕分け作業完了した場合に、店舗宛に配送すべき商品の残り仕分け数量が更新される。

ステップＳ４０６の判定結果が「ＹＥＳ」の場合、行為管理部１４は、作業者の腕先端部が行為確認要求の店舗ＩＤに対応する配送かご５１以外の他の店舗宛の配送かご５１の座標範囲に入ったと判定しており、作業者の仕分け作業に誤りがあると判定することとなる。この場合、行為管理部１４は、警告画像（又は、警告情報）を生成する（Ｓ４１０）。行為管理部１４は、警告画像と、行為確認要求に含まれる作業者ＩＤと店舗ＩＤとを含む警告画像投影要求を投影制御部１２へ送出する。なお、行為管理部１４は、作業者の腕先端部が行為確認要求に含まれる店舗ＩＤに対応する配送かご５１の座標範囲に入ったと判定することが所定時間以上できない場合には、作業者に仕分け作業が完了していないことを示す警告画像を、配送センタの壁などに備えられた表示装置に表示してもよい。

投影制御部１２は、警告画像投影要求に含まれる店舗ＩＤと作業者ＩＤとに基づいて、作業者ＩＤに対応する作業者が押すカート４の案内プレート４２の座標範囲をカメラ３の撮影画像から特定する。図９で説明したように、投影制御部１２は、カメラ３の撮影画像に映る案内プレート４２の座標範囲を特定する。投影制御部１２は、撮影画像内の案内プレート４２の座標を投影画像内の案内プレート４２の座標に変換して、投影画像内に配置する警告画像の位置を決定する（Ｓ４１１）。そして、投影制御部１２は、警告画像（警告情報）を上述の位置に配置した投影画像を生成する（Ｓ４１２）。投影制御部１２は、案内プレート４２の座標に対応するプロジェクタ２のネットワークアドレスを取得し、そのネットワークアドレスに向けて投影画像を送信する（Ｓ４１３）。これにより、プロジェクタ２は、投影画像を所定の投影範囲に投影する。その後、行為管理部１４は、他の行為確認要求を取得しているかにより、上述の処理を終了するか判定する（Ｓ４１４）。他の行為確認要求を取得している場合には、処理フローがステップＳ４０１に戻り、上述のステップを繰り返す。

上述のステップＳ４０６、Ｓ４１０～Ｓ４１３により、作業者が仕分け作業に係る商品を投入すべき店舗かご５１を他の店舗かご５１と間違えた場合には、警告画像（警告情報）を作業者に通知することができる。これにより、仕分け作業の精度を高めることができる。

案内制御装置１は、商品配送テーブルに記録される店舗ＩＤに対応する店舗宛の商品の配送数量の合計値に基づいて、各店舗宛の配送総量を算出し、その配送総量に基づいて店舗かご５１を配置する通路沿いのスペースの広さを算出してもよい。つまり、案内制御装置１の算出した配送総量に応じた各店舗宛の店舗かご５１の配置スペースの広さに基づいて、作業者が配送かご５１を配送センタのフロアに配置してもよい。これにより、各店舗宛の配送総量に応じて配送かご５１を適切に通路沿いに配置することができる。

図１１は、案内制御装置１の最小構成を示すブロック図である。案内制御装置１は、少なくとも投影制御部１２を備える必要がある。投影制御部１２は、投影装置（プロジェクタ２）を制御して、対象者（作業者）を示す対象者特定画像６１０を対象者の所定行為を行う位置に関連する第一投影範囲６１に投影し、かつ、対象者に所定行為を行うよう案内する案内画像４２０を対象者の所定行為を行う位置に関連する第二投影範囲に投影する。

上述の説明においては、案内制御システム１００が配送センタに設置されて、作業者が商品の仕分け作業を行うという状況における案内制御装置１の構成及び機能を説明した。しかし、案内制御装置１は、配送センタに限定されるものではなく、他の用途に用いてもよい。例えば、店舗の来店者に対して、来店者が視認できる案内画像４２０を生成して、来店者が商品棚から商品を手に取るなどの行為を行う位置の近傍の投影範囲に案内画像４２０を含む投影画像を投影してもよい。案内画像４２０は、例えば、所定の商品の広告などであってもよい。

案内制御装置１は、内部にコンピュータシステムを有しており、上述の処理過程はコンピュータプログラムとしてコンピュータ読み取り可能な記録媒体に記憶されている。すなわち、コンピュータが記録媒体からコンピュータプログラムを読み出して実行することにより、上述の処理過程が実行される。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどをいう。また、コンピュータプログラムを通信回線経由でコンピュータに配信し、コンピュータがコンピュータプログラムを実行するようにしてもよい。上述のコンピュータプログラムは、前述の案内制御装置１の機能の一部を実現するものであってもよい。また、上述のコンピュータプログラムは、前述の機能をコンピュータシステムに既に記憶されているプリインストールプログラムとの組み合わせで実現できる差分ファイル（差分プログラム）であってもよい。

最後に、本発明は上述の一実施形態に限定されるものではなく、添付した特許請求の範囲に規定される発明の範囲を逸脱しない種々の改造や設計変更をも包含するものである。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限らない。

（付記１）
投影装置と通信接続可能な案内制御装置であって、
対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成し、前記対象者特定画像と前記案内画像とを含む投影画像を投影するよう前記投影装置を制御する投影制御部を備えた案内制御装置。

（付記２）
前記対象者特定画像に関連する前記対象者の識別情報を認識する対象者認識部を更に備え、前記投影制御部は、前記対象者の識別情報に対応して、前記案内画像を前記第二投影範囲に投影するよう前記投影装置を制御する、付記１に記載の案内制御装置。

（付記３）
前記対象者による前記所定行為の完了有無を判定する行為管理部と、
前記行為管理部の判定結果に従って、前記所定行為に関する管理情報を更新する管理情報更新部と、
を更に備える付記２に記載の案内制御装置。

（付記４）
前記行為管理部は、前記対象者の身体の一部が前記所定行為を行う前記第一位置に対応する所定範囲に入ったことを検出して、前記所定行為の完了有無を判定する、付記３に記載の案内制御装置。

（付記５）
前記行為管理部は、前記対象者の行為が前記所定行為と相違している場合に、警告画像を生成し、前記投影制御部は、前記警告画像を含む前記投影画像を投影するよう前記投影装置を制御する、付記３に記載の案内制御装置。

（付記６）
前記対象者と前記所定行為との対応関係の登録を受け付ける登録受付部を更に備える、付記３に記載の案内制御装置。

（付記７）
前記投影制御部は、前記対象者認識部により認識された前記対象者の識別情報に対応する前記所定行為を前記対応関係に従って特定し、前記特定した所定行為の案内を行う前記案内画像を前記第二投影範囲に投影するよう前記投影装置を制御する、付記６に記載の案内制御装置。

（付記８）
前記所定行為は、物品の仕分け作業であり、前記投影制御部は、前記仕分け作業を行った物品の配送先と、前記物品の種類と、前記物品の数量と、を前記案内画像に含めて、前記第二投影範囲に投影する、付記１に記載の案内制御装置。

（付記９）
前記対象者認識部は、前記第一投影範囲に投影された前記対象者特定画像に対応する前記対象者の現在位置が前記所定行為を行う前記第一位置に一致するかを判定し、前記投影制御部は、前記対象者の現在位置が前記第一位置に一致する場合に、前記対象者に前記所定行為を行うよう促す前記案内画像と前記第二投影範囲に投影する、付記２に記載の案内制御装置。

（付記１０）
投影装置と、
前記投影装置と通信接続可能な案内制御装置とを備え、
前記案内制御装置は、対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成し、前記投影装置を制御して、前記対象者特定画像と前記案内画像とを含む投影画像を投影する案内制御システム。

（付記１１）
対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成し、
前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成し、
前記対象者特定画像と前記案内画像とを含む投影画像を投影する案内制御方法。

（付記１２）
コンピュータに対して、
対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成する処理過程と、
前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成する処理過程と、
前記対象者特定画像と前記案内画像とを含む投影画像を投影する処理過程と、を実行させるプログラムを記憶した記憶媒体。

本願は、２０１８年３月２９日に、日本国に出願された特願２０１８－６５９３８号に基づき優先権を主張し、その内容をここに援用する。

本発明は、商品センタに案内制御装置を設置して、商品の仕分け作業を行う作業者に対して作業内容の案内を行うものであるが、これに限定されるものではない。例えば、案内制御装置を店舗に設置して、来店者の商品購入や決済のときに案内情報を提供することができる。さらに、鉄道の駅や空港などの公共施設に案内制御装置を設置して、乗客や利用者に案内情報を提供してもよい。

１ 案内制御装置
２ プロジェクタ（投影装置）
３ カメラ（撮影装置）
４ カート
５ 端末（管理装置）
１０ 制御部
１１ 登録受付部
１２ 投影制御部
１３ 作業者認識部
１４ 行為管理部
１５ 管理情報更新部
４０ データベース
４１ 商品かご
４２ 案内プレート
５１ 店舗かご
４２０ 案内画像
６１０ 対象者特定画像

Claims (9)

1. 投影装置と通信接続可能な案内制御装置であって、
   対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成し、前記対象者特定画像と前記案内画像とを含む投影画像を投影するよう前記投影装置を制御する投影制御部と、
   前記対象者の行為を認識し、前記対象者の行為が前記所定行為と相違している場合に、警告画像を生成する行為管理部と、を備え、
   前記投影制御部は、前記警告画像を含む前記投影画像を投影するよう前記投影装置を制御する、
   案内制御装置。
2. 前記対象者特定画像に関連する前記対象者の識別情報を認識する対象者認識部を更に備え、前記投影制御部は、前記対象者の識別情報に対応して、前記案内画像を前記第二投影範囲に投影するよう前記投影装置を制御する、請求項１に記載の案内制御装置。
3. 前記所定行為に関する管理情報を更新する管理情報更新部を更に備え、
   前記行為管理部は、前記対象者による前記所定行為の完了有無を判定し、
   管理情報更新部は、前記行為管理部の判定結果に従って、前記所定行為に関する管理情報を更新する、
   請求項２に記載の案内制御装置。
4. 前記行為管理部は、前記対象者の身体の一部が前記所定行為を行う前記第一位置に対応する所定範囲に入ったことを検出して、前記所定行為の完了有無を判定する、請求項３に記載の案内制御装置。
5. 前記対象者と前記所定行為との対応関係の登録を受け付ける登録受付部を更に備える、請求項３に記載の案内制御装置。
6. 前記投影制御部は、前記対象者認識部により認識された前記対象者の識別情報に対応する前記所定行為を前記対応関係に従って特定し、前記特定した所定行為の案内を行う前記案内画像を前記第二投影範囲に投影するよう前記投影装置を制御する、請求項５に記載の案内制御装置。
7. 投影装置と、
   前記投影装置と通信接続可能な案内制御装置とを備え、
   前記案内制御装置は、
   対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成するとともに、前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成し、前記対象者特定画像と前記案内画像とを含む投影画像を投影するよう前記投影装置を制御する投影制御部と、
   前記対象者の行為を認識し、前記対象者の行為が前記所定行為と相違している場合に、警告画像を生成する行為管理部と、を備え、
   前記投影制御部は、前記警告画像を含む前記投影画像を投影するよう前記投影装置を制御する、
   案内制御システム。
8. 対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成し、
   前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成し、
   前記対象者特定画像と前記案内画像とを含む投影画像を投影するよう投影装置を制御し、
   前記対象者の行為を認識し、前記対象者の行為が前記所定行為と相違している場合に、警告画像を生成し、
   前記警告画像を含む前記投影画像を投影するよう前記投影装置を制御する、
   案内制御方法。
9. コンピュータを、
   対象者の所定行為を行う第一位置に対応する第一投影範囲に投影する対象者特定画像を生成する手段、
   前記対象者が視認可能な第二位置に対応する第二投影範囲に投影して前記対象者に前記所定行為の案内を行う案内画像を生成する手段、
   前記対象者特定画像と前記案内画像とを含む投影画像を投影するよう投影装置を制御する手段、
   前記対象者の行為を認識し、前記対象者の行為が前記所定行為と相違している場合に、警告画像を生成する手段、
   として機能させ、
   前記投影装置を制御する手段は、前記警告画像を含む前記投影画像を投影するよう前記投影装置を制御する、
   プログラム。

Images