JP6361072B2

JP6361072B2 - 作業管理システム

Info

Publication number: JP6361072B2
Application number: JP2015064344A
Authority: JP
Inventors: 淳一秋葉
Original assignee: 株式会社クロスポイント
Priority date: 2015-03-26
Filing date: 2015-03-26
Publication date: 2018-07-25
Anticipated expiration: 2035-03-26
Also published as: JP2016184303A

Description

本発明は、作業者自体に直接的に指示を与えたり、作業者の動きを監視・管理することができ、作業者の作業の習熟度に起因した効率のばらつきや人的ミスを改善することができる作業管理システムに関する。

従来、例えばいわゆる物流倉庫においては保管する商品と配送する商品とが区分けされているが、物流倉庫ではこれら商品を区分け収納した棚が存在する。以下、本願では、棚の個々の収納空間を意味する場合は「棚枠」と、この棚枠が集合したものを「棚」と、言うこととする。

端的に言えば、物流倉庫における作業は、棚の空いている棚枠には倉庫に納入された商品を収納する「棚入作業」と、棚入作業後で商品が収納されている棚枠から配送する商品を取り出す「棚出作業」と、がほとんどを占める。以下、これら棚入作業と棚出作業を総称して本願では「庫内作業」と言うこととする。

庫内作業は、商品の大小、寸法が様々であること、また、規模や敷地の大きな倉庫であれば棚の数が多いこと、これに加えて庫内空間効率を考慮すると大掛かりで多数の棚出や棚入の作業を行う機械設備を設置できないこと、といった理由によりほぼ作業者によって行うのが現状である。

したがって、庫内作業は、作業者の作業の習熟度に起因して、効率のばらつきが生じたり、効率が定量化しにくいといった問題があると共に、作業者によっては棚出作業において商品を誤って取り出したり、逆に棚入作業において誤って格納するといった人的ミスが生じることがあり、商品自体を管理していても作業者の挙動について管理することが容易ではなかった。

こうした物流分野における作業の効率化や管理化を可能とする技術として、例えば特許文献１，２が存在する。特許文献１は、作業者による庫内作業ではないものの、荷物集配運送業における配送荷物の積載作業を効率化すると共に必要な人員数及び車両数運行計画を迅速に立案するために、次の方法が提案されている。

すなわち、特許文献１の物流支援方法は、配送荷物の集荷位置から、少なくとも届け先、個数、伝票番号を含む集荷情報を無線回線により受信する第１のステップと、各集荷位置から受信した情報に基づいて各届け先地域別の配送要員数及び配送車両数の運行計画を作成する第２のステップとを有することとしている。

一方、特許文献２は、部品などの製品を内部に収納した容器に、情報カードを取り付け、情報カードから製品情報を伝送及び視覚的に伝達し、作業能率の向上とゴミ処理の発生を防止するために、次の方法が提案されている。

すなわち、特許文献２の物流管理システムの情報伝達装置は、製品を保持する保持体の外部に、製品に関する情報が収められた情報カードを取り付け、該情報カードからの製品情報に基づいて、製品の出荷工程から受け入れ先への納品工程及び保持体の回収工程までの物流を管理するために、情報カードが、カード本体の内部に、製品情報を記憶する記憶回路と、記憶回路の記憶情報を受発信制御する制御回路とからなる無線ＩＤ機構を有すると共に、カード本体の表面に書き換え自在な表示部を有する構成としている。

しかしながら、上記特許文献１，２は、全体工程を管理したり計画の作成を支援、あるいは商品の次工程を表示するものであるが、実際に作業を行う作業者自体に直接的に指示を与えたり、誤作業が生じる（生じた）作業者の動きを逐一監視・管理ものではなかったため、依然として作業者の作業の習熟度に起因した効率のばらつきや人的ミスは改善されなかった。

また、作業者の挙動は、例えば監視カメラで作業状況を撮像して、監督者がその画像を監視して例えば作業効率の悪い作業者に対してマイクで呼びかけるといった類の方策があるが、これとて、監督者が人である以上、見落としや注意し忘れといった人的ミスが生じ得る。

特開２００１−２６１１２３号公報特開２００３−４０４５６号公報

解決しようとする問題は、従来の物流管理の手法では、実際に作業を行う作業者自体に直接的に指示を与えたり、作業者の動きを監視・管理するものではなかったので、作業者の作業の習熟度に起因した効率のばらつきや人的ミスが改善されない点である。

上記課題を解決するため、本発明は、作業者の動きを監視及び管理すると共に指示を与える作業管理システムであって、
少なくとも各種情報を出力するレンズ及び作業現場を撮像するカメラを備えた、作業者ＩＤタグを身につけた作業者が装着するウェアラブルデバイスと、少なくとも実際の作業現場を画像として再現可能に画像処理したマッピング情報及び商品情報を蓄積したサーバとを備え、前記ウェアラブルデバイスとサーバとが相互に通信可能とされ、
前記ウェアラブルデバイスは、作業者ＩＤタグをカメラにより撮像して認識した作業者コードをサーバに送信し、作業者コードに対応する作業があるときにサーバから送信された作業コードに対応したマッピング情報に基づいて実際の作業現場を情報空間内に形成すると共にこれをレンズ越しの実際の視野に重ねるように投影し、
前記サーバは、前記カメラによって撮像した撮像情報に基づいて作業者の挙動及び商品の挙動に関する情報を得て、前記情報空間内における情報化した作業者の挙動及び商品の挙動を監視することを最も主要な特徴とする。

上記構成とすることで、本発明は、倉庫内に特別な棚や設備を備える必要がなくなり、倉庫や作業現場の規模の大小に関係なく適用できる。また、本発明は、ウェアラブルデバイス内に倉庫内の作業現場を情報空間内に再現し、作業者の挙動を該情報空間内に投影して監視・管理することができるので、監督者ではなくサーバにおいて管理することができ、かつ作業ミスが生じた場合には適切な指示を与えることができる。

図１は本発明の作業管理システムの構成概略図である。図２は本発明の作業管理システムにおけるサーバの構成概略図である。図３（ａ）〜（ｇ）は本発明の作業管理システムのサーバに蓄積された各種データベースのレコード構造を示す図である。図４は本発明の作業管理システムにおけるサーバ稼働プログラムの構成概念図である。図５は本発明の作業管理システムにおけるウェアラブルデバイスの構成概略図である。図６は本発明の作業管理システムにおけるウェアラブルデバイス稼働プログラムの構成概念図である。図７は本発明の作業管理システムにおける作業現場を情報空間に再現する手順を示す図である。図８は本発明の作業管理システムにおける挙動認識の手順を示す図である。図９は本発明の作業管理システムにおける棚入作業の手順の一部を示す図である。図１０は本発明の作業管理システムにおける棚入作業の手順の一部を示す図である。図１１は本発明の作業管理システムにおける棚入作業の手順の一部を示す図である。図１２は本発明の作業管理システムにおける棚入作業の手順の一部を示す図である。図１３は本発明の作業管理システムにおける棚入作業の手順の一部を示す図である。図１４は本発明の作業管理システムにおける棚入作業の手順の一部を示す図である。図１５は本発明の作業管理システムにおける棚出作業の手順の一部を示す図である。図１６は本発明の作業管理システムにおける棚出作業の手順の一部を示す図である。図１７は本発明の作業管理システムにおける棚出作業の手順の一部を示す図である。図１８は本発明の作業管理システムにおける棚出作業の手順の一部を示す図である。

本発明は、実際に作業を行う作業者に直接的に指示したり、作業者の動きを管理することができず、作業者の作業の習熟度に起因した効率のばらつきや人的ミスが改善されない点を、作業現場を情報空間内に形成し、作業者の挙動及び商品の挙動を情報化して情報空間内に反映させることで、この情報空間内でサーバが作業者の挙動及び商品の挙動を監視・管理するとともに必要に応じて適切な指示を与えるようにすることで改善した。

すなわち、本発明であれば、実際の作業現場を情報空間に再現して、該情報空間における作業現場で例えば作業を要するピンポイントを光らせたり、表示を異ならせたりして指示を与えることができるので、倉庫内に特別な設備を設けなくてもよく、また、この情報空間内に情報化した作業者の挙動を反映させてサーバにより監視・管理することができるので、例えばモニタカメラの映像を「監督者」つまり人間が監視する必要がなく、監視の見落としなど人的ミスが生じることがない。

また、本発明の作業管理システムにおいて、サーバは、商品情報とマッピング情報に紐付された作業者が行う作業に関する情報を蓄積し、ウェアラブルデバイスに向けて作業者が行う作業に関する情報を送信し、一方、ウェアラブルデバイスは、サーバから送信された作業者が行う作業に関する情報を表示し、カメラで撮像した撮像情報に基づく作業者の挙動及び商品の挙動に関する情報をサーバへ送信し、サーバにおいて、作業者が行う作業に関する情報と作業者の挙動及び商品の挙動に関する情報とを情報空間内で一致・不一致の判別を行うようにすれば、監視体制としてはほぼ万全となり、また、情報上の一致・不一致の判別が適宜確実にサーバにより行われ、不一致な作業が行われた際には適切な指示を与えることができる。

以下、図１〜図１８を参照して本発明の具体的実施形態について説明する。本発明の作業管理システム１は、概略的には、サーバ２とサーバにインストールされたサーバ稼働プログラム２Ｐ、作業者が身につける作業者ＩＤタグ３及びウェアラブルデバイス４及びウェアラブルデバイス４を稼働させるためのウェアラブル稼働プログラム４Ｐ、商品に付した商品ＩＤタグ５、及び物理的な棚６、備える。このうち、物理的な棚６は、棚枠が多数の行と列で並んだ通常かつ既設のものである。

サーバ２は、図２に示すように、通常のパーソナル（サーバ）コンピュータと同様のハードウェア構成とされており、ソフトウェア構成としては、本発明の作業管理システム１のサーバ稼働プログラム２Ｐがインストールされていることと、次のデータベースが構築されている。

サーバ２は、ハードウェア構成と協働する本発明のサーバ稼働プログラム２Ｐがインストールされている。このサーバ稼働プログラム２Ｐについては後述する。サーバ２は、サーバ稼働プログラム２Ｐの他、いわゆるハードディスクに、次のデータベースが構築されている。

すなわち、サーバ２（のハードディスク）には、商品の情報を蓄積した商品データベース２Ａと、倉庫内で作業者が作業する場所の情報を蓄積した作業エリアデータベース２Ｂと、作業者の情報を蓄積した作業者データベース２Ｃと、ウェアラブルデバイス４の情報を蓄積したデバイスデータベース２Ｄと、商品の棚入に関する作業内容を蓄積した棚入作業データベース２Ｅと、商品の棚出作業内容を蓄積した棚出作業データベース２Ｆと、作業エリアの画像情報を蓄積したマッピングデータベース２Ｇと、を有している。

商品データベース２Ａは、図３（ａ）に示すように、商品コード、商品名、その商品の縦、横、奥のそれぞれのサイズ、作業コードの情報が蓄積されている。なお、この作業コードとは、後述する棚入作業コード、棚出作業コード、の総称である。

作業エリアデータベース２Ｂは、図３（ｂ）に示すように、作業エリアコード、作業エリア名、棚名、棚枠行（番号）、棚枠列（番号）、棚枠の縦、横、奥のそれぞれのサイズ、作業コードの情報が蓄積されている。

作業者データベース２Ｃは、図３（ｃ）に示すように、作業者コード、作業者名、作業コードの情報が蓄積されている。

デバイスデータベース２Ｄは、図３（ｄ）に示すように、デバイスコード、デバイス名、作業者コード、作業コードの情報が蓄積されている。

棚入作業データベース２Ｅは、図３（ｅ）に示すように、棚入作業コード、商品コード、作業エリアコード、作業者コード、デバイスコード、マッピングコードの情報が蓄積されている。

棚出作業データベース２Ｆは、図３（ｆ）に示すように、棚出作業コード、作業エリアコード、商品コード、作業者コード、デバイスコード、マッピングコードの情報が蓄積されている。

マッピングデータベース２Ｇは、図３（ｇ）に示すように、マッピングコード、マッピングファイル名、デバイスコード、作業エリアコード、作業コードの情報が蓄積されている。なお、マッピングファイルとは、例えば庫内空間を棚６と棚枠を中心に詳細に再現した画像情報（入出力可能な情報体）を意味し、マッピングファイル名とはその画像情報を特定するための名称を意味する。

以上のとおり、各データベース２Ａ〜２Ｇは、リレーショナルデータベースとされ、それぞれが紐付けされている。次にこれら各データベース２Ａ〜２Ｇの情報蓄積と、サーバ稼働プログラム２Ｐの構成について説明する。

サーバ稼働プログラム２Ｐは、図４に示すように、ウェアラブルデバイス４との無線通信処理を行う無線通信手段２ａと、ウェアラブルデバイス４との情報の入出力を行う入出力段２ｂと、各データベース２Ａ〜２Ｇから対応するレコードの検索及び読出を行う検索読出手段２ｃと、作業コードに対応するレコードを読み出してバッファする作業バッチ手段２ｅと、作業コードに対応するレコードにおいてウェアラブルデバイス４から送られた挙動に関する情報の適否を判別しかつ全体を制御する判別制御手段２ｄとを備えている。

ウェアラブルデバイス４は、図１に示すように、本例では例えばメガネ型のものを採用している。このウェアラブルデバイス４のハードウェア構成は、図５に示すように、サーバ２との各種情報の送受信を行う無線通信部４Ａ、受信情報等を映像出力するためのレンズ４Ｂ、作業状況を撮像するためのカメラ４Ｃ、サーバ２から受信した音声情報を出力するスピーカ４Ｄ、後述するウェアラブルデバイス稼働プログラム４Ｐを格納したＲＯＭ及び演算処理並びに全体の制御を行う制御部４Ｅ、を備えている。

ウェアラブルデバイス４は、本例のように、無線通信部４Ａ及びメガネ型のものを採用することで、無線方式なので作業者の作業範囲の制限を受けることがなく、また、レシーバやスキャナのように装置を手に持つ必要がないので作業者の両手を塞ぐことがないので、作業効率が向上するというメリットがある。

一方、ウェアラブルデバイス稼働プログラム４Ｐは、図６に示すように、無線通信部４Ａによる情報の送受信を行う無線通信手段４ａと、レンズ４Ｂの一部（例えば片目あるいはレンズ４Ｂの両眼上部又は下部）あるいは全面に受信した情報を画像処理して出力する入出力手段４ｂ、を備えている。なお、本例では、レンズ４Ｂの両眼の全面に出力するようにしている。

さらに、ウェアラブルデバイス稼働プログラム４Ｐは、カメラ４Ｃで撮像した映像情報を画像処理して各手段へ切り分けると共にマッピング情報を撮像情報（レンズ４Ｂの視界）に追従させる画像処理手段４ｃを備えている。

また、ウェアラブルデバイス稼働プログラム４Ｐは、画像処理手段４ｃで切り分けられた商品ＩＤタグ５の映像情報を商品コードとして認識する商品認識手段４ｄ、画像処理手段４ｃで切り分けられた作業者ＩＤタグ３の映像情報を作業者コードとして認識する作業者認識手段４ｅ、画像処理手段４ｃで切り分けられた商品ＩＤタグ５及び作業者ＩＤタグ３以外のウェアラブルデバイス４の固有番号、作業現場（作業エリア）、作業者の挙動（例えば本例では作業者の手の動き）の映像情報をそれぞれウェアラブルコード、作業コード、作業者の挙動に関する情報として認識する挙動認識手段４ｆを備えている。

上記構成の本発明の作業管理システム１は、作業する実際の棚６や棚枠を情報空間に再現し、この情報空間において同じく情報化した作業者の挙動及び商品の挙動をリアルタイムで監視することで人的ミスを防止し、また、作業者に的確な指示を与えることで作業効率の向上化を図ることができる。

すなわち、本発明の作業管理システム１は、概略的には次のように動作することに特徴がある。ウェアラブルデバイス４はオンである間はカメラ４Ｃが撮像しつづけ、この撮像情報は画像処理手段４ｃを介して、各々情報が切り分けられ、商品認識手段４ｄにおいて商品コードが、作業者認識手段４ｅにおいて作業者コードが、挙動認識手段４ｆにおいてデバイスコート、作業現場、作業者の挙動（手の動き）が、各々認識され、この認識された各種情報がサーバ２へ送信される。

サーバ２は、ウェアラブルデバイス４から送信された情報に応答して、検索読出手段２ｃにより各データベース２Ａ〜２Ｇから対応するレコードを読み出し、作業中の作業内容については作業バッチ手段２ｅにより作業コードに対応するレコードをバッチ処理化してバッファし、作業コードに対応するレコードにおける作業指示の適否を判別制御手段２ｄ
が判別する。

上記の実際の棚６や棚枠を情報空間に再現する手順、情報空間における作業者及び商品の挙動の監視手順、について図７及び図８を用いて説明する。

実際の棚６や棚枠の情報は、図３（ｂ）に示した作業エリアデータベース２Ｂに蓄積されている。また、ウェアラブルデバイス４のレンズ４Ｂに再現する作業エリアの情報（つまり画像情報）はマッピングデータベース２Ｇに蓄積されている。

図７には、ウェアラブルデバイス４のレンズ４Ｂに実際の棚６や棚枠を表示させる手順を示す。ウェアラブルデバイス４は、例えば作業者に予め渡された作業の指示書、あるいは作業すべき棚６の番号表示、をカメラ４Ｃにより撮像すると、この撮像情報から画像処理手段４ｃにより作業エリアに関する撮像情報だけを切り分け、この撮像情報を挙動認識手段４ｆにより作業エリアコードとして認識し、これをサーバ２へ送る。

サーバ２は、この作業エリアコードを受信すると（手順１、以下Ｗ１と記す）、検索手段２ｃにより作業エリアデータベース２Ｂを検索して該当する作業エリアコードのレコードを読み出すと共に、当該作業エリアコードを有するマッピングデータベース２Ｇを検索して読み出す（Ｗ２）。

続いて、サーバ２は、読み出したマッピングコードのレコードに格納されている作業エリアのマッピング情報を（そのレコードに格納されている作業コードで作業するデバイスコードの）ウェアラブルデバイス４に向けて送信する（Ｗ３）。

このとき、ウェアラブルデバイス４では、画像処理手段４ｃが、カメラ４Ｃで撮像した画像のうちレンズ４Ｂの視界（カメラ４Ｃの撮像視野）の画像情報に応じてマッピング情報をレンズ４Ｂ越しの実像に追従させるように画像処理する（Ｗ４）。

すなわち、ウェアラブルデバイス４では、サーバ２から送られたマッピング情報を受信すると、カメラ４Ｃで撮像したその作業エリアにおける棚６と棚枠の実像に、情報としての棚６と棚枠を作業レンズ４Ｂに再現して反映（投影）する。「再現して反映する」とは、例えばレンズ４Ｂ越しに見える実際の棚６に対して作業データベース２Ｂに基づく情報空間における映像としての棚の画像をほぼ同一に重なるように出力することを意味する。

このとき、作業者が動けば、ウェアラブルデバイス４のレンズ４Ｂ越しの実像の見え方も変化するが、カメラ４Ｃで撮像したレンズ４Ｂの視野（実像）情報に応じて連続的にマッピング情報を画像処理することで、移動に応じて情報空間内の棚６の画像を変化させて、今レンズ４Ｂ越しに見える棚６と情報空間内の棚の画像とがほぼ同一に重なるように、追従させている。

具体的には、例えば、作業者が実際の棚６に近づけばマッピング情報による情報空間内の棚６は大きく見え、離れれば小さく見えるといったように、実際の棚６の見え方に合わせて、違和感なく追従させる。

そして、本発明は、このように構築された情報空間内で作業を監視する点も大きな特徴である。図８には、情報空間内における作業者の作業を監視する手法について示している。本例では、例えば作業者の作業を挙動認識手段４ｆで認識しやすくするために、例えば作業者の手にマーキング付の手袋を装着させている。なお、この点は、手袋でなくとも、例えば手の甲にマーキングを付したり、シールを貼付するようにしてもよい。

上述、Ｗ４で説明したとおり、ウェアラブルデバイス４のレンズ４Ｂには、作業エリアコードに該当する、つまり、今、作業者が前にしている作業する実際の棚と重なるように情報空間が表示されている（手順１、以下、Ｄ１と記す）。

ウェアラブルデバイス４は、後述する作業が開始されると、作業すべき棚６のううち、作業コードに基づいた商品を棚入する又は商品を棚出する棚枠だけ、色を変えてレンズ４Ｂに表示する（Ｄ２）。つまり、ウェアラブルデバイス４のレンズ４Ｂには全体的には実際の棚６と情報空間内の棚６は重なって表示されている状況において、今、作業する棚枠だけが別色で際立って表示されるから、実際の棚６に例えば表示機能を持たなくても既設の棚６でよいということになる。

作業の具体的な手順は後述するが、ここでは、作業時に挙動認識手段４ｆがどのように作業を認識するかについて説明を続ける。図８のＤ２において、作業者が作業により手を動かし（Ｄ３）、カメラ４Ｃは上述のとおり作業中の作業者が見ているすべてをリアルタイムで撮像しており、手を動かすことでカメラ４Ｃにより手袋（のマーキング）を撮像し、画像処理手段４ｃで切り分けられて挙動認識手段４ｆで認識されると（Ｄ４）、この挙動情報をサーバ２へ送信する（Ｄ５）。

サーバ２は、ウェアラブルデバイス４でから送られてくる挙動情報を同じくリアルタイムで判別制御手段２ｄにより処理しており、作業コードに基づいてウェアラブルデバイス４に送信した別色で表示するよう指示している棚枠に前記挙動情報が移動しているかを判別し（Ｄ６）、挙動情報（手が）が視野外に外れるまで（Ｄ７でＮｏ）、Ｄ３〜Ｄ７の処理を繰り返す（Ｄ７でＹｅｓ）。

このとき、サーバ２は、例えば棚入作業の場合は、今、別色で表示するよう指示している棚枠に指示している（後述する別処理で適否の判断した）商品が格納されたことを、ウェアラブルデバイス４から送信される挙動情報に基づいて判別制御手段２ｄで判別し、一方、例えば棚出作業の場合は、今、別色で表示するよう指示している棚枠から指示している（後述する別処理で適否の判断した）商品を取り出したことを、ウェアラブルデバイス４から送信される挙動情報に基づいて判別制御手段２ｄで判別する。

以下に、本発明の作業管理システム１における上記特徴的な動作に基づいて、作業者の作業そのものを管理することと、作業者の作業の支援することとを両立して行う、より具体的な棚入、棚出作業時の手順について説明する。

（棚入作業）
図９〜図１４は、倉庫に到着した梱包容器に梱包された商品を棚６へ棚入する作業の手順を示している。まず、サーバ２が作動している状況で、作業者は作業者ＩＤタグ３を衣服のどこかに取り付けて、また、ウェアラブルデバイス４を装着したうえ、該ウェアラブルデバイス４の電源を投入してオンにする（手順１、以下＃１と記す）。

＃１においてウェアラブルデバイス４は、サーバ２に向けて自機のデバイスコードを出力し、サーバ２は該デバイスコードを受信してデバイスデータベース２Ｄに基づいて当該デバイス４を認識することで、サーバ２との通信が確立する。

＃１の後、そのウェアラブルデバイス４を装着した作業者を特定すべく、作業者は作業者ＩＤタグ３の入力を行う（＃２）。ここで、作業者は作業者ＩＤタグ３を見ることで、ウェアラブルデバイス４のカメラ４Ｃにより作業者ＩＤタグ３が撮像され、画像処理手段４ｃにより作業者ＩＤタグ３の部分が切り分けられて作業者認識手段４ｅにより作業者コードが認識される（＃３）。

ウェアラブルデバイス４は、＃３で認識された作業者コードをサーバ２へ出力する（＃４）。サーバ２は、作業者コードをウェアラブルデバイス４より受信し（＃５）、作業者データベース２Ｃから該当する作業者を検索する（＃６）。

サーバ２は、＃６において検索し、その結果として作業者データベース２Ｃに該当する作業者が抽出されなかった場合（＃７でＮｏ）、エラー情報をウェアラブルデバイス４へ出力する（＃８）。

＃８でサーバ２からエラー情報が出力されると、ウェアラブルデバイス４はそのエラー情報を受信し（＃９）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（＃１０）、処理は＃２に戻る。

一方、＃６において作業者データベース２Ｃから該当する作業者が抽出された場合（＃７でＹｅｓ）、続いて、作業者は作業エリアコードを入力すべく（＃１１）、作業者が見た（カメラ４Ｃで捉えた）庫内背景のうち棚６の部分を画像処理手段４ｃにより切り分けて、挙動認識手段４ｆにより画像処理して作業エリアコードとして認識し（＃１２）、作業エリアコードをサーバ２へ送信する（＃１３）。

サーバ２は、作業エリアコードを受信すると（＃１４）、作業エリアデータベース２Ｂを検索する（＃１５）。サーバ２は、該作業エリアデータベース２Ｂ内に受信した作業エリアコードが存在しない場合（＃１６でＮｏ）、エラー情報をウェアラブルデバイス４へ出力する（＃１７）。

＃１７でサーバ２からエラー情報が出力されると、ウェアラブルデバイス４はそのエラー情報を受信し（＃１８）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（＃１９）、処理は＃１１に戻る。

一方、＃１６において作業エリアデータベース２Ｂに該当する作業エリアコードが抽出された場合（＃１６でＹｅｓ）、サーバ２は、棚入作業データベース２Ｅからその作業者コードとその作業エリアコードを含む棚入作業コードがあるかを検索する（＃２０）。

サーバ２は、＃２０の検索でその作業者コードとその作業エリアコードを含む棚入作業コードが存在しない、また、作業者コード、作業エリアコードの一方が存在しない、といったようにリレーショナルデータベースに相互に対応するコードが存在しない場合（＃２１でＮｏ）、処理は＃１７〜＃１９へ進み、処理は＃１１に戻る。

一方、サーバ２は、＃２１でリレーショナルデータベースに相互に対応するコードが存在する場合（＃２１でＹｅｓ）、棚入作業コードに対応するレコードを抽出してバッチ処理化して作業バッチ手段２ｅによりこれらをバッファして、ウェアラブルデバイス４からの作業コードの入力を待つ。

続いて、例えば作業者に作業内容の指示書が予め手渡されており、作業者がこの指示書を見ることで（＃２２）、ウェアラブルデバイス４は、カメラ４Ｃにより、指示書に記載の作業コードを撮像し（＃２３）、画像処理手段４ｃを介して切り分けた画像から作業コードを挙動認識手段４ｆにより認識して、サーバ２へ作業コードを送信する（＃２４）。

サーバ２は、作業コードを受信すると（＃２５）、既に＃２１にてバッファしている作業コードに対応するレコードを検索読出手段２ｃにより読み出す（＃２６）。サーバ２は、作業データベース２Ｅを検索した結果、該当するレコードがない場合（＃２７でＮｏ）、エラー情報をウェアラブルデバイス４へ出力する（＃２８）。

＃２７でサーバ２からエラー情報が出力されると、ウェアラブルデバイス４はそのエラー情報を受信し（＃２９）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（＃３０）、処理は＃２２に戻る。

一方、サーバ２は、作業データベース２Ｅを検索した結果、該当するレコードがある場合（＃２７でＹｅｓ）、次に、作業コードを有するマッピング情報を読み出すべく、検索読出手段２ｃによりマッピングデータベース２Ｇを検索して読み出しておくと共に、作業内コードに基づく作業内容（レコード）をサーバ２において展開しておく（＃３１）。

以降、すなわちこの説明では棚入作業なので最終的には「どの商品をどの棚６のどの棚枠へ入れるか」という指示がウェアラブルデバイス４のレンズ４Ｂに表示され、作業者は段階的に表示される指示内容に基づいて作業することとなる。

作業者は、指示書に基づいて、棚入する商品を梱包箱から取り出し、取り出した商品ＩＤタグ５を読み取るべく作業者が商品を見ると、ウェアラブルデバイス４が、カメラ４Ｃによって商品を撮像し（＃３２）、画像処理手段４ｃを介して商品認識手段４ｄにより商品ＩＤタグ５から商品コードを認識し（＃３３）、この商品コードをサーバ２へ送信する（＃３４）。

サーバ２は、ウェアラブルデバイス４から送信された商品コードを受信し（＃３４）、商品データベース２Ａから検索読出手段２ｃにより商品コードに該当するレコードを検索し（＃３６）、商品データベース２Ａに登録のある商品であるか否かを判別し（＃３７）、商品データベース２Ａに登録のない商品である場合（＃３７でＮｏ）、エラー情報をウェアラブルデバイス４へ出力する（＃３８）。

＃３８でサーバ２からエラー情報が出力されると、ウェアラブルデバイス４はそのエラー情報を受信し（＃３９）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（＃４０）、作業者はその商品を元の箱に戻し（＃４１）、処理は＃２２へ戻る。

一方、サーバ２は、ウェアラブルデバイス４から送信された商品コードが商品データベース２Ａに登録されている場合（＃３７でＹｅｓ）、次に棚入作業データベース２Ｅの作業コードに当該商品コードがあるか否かを判別制御手段２ｄにより判断する（＃４２）。

＃４２において、サーバ２は、作業コードに存在のない商品コードであると判断した場合（＃４２でＮｏ）、＃３８〜＃４１のエラー処理の後、＃２２へ戻る。

＃４２において、サーバ２は、作業コードに存在する商品コードであると判断した場合（＃４２でＹｅｓ）、次に、その商品を棚入する、棚６と棚枠の位置情報（作業エリアコード）を含むマッピングコードをマッピングデータベース２Ｇにより読み出して、該当するマッピング情報をウェアラブルデバイス４へ送信する（＃４３）。

ウェアラブルデバイス４では、サーバ２から送られたマッピング情報は、上記に説明したとおり、カメラ４Ｃで撮像している実際の棚６と棚枠の実像に、情報としての棚６と棚枠の画像を重ねてかつ追従させるようレンズ４Ｂに再現される。このとき、情報空間における商品を挿入すべき棚枠の色を異ならせて表示する（＃４４）。なお、この処理については図７のＷ１〜Ｗ４で説明したので、ここでの説明は割愛する。

ウェアラブルデバイス４に、今、商品を棚入しようとする棚枠が別色でレンズ４Ｂに（実棚枠と重ねて）表示されない場合（＃４５でＮｏ）、作業者はそのウェアラブルデバイス４が故障しているものとして別のウェアラブルデバイス４に交換したうえで、処理を＃１まで戻す。

＃４５で、ウェアラブルデバイス４に、今、商品を棚入しようとする棚枠が別色でレンズ４Ｂに（実棚枠と重ねて）表示されている場合（＃４５でＹｅｓ）、作業者はその棚枠に商品を棚入する（＃４７）。

サーバ２では、この作業者の棚入作業について図８のＤ１〜Ｄ７の処理を行い（＃４８）、作業コードに基づく棚枠に商品を棚入したか否かを、ウェアラブルデバイス４から送信された挙動認識手段４ｆから情報に基づいて判別制御手段２ｄが判断する（＃４９）。

本例では、＃３２において既に作業すべき商品については認識しているので、ここで誤作業が生じるとすれば、棚枠を間違えることとなるから、よって、＃４９では、今、棚入の指示のある棚枠に向かって作業者の手が動き、指示した棚枠が空状態かそうでないかを判別制御手段２ｄが判断する。

＃４９で、間違った棚枠に商品を棚入した場合（＃４９でＮｏ）、サーバ２はエラー情報をウェアラブルデバイス４へ出力し（＃５０）、ウェアラブルデバイス４はそのエラー情報を受信し（＃５１）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（＃５２）、作業者は商品を棚枠から取り出す（＃５３）。

続いて、作業者は、いま、商品ＩＤタグ５を読み取るべく作業者が商品を見ると、ウェアラブルデバイス４が、カメラ４Ｃによって商品を撮像し（＃５４）、画像処理手段４ｃを介して商品認識手段４ｄにより商品ＩＤタグ５を認識し（＃５５）、この商品ＩＤタグ５を商品コードとしてサーバ２へ送信する（＃５６）。

サーバ２は、ウェアラブルデバイス４から送信された商品コードを受信し（＃５７）、商品データベース２Ａから検索読出手段２ｃにより該当する商品コードを検索し（＃５８）、商品コードに蓄積されている作業コードを検索して商品コードの存在を確認する（＃５９）。つまり、＃５９では、間違っていたのは棚枠ではなく商品であったのか否かを確認をする。

間違った商品ではなかった場合（＃５９でＮｏ）、ここまででは、＃４９においては指示した棚枠ではないことが、＃５９においては指示した商品でもないことが、各々判明するので、サーバ２は、エラー情報をウェアラブルデバイス４へ出力し（＃６０）、ウェアラブルデバイス４はそのエラー情報を受信し（＃６１）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（＃６２）、もし、ここまでで棚入作業した商品があれば、作業者は棚入した全ての商品を棚枠から取り出し（＃６３）、作業コードが誤っていたものとして処理は＃２２まで戻る。

間違った商品であった場合（＃５９でＹｅｓ）、ここまででは、＃４９においては指示した棚枠ではないことが、＃５９においては指示した商品であることが、各々判明するので、サーバ２は、その商品を棚入すべき棚枠を示す＃４３の処理へ戻る。

一方、＃４９において、商品を指示した（情報空間内で別色で表示された）棚枠に棚入した場合（＃４９でＹｅｓ）、サーバ２は、その作業者のその作業エリアにおいてまだ他の作業コード（作業すべきレコード）が存在するか否かを検索読出手段２ｃにこの例では棚入作業データベース２Ｅから検索する（＃６４）。

＃６４でその作業者とその作業エリアにはまだ別の作業コードが存在する場合（＃６４でＹｅｓ）、処理は＃３２、つまり次の商品を棚入する手順へ戻り、別の作業コードが存在しない場合（＃６４でＮｏ）、サーバ２は、棚入作業が終了したことをウェアラブルデバイス４へ送信する（＃６５）。

ウェアラブルデバイス４では、サーバ２からの作業終了の通知を受信し（＃６６）、作業者が作業者ＩＤタグ３を読み込ませるために（＃６９）、作業者ＩＤタグ３を見ると、カメラ４Ｃにより作業者ＩＤタグ３が撮像され、撮像画像が作業者認識手段４ｅにより画像処理されて認識され、サーバ２へ送信する（＃７０）。

サーバ２は、作業開始時の作業者コードと、いま受信した作業終了時の作業者コードとを比較し（＃７１）、一致を確認して（エラー処理は省略）、その一連の作業コードのログアウト処理て処理完了を記録する（＃７２）。そして作業者は、ウェアラブルデバイス４の電源をオフとし（＃７３）、棚入の処理は終了する。

（棚出作業）
図１５〜図１８は、棚６の棚枠に格納された商品を配送のために棚出する作業の手順を示している。まず、サーバ２が作動している状況で、作業者は作業者ＩＤタグ３を衣服のどこかに取り付けて、また、ウェアラブルデバイス４を装着したうえ、該ウェアラブルデバイス４の電源を投入してオンにする（手順１、以下Ｓ１と記す）。

Ｓ１においてウェアラブルデバイス４は、サーバ２に向けて自機のデバイスコードを出力し、サーバ２は該デバイスコードを受信してデバイスデータベース２Ｄに基づいて当該デバイス４を認識することで、サーバ２との通信が確立する。

Ｓ１の後、そのウェアラブルデバイス４を装着した作業者を特定すべく、作業者は作業者ＩＤタグ３の入力を行う（Ｓ２）。ここで、作業者は作業者ＩＤタグ３を見ることで、ウェアラブルデバイス４のカメラ４Ｃにより作業者ＩＤタグ３が撮像され、画像処理手段４ｃにより作業者ＩＤタグ３の部分が切り分けられて作業者認識手段４ｅにより作業者コードが認識される（Ｓ３）。

ウェアラブルデバイス４は、Ｓ３で認識された作業者コードをサーバ２へ出力する（Ｓ４）。サーバ２は、作業者コードをウェアラブルデバイス４より受信し（Ｓ５）、作業者データベース２Ｃから該当する作業者を検索する（Ｓ６）。

サーバ２は、Ｓ６において検索し、その結果として作業者データベース２Ｃに該当する作業者（のレコード）が抽出されなかった場合（Ｓ７でＮｏ）、エラー情報をウェアラブルデバイス４へ出力する（Ｓ８）。

Ｓ８でサーバ２からエラー情報が出力されると、ウェアラブルデバイス４はそのエラー情報を受信し（Ｓ９）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（Ｓ１０）、処理はＳ２に戻る。

一方、Ｓ６において作業者データベース２Ｃから該当する作業者が抽出された場合（Ｓ７でＹｅｓ）、続いて、作業者は作業エリアコードを入力すべく（Ｓ１１）、作業者が見た（カメラ４Ｃで捉えた）撮像情報のうち棚６の部分を画像処理手段４ｃにより切り分けて、挙動認識手段４ｆにより作業エリアコードを認識し（Ｓ１２）、作業エリアコードをサーバ２へ送信する（Ｓ１３）。

サーバ２は、作業エリアコードを受信すると（Ｓ１４）、作業エリアデータベース２Ｂを検索する（Ｓ１５）。サーバ２は、該作業エリアデータベース２Ｂ内に受信した作業エリアコードのレコードが存在しない場合（Ｓ１６でＮｏ）、エラー情報をウェアラブルデバイス４へ出力する（Ｓ１７）。

Ｓ１７でサーバ２からエラー情報が出力されると、ウェアラブルデバイス４はそのエラー情報を受信し（Ｓ１８）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（Ｓ１９）、処理はＳ１１に戻る。

一方、Ｓ１６において作業エリアデータベース２Ｂに該当するレコードが抽出された場合（Ｓ１６でＹｅｓ）、サーバ２は、作業者コードと作業エリアコードを有する棚出作業コードがあるかを棚出データベース２Ｆから検索し（Ｓ２０）、その棚出作業コードに対応するレコードがあるか否かを判別制御手段２ｄにより判別する（Ｓ２１）。

サーバ２は、Ｓ２０で作業者コードと作業エリアコードを有する棚出作業コードが存在しない、また、作業者コード、作業エリアコード、一方が存在しない、といったようにリレーショナルデータベースに相互に対応するレコードが存在しない場合（Ｓ２１でＮｏ）、処理はＳ１７〜Ｓ１９へ進み、処理はＳ１１に戻る。

一方、サーバ２は、Ｓ２１でリレーショナルデータベースに相互に対応するレコードが存在する場合（Ｓ２１でＹｅｓ）、これらをバッファして、ウェアラブルデバイス４からの作業コードの入力を待つ。

続いて、例えば作業者に作業内容の指示書が予め手渡されており、作業者がこの指示書を見ることで（Ｓ２２）、ウェアラブルデバイス４は、カメラ４Ｃにより、指示書に記載の作業コードを撮像し（Ｓ２３）、画像処理手段４ｃを介して切り分けた画像から作業コードを挙動認識手段４ｆにより認識して、サーバ２へ作業コードを送信する（Ｓ２４）。

サーバ２は、作業コードを受信すると（Ｓ２５）、既にＳ２１にてバッファしているこの場合は棚出作業データベース２Ｆから送られた作業コードを検索読出手段２ｃにより検索する（Ｓ２６）。サーバ２は、棚出作業データベース２Ｆを検索した結果、該当する作業情報がない場合（Ｓ２７でＮｏ）、エラー情報をウェアラブルデバイス４へ出力する（Ｓ２８）。

Ｓ２７でサーバ２からエラー情報が出力されると、ウェアラブルデバイス４はそのエラー情報を受信し（Ｓ２９）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（Ｓ３０）、処理はＳ２２に戻る。

一方、サーバ２は、棚出作業データベース２Ｆを検索した結果、該当する作業コードがある場合（Ｓ２７でＹｅｓ）、その作業コードを有するマッピング情報を読み出すべく、検索読出手段２ｃによりマッピングデータベース２Ｇを検索して読み出しておくと共に、作業コードに基づく作業内容をサーバ２において展開しておく（Ｓ３１）。

以降、すなわちこの説明では棚出作業なので最終的には「どの商品をどの棚６のどの棚枠から取り出すか」という指示がウェアラブルデバイス４のレンズ４Ｂに表示され、作業者は段階的に表示される指示内容に基づいて作業することとなる。

続いて、サーバ２は、商品を棚出する棚６と棚枠の位置情報（作業エリアコード）を含むマッピングコードをマッピングデータベース２Ｇにより読み出して、該当するマッピング情報をウェアラブルデバイス４へ送信する（Ｓ３２）。

ウェアラブルデバイス４では、サーバ２から送られたマッピング情報は、カメラ４Ｃで撮像している実際の棚６と棚枠の映像（実写）に、情報としての棚６と棚枠の画像を重ねてかつ追従させるようレンズ４Ｂに再現される。このとき、情報空間における商品を取り出すべき棚枠の色を異ならせて表示する（Ｓ３３）。なお、この処理については図７のＷ１〜Ｗ４で説明したので、ここでの説明は割愛する。

ウェアラブルデバイス４に、今、商品を棚出しようとする棚枠が別色でレンズ４Ｂに（実棚枠と重ねて）表示されない場合（Ｓ３４でＮｏ）、作業者はそのウェアラブルデバイス４が故障しているものとして別のウェアラブルデバイス４に交換したうえで（Ｓ３５）、処理をＳ１まで戻す。

Ｓ３４で、ウェアラブルデバイス４に、今、商品を棚出しようとする棚枠が別色でレンズ４Ｂに（実棚枠と重ねて）表示されている場合（Ｓ３４でＹｅｓ）、作業者はその棚枠から商品を棚出する（Ｓ３６）。

サーバ２では、この作業者の棚出作業について図８のＤ１〜Ｄ７の処理を行い（Ｓ３６）、作業コードに基づく棚枠から商品を取り出したか否かをウェアラブルデバイス４から送信された挙動認識手段４ｆによる情報に基づいて判別制御手段２ｄが判断する（Ｓ３７）。Ｓ３８では、今、棚出の指示のある棚枠に向かって作業者の手が動き、指示した棚枠が空状態となったかそうでないかを判別制御手段２ｄが判断する。

Ｓ３８において、サーバ２は、作業者の手が棚枠から離れた後に、指示した棚枠が空状態になっていない場合（Ｓ３８でＮｏ）、サーバ２はエラー情報をウェアラブルデバイス４へ出力し（Ｓ３９）、ウェアラブルデバイス４はそのエラー情報を受信し（Ｓ４０）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（Ｓ４１）、処理はＳ４３に戻る。

一方、Ｓ３８において、サーバ２は、作業者の手が棚枠から離れた後に、指示した棚枠が空状態になっている場合（Ｓ３８でＹｅｓ）、続いて、Ｓ３６において作業者が取り出した商品が指示に基づいた商品であるか否かを確認する（Ｓ４２）。

Ｓ４２において、間違った商品が取り出されている場合（Ｓ４２でＮｏ）、サーバ２は、エラー情報をウェアラブルデバイス４へ出力し（Ｓ４３）、ウェアラブルデバイス４はそのエラー情報を受信し（Ｓ４４）、該ウェアラブルデバイス４のレンズ４Ｂにエラー情報に基づくエラーメッセージを表示し（Ｓ４５）、この商品を正しい棚枠位置へ戻すべく、上記の棚入処理を行う、あるいは棚入が誤っていたイレギュラー商品として分け置いて（Ｓ４６）、処理はＳ２２まで戻る。

Ｓ４２において間違った商品ではない場合（Ｓ４２でＹｅｓ）、サーバ２は、その作業者のその作業エリアにおいてまだ他の作業コード（作業すべきレコード）が存在するか否かを検索読出手段２ｃにこの例では棚出作業データベース２Ｆから検索する（Ｓ４７）。

Ｓ４７でその作業者とその作業エリアにはまだ別の作業コードが存在する場合（Ｓ４７でＹｅｓ）、処理はＳ３２、つまり次の商品を棚出する手順へ戻り、別の作業コードが存在しない場合（Ｓ４７でＮｏ）、サーバ２は、棚入作業が終了したことをウェアラブルデバイス４へ送信する（Ｓ４８）。

ウェアラブルデバイス４は、サーバ２からの作業終了の通知を受信し（Ｓ４９）、作業者が作業者ＩＤタグ３を読み込ませるために）作業者ＩＤタグ３を見ると（Ｓ５０）、カメラ４Ｃにより作業者ＩＤタグ３が撮像され、撮像画像が作業者認識手段４ｅにより画像処理されて認識され（Ｓ５１）、サーバ２へ送信する（Ｓ５２）。

サーバ２は、作業者コードを受信し（Ｓ５３）、いま受信した作業終了時の作業者コードが作業開始時の作業者であることを確認し（Ｓ５４）、一致を確認して（エラー処理は省略）、棚出作業コードのログアウト処理て処理完了を記録する（Ｓ５５）。そして作業者は、ウェアラブルデバイス４の電源をオフとし（Ｓ５６）、棚入の処理は終了する。

本発明では、作業そのものの指示と管理を情報空間内においてリアルタイムに行うことが可能となり、人的ミスを抑制することができると共に、作業の高効率化が図れ、また、リアルタイムでの監視が可能となるため、どういう作業（挙動）であったのかを細かく把握することができ、作業の透明化を図ることができる。

１作業管理システム
２サーバ
２Ｐサーバ稼働プログラム
４ウェアラブルデバイス
４Ｐウェアラブルデバイス稼働プログラム

Claims

作業者の動きを監視及び管理すると共に指示を与える作業管理システムであって、
少なくとも各種情報を出力するレンズ及び作業現場を撮像するカメラを備えた、作業者ＩＤタグを身につけた作業者が装着するウェアラブルデバイスと、少なくとも実際の作業現場を画像として再現可能に画像処理したマッピング情報及び商品情報を蓄積したサーバとを備え、前記ウェアラブルデバイスとサーバとが相互に通信可能とされ、
前記ウェアラブルデバイスは、作業者ＩＤタグをカメラにより撮像して認識した作業者コードをサーバに送信し、作業者コードに対応する作業があるときにサーバから送信された作業コードに対応したマッピング情報に基づいて実際の作業現場を情報空間内に形成すると共にこれをレンズ越しの実際の視野に重ねるように投影し、
前記サーバは、前記カメラによって撮像した撮像情報に基づいて作業者の挙動及び商品の挙動に関する情報を得て、前記情報空間内における情報化した作業者の挙動及び商品の挙動を監視することを特徴とする作業管理システム。
サーバは、商品情報とマッピング情報に紐付された作業者が行う作業に関する情報を蓄積し、ウェアラブルデバイスに向けて作業者が行う作業に関する情報を送信し、一方、ウェアラブルデバイスは、サーバから送信された作業者が行う作業に関する情報を表示し、カメラで撮像した撮像情報に基づくことを特徴とする請求項１記載の作業管理システム。