JP2024097395A - 物品管理システム、物品管理方法 - Google Patents

Abstract

【課題】統一性のない様々なサイズや種類の物品であっても、効率的に管理することができる物品管理システム、物品管理方法を提供する。【解決手段】本開示における物品管理システムは、保管エリアにおいて物品を管理するユーザが使用するユーザ端末のカメラで認識可能なＡＲマーカを付した物品の位置情報を含む物品保管情報を記憶する処理と、ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理と、指定された物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで認識した場合に、前記指定された物品であることを示す指定物品確定情報を前記ユーザ端末に出力させる処理と、を実行する制御部を備える。【選択図】図１

Description

本開示は、物品管理システム、物品管理方法に関する。

従来、様々な物品を管理する倉庫などにおいて、物品が置かれる棚に番号を付与して、棚番号と物品を関連付けて記憶することで、多数の物品を保管したり、必要時に取り出したりすることが知られている。

しかしながら、例えば、棚に置くことが難しいサイズや重量の大きい物品、あるいは、形状、大きさが統一されていない物品を保管する場合には、規格化された棚で管理することが難しかったり、非効率であったりする、という問題がある。そのため、保管エリアにおいて、何をどこに配置したかを記憶しておくために、それぞれの物品の種類や位置をコンピュータに作業者が入力して登録（保存）する必要があり、非効率であった。

そこで、本開示は上記技術課題に鑑みてなされたものであり、その目的は、統一性のない様々なサイズや種類の物品であっても、効率的に管理することができる物品管理システム、物品管理方法を提供することである。

本開示における物品管理システムは、
保管エリアにおいて物品を管理するユーザが使用するユーザ端末のカメラで認識可能なＡＲマーカを付した物品の位置情報を含む物品保管情報を記憶する処理と、
前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理と、
前記指定された物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで認識した場合に、前記指定された物品であることを示す指定物品確定情報を前記ユーザ端末に出力させる処理と、を実行する制御部を備えることを特徴とする。

本開示における物品管理方法は、
保管エリアにおいて物品を管理するユーザが使用するユーザ端末のカメラで認識可能なＡＲマーカを付した物品の位置情報を含む物品保管情報を記憶する処理と、
前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理と、
前記指定された物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで認識した場合に、前記指定された物品であることを示す指定物品確定情報を前記ユーザ端末に出力させる処理と、を制御部が実行することを特徴とする。

本開示によれば、統一性のない様々なサイズや種類の物品であっても、効率的に管理することができる物品管理システム、物品管理方法を提供することが可能となる。

本開示の一実施形態に係る物品管理システムの構成例を示す図である。 本開示の一実施形態に係るユーザ端末の構成例を示すブロック図である。 本実施形態に係るサーバの構成例を示すブロック図である。 本実施形態において物品を保管する方法の一例を示すフローチャート図である。 本実施形態に係るユーザ端末で物品のマーカを読み取る様子を示す図である。 本実施形態において物品を取り出す方法の一例を示すフローチャート図である。 本実施形態においてユーザ端末に表示される誘導情報の一例を示す図である。 本実施形態においてユーザ端末に表示される誘導情報の他の例を示す図である。 本実施形態においてユーザ端末に表示される指定物品確定情報の一例を示す図である。 本実施形態においてユーザ端末に表示される指定物品否定情報の一例を示す図である。 本実施形態においてユーザ端末の他の例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態に係る物品管理システム１は、ユーザが携帯して使用するユーザ端末１０と、サーバ２０と、を備える。ユーザ端末１０と、サーバ２０とは、ネットワーク３０を介して接続され、通信可能である。

＜ユーザ端末＞
本例のユーザ端末１０は、眼鏡型の情報処理端末であるＡＲ（拡張現実）グラスである。ユーザ端末１０は、ARグラス、スマートフォン、タブレット端末等のＡＲ（拡張現実）を表示するＡＲデバイスとすることができる。

ユーザ端末１０は、例えば、ＡＲグラス等の眼鏡型、ゴーグル型、頭部装着型の情報処理端末、スマートフォン、ＰＣ、タブレット端末等の情報処理装置の何れか１つまたは２以上の組み合わせである。組み合わせの場合、例えば、頭部に装着するＡＲグラスと、手に持って使用するタブレット端末とが連携（通信）して動作するものであってもよいし、他の組み合わせでもよい。ユーザ端末１０を複数の装置で構成する場合、同一の２以上の装置であっても、異なる種類の２以上の装置の組み合わせであってもよい。例えば、ユーザ端末１０としては、図１１に示すように画像を表示させるためのタブレット端末１１０ａと、カメラやセンサ等を備える手持ちのハスキャナ装置１１０ｂ（３Ｄスキャナ）とが通信ケーブル１１０ｃで有線接続（無線接続でもよい）される構成としてもよい。タブレット端末１１０ａは、各種情報を表示させたり、ユーザの入力を受け付けることができ、スキャナ装置１１０ｂは把持部１１１とヘッド部１１２を有し、カメラやセンサで画像情報等を取得したり、測定したりすることができる。その場合、ユーザは、片方の手でスキャナ装置１１０ｂの把持部１１１を持ち、スキャナ装置のヘッド部１１２に設けられたカメラを物品やＡＲマーカに向けて画像情報、点群データ等を取得し、その画像をタブレット端末１１０ａに表示させたり、画像情報から生成、取得した各種の情報を表示させたりすることができる。そして、荷物を保管する際の登録（記憶）処理や、保管している荷物を取り出すピッキング作業時に、スキャナ装置で物品及びＡＲマーカを撮影することで、物品及びＡＲマーカの３次元位置情報、姿勢情報を登録したり、確認したりすることができる。

図２は、ユーザ端末１０の構成の概略を説明するブロック図である。図示のように、ユーザ端末１０は、例えば、制御部１１、記憶部１２、出力部１３、通信部１４、撮像部１５、センサ部１６を備え、これらが互いにバス１７を介して接続される。ユーザ端末１０は、図２の構成の一部のみを備えるものであってもよいし、他の構成を備えてもよい。また、上述のようにＡＲグラスとタブレット端末等の複数の装置（ハードウェア）の組み合わせによって、各機能部が構成されていてもよい。

ユーザ端末は、撮像部１５で取得した画像データに含まれるＡＲマーカを識別する（つまりＡＲマーカを認識する）ことができ、当該ＡＲマーカに関連付けられた物品の情報を記憶部等から取得することができる。また、ユーザ端末は、撮像部１５で取得した画像データに含まれるＡＲマーカの位置情報及び姿勢情報（角度情報）を取得することができる。また、ユーザ端末は、撮像部１５で取得した画像データに基づいて、物品の輪郭を取得したり、物品の種類を推定したり、物品の形状（外形）を推定することができる。

制御部１１は、各部間のデータの受け渡しを行うとともに、ユーザ端末１０全体の制御を行うものである。例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサによって実現される。制御部１１は、記憶部１２にアクセス可能であり、記憶部１２に情報を格納したり、記憶部１２から情報を読み出したりすることができる。

制御部１１は、記憶部１２に記憶されたプログラムを実行することによって、各種データの取得、生成、出力等を行う。制御部１１は、撮像部１５、センサ部１６、サーバ２０等の他の装置から取得した情報を取得し、当該情報と記憶部１２の情報等に基づいて、ＡＲグラスの位置及び姿勢（向き）を推定することができる。

記憶部１２は、１つ以上のステップを行うためのプログラム、コード等を記憶しており、制御部１１は、当該プログラム等に従って、各部の動作を制御する。記憶部１２は、システムプログラムが記憶された読取専用の記憶領域である不揮発性記憶装置と、制御部１１による演算処理のワーク領域として使用される書き換え可能な記憶領域である揮発性記憶装置とを有している。不揮発性記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスクなどによって実現され、揮発性記憶装置は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって実現される。

記憶部１２は、たとえば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。記憶部１２は、撮像部１５やセンサ部１６から取得した各データ、制御部で生成したデータ、及びサーバ２０等の外部装置から受信したデータを記憶することができる。例えば、撮像部１５としての各種カメラで撮像した静止画・動画等の画像データが内蔵メモリ又は外部メモリに記憶されるようにしてもよい。記憶部１２は、ＡＲマーカに関する情報、物品に関する情報、保管エリアに関する情報、ユーザに関する情報、物品の保管履歴に関する情報、ユーザ端末を使用するユーザの移動履歴、物品搬送履歴を含むユーザ端末使用履歴情報等を記憶することができる。

出力部１３は、ユーザ端末が取得した情報や生成した情報を出力することができる。出力部１３は、例えば液晶表示装置などの表示装置を備えている。表示装置は、ＡＲグラスのレンズ部分に設けられてもよい。表示装置としては、例えば、ウェイブガイド形式のディスプレイ（Ｗａｖｅ Ｇｕｉｄｅ Ｄｉｓｐｌａｙ）、各種モニター、タッチパネル等とすることができる。表示装置には、制御部１１により制御される画像が表示される。つまり、出力部１３は、制御部１１が生成した画像を表示させることができる。また、表示装置は、一部または全体が透明または半透明に構成された透明部を有し、当該透明部を通して現実空間の風景を視認しつつ、ヴァーチャル画像をその風景に重ねて表示させることができる。出力部１３は、現実空間の通路に、目的地へ向かうための矢印画像や経路を示す情報を重畳表示させることも可能である。また、出力部１３は、例えば、現在位置、目的地、スタート地点等を示すマップ情報、目的地までの経路画像、目的地の方角、目的地までの距離及び／又は推定時間、スタート地点から現在地点までの距離情報、到着予想時刻、等の情報を出力（画像表示、音声出力等）することができる。出力部１３は、音声を出力するスピーカを備えていてもよいし、音声に連動して、又は音声に変えて、振動を出力する振動出力部を備えていてもよい。出力部１３は、指定された物品の保管場所にユーザを誘導するための誘導情報、ユーザ端末のカメラで認識した物品（ＡＲマーカ）が指定された物品であることを示す指定物品確定情報を出力することができる。

出力部１３は、現実空間の画像（例えば後述するマーカ等）が撮像（撮影）された際のＡＲグラスの位置（撮像位置）及び姿勢（撮像方向）に応じたヴァーチャル画像（３Ｄ－ＣＡＤモデル、ＣＧモデル等）を、表示装置のレンズを透過して見える現実空間の風景に重ね合わせて表示させる。なお、出力部１３は、撮像部１５によって撮像された画像にヴァーチャル画像を重ね合わせたＡＲ画像を制御部１１等により生成し、当該ＡＲ画像を表示するようにしてもよい。

通信部１４は、ユーザ端末１０を、インターネットを含むネットワーク３０に接続する。この通信部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

撮像部１５は、１以上の撮像装置（カメラ）を備えている。制御部１１は、撮像装置によって撮像された静止画または動画の画像データを記憶部１２、サーバ２０等に送ることができる。撮像装置は、例えば、RGBカメラ、VSLAM用の左右一対の魚眼カメラ（fisheye Camera）、ＴｏＦカメラ（Time-of-Flight Camera）等を含むことができる。このような撮像装置は、センサ部１６としても機能し得る。例えば、ＴｏＦカメラ（Time-of-Flight Camera）は、光の飛行時間を測定することで対象物との距離することができるものであり、ＴｏＦセンサとも称される。

撮像部１５は、ユーザの操作に応じて、あるいは予め設定された指示情報に基づいて、所定時間にわたって連続した画像を撮像することができる。また、撮像部１５は、ユーザの操作、あるいは予め設定された指示情報に基づいて、非連続的な１時点の画像を撮像することもできる。つまり、撮像部１５は、静止画、動画の撮像が可能である。

センサ部１６は、例えば、３軸加速度センサ、３軸ジャイロセンサ、方位センサ、ＧＰＳ等とすることができる。各センサは、各センサが検出した位置、姿勢、移動の速度、加速度等の情報（検出信号）を制御部１１に伝達（入力）することができる。３次元点群データを取得するためのセンサを備える。センサの種類は、パッシブ、アクティブ、三角測量、同軸測量等の各種形式のセンサであってもよい。

ユーザ端末は、ユーザからの要求（指示）、選択等の入力情報を受け付ける入力部を備えてもよい。入力部は、例えば、タッチパネル、機械的なスイッチとすることができる。なお、入力部は、アイトラッキング技術を用いた視線入力や、マイク等を用いた音声入力を受け付けるものであってもよい。入力部は、スマートフォン、タブレット端末等の別の情報処理装置からの入力情報を、通信部を介して受信して受け付けるようにしてもよい。

ユーザ端末は、RGBカメラを備える。RGBカメラの焦点距離は、測距センサで取得した距離情報に基づいて設定される。例えば、RGBカメラの焦点距離は、対象物までの距離とすることができ、これによれば、対象物の表面に焦点が設定されるため、対象物の鮮明な画像データを取得することができる。その結果、対象物の鮮明な画像が得られるため、例えば標識（ＡＲマーカー、ＱＲコード）の読み取り精度、対象物を判別する際の精度が高くなる。

ユーザ端末は、VSLAMカメラモジュールを備える。VSLAMカメラモジュールは、カメラで取得した画像データ（映像データ）に基づいて、３次元での自己位置及び自己姿勢を推定する。VSLAMカメラモジュールは、自己位置、姿勢の推定に加え、周囲の環境地図作成も同時に実行することができる。VSLAMカメラモジュールは、一対のステレオカメラを備えていてもよい。ステレオカメラは、２つのカメラを用いて対象物を異なる方向から（同時に）撮影し、撮影した画像から得られる視差情報を利用することで、対象物までの距離を算出することができる。

＜サーバ＞
サーバ２０は、システム管理者等が各種サービス等を運営・管理する際に利用する情報処理装置であり、例えば、ワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティング技術によって論理的に実現されてもよい。

図３に示すように、サーバ２０は、例えば、制御部２１、記憶部２２、出力部２３、通信部２４、入力部２５を備え、これらが互いにバス２６を介して接続される。サーバ２０は、通信部２４を介してＡＲグラスと通信可能である。サーバ２０は、ＡＲグラス等から各種の要求信号を受信すると、制御部２１においてプログラムによる処理を実行し、処理結果（例えば、生成された画像や音声等）を適宜ＡＲグラス等に送信したり、記憶部２２に記憶したりする。なお、上記プログラムの一部は、ＡＲグラスに送信されてＡＲグラス上で実行されてもよい。

制御部２１は、各部間のデータの受け渡しを行うとともに、サーバ２０全体の制御を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が所定のメモリ（記憶部）に格納されたプログラムを実行することによって実現される。

記憶部２２は、システムプログラムが記憶された読取専用の記憶領域である不揮発性記憶装置と、制御部２１による演算処理のワーク領域として使用される書き換え可能な記憶領域である揮発性記憶装置とを有している。不揮発性記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスクなどによって実現され、揮発性記憶装置は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって実現される。

記憶部２２は、現実空間に対応するヴァーチャル空間（２次元または３次元仮想空間）に関する情報、ヴァーチャル画像に関する情報、マーカに関する情報、各座標系（現実空間座標系、ユーザ端末座標系、マーカ座標系、仮想空間座標系）関する情報等を記憶することができる。

記憶部２２は、ユーザ端末のカメラ等から受信した情報を記憶することができる。また、記憶部２２は、上記カメラの記憶部１２に記憶された情報を記憶するようにしてもよい。

記憶部２２は、１以上の物品に関する情報を記憶する。物品に関する情報は、例えば、物品の識別情報（ID情報）、物品の保管位置、保管姿勢（向き）、物品の種類、属性（例えば、建築資材、芸術品、工具、等）、製造者、所有者、製造日、保管開始日、保管終了予定日、大きさ、重量、色、材質、物品に関連付けられたマーカ情報、物品に関する画像等とすることができるが、これに限られない。

記憶部２２は、１以上の保管エリアに関する情報を記憶することができる。保管エリアに関する情報は、保管エリアの２次元マップ情報、３次元マップ情報、障害物の位置、障害物の種類、移動可能領域（通路）情報、出入り口の位置情報、移動制限情報、保管エリアの位置情報（緯度、経度、複数の保管エリア同士の位置関係）、保管エリア内での保管可能領域（１以上の保管区画）情報、等であるが、これに限られない。

記憶部２２は、１以上のユーザ端末に関する情報、ユーザに関する情報を記憶する。ユーザ端末に関する情報は、複数のユーザ端末を使用する場合に、それぞれのユーザ端末の識別情報、性能情報、使用履歴、ユーザ端末に関連付けられたユーザ情報等である。ユーザに関する情報は、ユーザの識別情報、氏名、属性（性別、年齢、住所等）、使用履歴（日付、使用期間、移動経路等）、関連付けられた物品に関する情報等とすることができる。記憶部２２の情報は、ユーザ端末の記憶部に記憶されていてもよい。

記憶部２２は、保管エリアで保管されるＡＲマーカを付した物品の位置情報を含む物品保管情報、指定された物品の保管場所にユーザを誘導するための誘導情報、指定された物品であることを示す指定物品確定情報を記憶する。物品、マーカ、ユーザ、通路、出入り口等の各種位置情報は、保管エリアの２次元または３次元の座標系（現実空間座標系及び仮想空間座標系）における２次元座標（ｘ、ｙ）、または３次元座標（ｘ、ｙ、ｚ）で表すことができる。

出力部２３は、音声を出力するスピーカ、画像を表示するディスプレイ等で構成される。

通信部２４は、サーバ２０を、インターネットを含むネットワーク３０に接続する。この通信部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

入力部２５は、キーボードやマウス、あるいはタッチパネル等とすることができる。

＜マーカ＞
マーカ４０は、例えば、ＡＲＵｃｏマーカー、ＡｐｒｉｌＴａｇとすることができるが、これに限られず、ＡＲＴａｇ、ＡＲＴｏｏｌｋｉｔ、ＡＲＴｏｏｌｋｉｔＰｌｕｓ、ＲＵＮＥ－Ｔａｇ、ｒｅａｃＴＩＶｉｓｏｎ等の、他のＡＲマーカ（ＡＲタグ）とすることができる。マーカ４０は、例えば、全体として正方形である。マーカ４０は、複数の正方形をした画素が二次元に配列されたマトリクス構造を有するものであり、各画素が白または黒で表示される。マーカ４０の形状、描かれた図形はこれに限定されない。

マーカ４０は、固有の２次元画像が印刷された平面状のシール等で構成され、各マーカ４０は、各種情報に関連付けられている。それぞれのマーカ及び当該マーカに関連付けられる情報は、データベース（記憶部１２、２２等）に記憶される。マーカ４０は、例えば、ユーザ端末１０のカメラで撮像することにより、それぞれのマーカ４０固有の識別情報等を取得することができ、また、ユーザ端末１０のカメラに対する相対的な３次元位置、３次元の姿勢（角度）の情報を取得することができる。なお、ユーザ端末１０のカメラで任意のマーカ４０を撮像する際には、マーカ４０を正面から撮像してもよいし、斜めから撮像してもよく、制御部による画像処理によって、各マーカ４０固有の識別情報、位置、姿勢、関連付けられる物品の情報を取得することができる。

ユーザ端末４０は、カメラの撮影範囲に含まれる複数のマーカを同時に認識することができる。例えば、複数の物品をそれぞれ保管エリアの所定位置に置いた状態で、それら複数の物品のマーカをユーザ端末のカメラで同時に撮影し、複数のマーカを認識させると、複数のマーカの識別情報を取得することができ、且つ、当該複数のマーカの位置情報及び姿勢情報をそれぞれ関連付けて記憶することができる。

具体的には、例えば、ＡＲグラスのカメラでマーカ４０を撮影すると、ＡＲグラスの記憶部またはサーバの記憶部を参照し、そのマーカ４０に対応する情報を、ＡＲグラスに送信する。これにより、ＡＲグラスの制御部１１がそのマーカ４０に対応する物品情報等を取得することができる。また、例えば、現実空間における位置、姿勢等の情報を関連付けて記憶部２２に記憶させておくことができる。これによれば、カメラでマーカ４０を撮像するだけで、マーカ４０のＩＤに加えて、当該マーカの現実空間における位置、姿勢等の情報を正確に把握することができる。

このようなマーカ４０に関する情報は、ＡＲグラスの出力部１３に表示させることができる。ユーザは、ＡＲグラスのカメラでマーカ４０を撮像するだけで、そのマーカ４０のＩＤ、位置、姿勢等の情報を出力部１３から確認することができる。なお、カメラで撮像したマーカ４０の画像に基づいて、そのマーカ４０のＩＤを取得する処理は、（サーバ２０と通信せずに）ユーザ端末のみで一連の処理を行うようにしてもよい。その場合、ユーザ端末の記憶部１２に、マーカ４０に関する情報を予め記憶しておく。

図４は、ユーザ端末１０を使用するユーザが、物品を屋外又は屋内の保管エリアに保管する方法を示す。例えば、予め、物品の情報（種類、属性、サイズ、重量等）とＡＲマーカの情報を関連付けて記憶しておく（Ｓ１）。そして、物品にマーカを取り付けるとともに保管エリアに設置（保管）する（Ｓ２）。なお、物品の情報（種類、属性、サイズ、重量等）とＡＲマーカの情報を関連付けて記憶するタイミングは、物品とＡＲマーカを設置するタイミングでもよいし、設置した後のタイミングでもよい。また、１つの物品に１つのＡＲマーカを取り付けてもよいし、複数のＡＲマーカを取り付けてもよい。１つの物品に複数のＡＲマーカを用いる場合、ＡＲマーカが１つだけの場合に比べて、大きい容量の情報を当該物品に関連付けて記憶することができる。その点、情報量に応じて使用するＡＲマーカの数を決めることが好ましく、２つで１セットのＡＲマーカでもよいし、３つで１セットのＡＲマーカとしてもよい。また、物品の前面と背面、といったように、物品の複数個所に同一（同一セット）のＡＲマーカを設けてもよい。

ユーザは、物品にマーカ４０を貼り付けるなどして固定するとともに、マーカ４０が通路から見える向きで、保管エリアの任意の場所に置く。ユーザ端末１０は、上記のＶＳＬＡＭモジュール、ＧＮＳＳ等の衛星信号を用いた自己位置推定機能により、常に繰り返し自己位置推定を行い、ユーザ端末の自己位置情報及び姿勢情報を取得し、サーバ２０に送信することができる。

また、マーカ４０をユーザ端末のカメラで撮影して認識させることで（Ｓ３）、当該マーカ４０の位置及び向きを推定し、記憶部に記憶（登録）することができる（Ｓ４）。図５は、ユーザ端末を用いて物品に付されたＡＲマーカを認識させる様子を示す。例えば、制御部（１１、２１）は、現実空間上でのユーザ端末のカメラの３次元位置及び向きの情報を取得するとともに、ユーザ端末のカメラに対するマーカの相対的な３次元位置及び３次元角度の情報を取得し、現実空間上でのマーカの３次元位置及び姿勢を算出する。

制御部（１１、２１）は、撮影されたマーカ４０の画像データに基づいて、ユーザ端末座標系（カメラ座標系）上でのマーカ４０の３次元の位置、姿勢を算出する。その際、正方形のマーカ４０の何れかの角を構成する１点と、当該１点の角で直行する２辺（エッジ）を参照要素（参照点、参照線）として、マーカ４０の位置と姿勢を決定する。制御部（１１、２１）は、ユーザ端末座標系と、マーカ座標系との３次元の相対的な位置関係（座標変換マトリクス（Ｒ、Ｔ））を算出することもできる。

また制御部（１１、２１）は、撮影されたマーカ４０の画像データに基づいて算出した現実空間座標系でのマーカ４０の位置、姿勢の情報を記憶部（１２、２２）に記憶する。なお、制御部（１１、２１）は、位置や形状が既知の物体の画像と、それを撮像したカメラの位置及び姿勢を求める、いわゆるＰｎＰ問題（Perspective n-Point）を解くことで、カメラ及びこれを含むユーザ端末の位置座標（撮像位置座標）及び姿勢を推定することもできる。

なお、制御部は、物品を保管エリアに保管する前、保管開始時（つまり、物品を保管エリアに置く際）、または保管開始後に、物品の情報とマーカ情報を関連付けて記憶部に記憶してもよい。ユーザ端末のカメラで撮影した画像データに基づいて、物品に対するマーカの位置及び向きの情報も併せて記憶することも可能である。ユーザ端末で取得した情報に基づいて、ユーザ端末の制御部またはサーバの制御部により、物品の３次元形状、輪郭形状、物品に対する相対的なマーカの位置、及び姿勢情報を取得することができる。

これにより、物品およびマーカの保管エリアにおける位置情報及び姿勢情報が、記憶部に記憶される。このような物品およびマーカに関する情報の記憶処理のタイミングは、ユーザがユーザ端末に設けられた登録ボタンを押したり、タッチパネル等に表示される登録ボタンを選択したり、音声入力により登録を要求したりするタイミングであってもよい。あるいは、ユーザ端末のカメラで物品に貼り付けられたマーカを所定時間以上、撮影した場合に、自動的に当該マーカの位置情報等を記憶するようにしてもよい。その場合、ユーザ端末の制御部は、撮影画像にマーカを認識してからの経過時間を測定し、当該経過時間が所定の時間を超えたと判定された場合に、記憶部への記憶処理を実行する。当該記憶処理は、ユーザ端末でもサーバでも、両方で行ってもよい。

図６は、保管されている物品を取り出す（ピッキングする）際のフローを例示する。まず、ユーザは、取り出したい物品を指定する（Ｓ１２）。例えば、サーバ装置は、保管されている物品の一覧（物品名称、物品画像等の各種情報の一覧）をユーザ端末等に表示させ、その中からユーザは、取り出したい物品を指定する。また、取り出す物品の指定は、予め設定された順に、サーバ側で自動的に行われるようにしてもよい。あるいは、他の情報処理装置等からの指示に基づいて、取り出す物品が決められるようにしてもよい。

制御部は、ユーザ端末の現在位置情報と、物品保管情報とに基づいて、指定された物品の保管場所にユーザを誘導するための誘導情報をユーザ端末に出力させる（Ｓ１１）。

誘導情報は、画像情報（静止画、動画）、音声情報の少なくとも何れかを含む。音声の場合、誘導情報として、現在位置から指定物品までの距離（「あと〇ｍです」等）、方向（「右前方です」等）、経路（「次の角を右に曲がります」等）を示す情報を説明する音声をユーザ端末のスピーカから出力する。また、画像の場合、例えばＡＲグラスのレンズ、あるいはタブレット端末の画面等で構成される表示部に、現在位置と指定物品の保管場所を示すマップ情報や、進行方向を示す矢印等の画像を表示させる。

図７、８は、ユーザ端末に表示される誘導情報の一例を示す。図７の例では、保管エリアにおけるユーザ（ユーザ端末）の現在位置、１以上の指定物品、移動経路、通路、出入口、目印となる参照物、等を示すマップ情報を示している。図８の例では、レンズを通して見える現実の通路や参照物品等に重ねて、それらを説明するための「通路」「目印」というテキスト表示、矢印で示す進行方向情報、指定物品の保管場所を示す示唆情報を表示させる場合の例を示す。なお、図７，８の例に限られず、誘導情報は、任意の情報を含むものであってもよい。

誘導情報によって誘導されたユーザは、指定物品と考えられる物品に付されたＡＲマーカをユーザ端末のカメラで撮影し、認識させる（Ｓ１３）。制御部は、ユーザ端末のカメラで撮影したＡＲマーカと、記憶部に記憶された当該物品のＡＲマーカとを照合（比較）して、一致した場合には、指定された物品であることを示す指定物品確定情報をユーザ端末に出力させる（Ｓ１４）。なお、一致しない場合には、指定された物品ではないことを示す指定物品否定情報をユーザ端末に出力させる。指定物品確定情報及び指定物品否定情報は、それぞれ音声であってもよいし、画像であってもよい。

図９は、指定物品確定情報の一例を示す。図９の例では、ＡＲグラスのレンズを通して見える物品およびＡＲマーカ（もしくはユーザ端末のカメラで撮影している物品およびＡＲマーカ）に重なるように、指定物品確定情報として、肯定を意図する記号と、「指定された物品です！」というテキスト情報が表示されている。

図１０は、指定物品否定情報の一例を示す。図１０の例では、ＡＲグラスのレンズを通して見える物品およびＡＲマーカ（もしくはユーザ端末のカメラで撮影している物品およびＡＲマーカ）に重なるように、指定物品否定情報として、否定を意図する記号と、「指定された物品ではありません！」というテキスト情報が表示されている。

上記の通り、本実施形態の物品管理システムは、保管エリアにおいて物品を管理するユーザが使用するユーザ端末のカメラで認識可能なＡＲマーカを付した物品の位置情報を含む物品保管情報を記憶する処理と、前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理と、前記指定された物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで認識した場合に、前記指定された物品であることを示す指定物品確定情報を前記ユーザ端末に出力させる処理と、を実行する制御部を備える。このような構成により、例えば、棚に置くことが難しいサイズや重量の大きい物品、あるいは、形状、大きさが統一されていない物品を保管する場合であっても、どこに何を置いたか、といった情報を、ユーザ端末を介して簡単にユーザに提供することができる。したがって、統一性のない様々なサイズや種類の物品であっても、効率的に管理することができる。また、例えば工場内の工具のように、保管位置が決められている物品の管理にも応用可能である。これらの工具のような物品を使用するたびにユーザ端末のカメラで物品に付されたＡＲマーカを認識させて、その位置を記憶させておけば、物品の紛失や散乱を抑制することもできる。

また、本実施形態の物品管理システムにおいて、制御部は、前記保管エリアに配置した物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで撮影した画像データに基づいて、前記ユーザ端末のカメラに対する相対的な前記ＡＲマーカの位置情報及び姿勢情報を推定する処理と、前記ユーザ端末のカメラの位置情報及び姿勢情報と、前記ユーザ端末のカメラに対する相対的な前記ＡＲマーカの位置情報及び姿勢情報と、に基づいて、前記保管エリアにおける前記ＡＲマーカの位置情報及び姿勢情報を推定する処理と、を実行するようにしてもよい。この場合、ＡＲマーカの位置だけでなく、その姿勢（向き）まで把握することができ、物品を保管したり、取り出したりする際の効率を高めることができる。

また、本実施形態の物品管理システムにおいて、制御部は、前記保管エリアに配置した複数の物品にそれぞれ付された複数の前記ＡＲマーカを前記ユーザ端末のカメラで同時に撮影した画像データに基づいて、前記保管エリアにおける前記複数のＡＲマーカの位置情報及び姿勢情報を推定する処理と、を実行するようにしてもよい。この場合、複数の物品に関する情報をまとめて登録したり、認識したりすることができ、より効率性を高めることができる。

また、本実施形態の物品管理システムにおいて、制御部は、一の物品に付された複数のＡＲマーカを同時に前記ユーザ端末のカメラで認識することにより、前記一の物品の情報を取得するようにしてもよい。この場合、１つの物品に多くの情報を関連付けて記憶することができる。

また、本実施形態の物品管理システムにおいて、制御部は、一の物品と、該一の物品に付されたＡＲマーカと、を前記ユーザ端末のカメラで撮影した画像データに基づいて、該一の物品と該ＡＲマーカとを関連付けて前記物品保管情報として記憶する処理を実行するようにしてもよい。この場合、ユーザ端末で物品とＡＲマーカを認識させるだけで、容易に物品とマーカを登録することができる。なお、物品の画像データから当該物品の種類、属性等を推定する場合には、ディープラーニング等の機械学習の処理を制御部が実行するようにしてもよい。

また、本実施形態の物品管理システムにおいて、制御部は、前記誘導情報としての音声を前記ユーザ端末から出力させる処理を実行するようにしてもよい。この場合、視界に頼らずに指定物品までユーザを誘導することが可能となる。

また、本実施形態の物品管理システムにおいて、制御部は、前記誘導情報としての誘導画像を前記ユーザ端末の表示部に表示させる処理を実行するようにしてもよい。この場合、誘導画像を見るだけで、指定物品までユーザを誘導することが可能となる。

また、本実施形態の物品管理システムにおいて、誘導情報は、前記指定された物品の保管場所に向けたユーザの推奨進行方向を示す方向情報を含むようにしてもよい。この場合、指定物品に向かう方向を直観的にユーザに理解させることができる。

また、本実施形態の物品管理システムにおいて、誘導情報は、前記保管エリアに対応するマップ上における前記指定された物品の保管場所と、前記ユーザ端末の現在位置とを示すマップ画像情報を含むようにしてもよい。この場合、指定物品の位置と自分の現在位置とを、ユーザに直観的に理解させることができる。

また、本実施形態の物品管理システムにおいて、誘導情報は、前記ユーザ端末の現在位置から前記指定された物品の保管場所への推奨経路を前記保管エリアに対応するマップ上で示す経路情報を含むようにしてもよい。この場合、指定物品までの経路を、ユーザに直観的に理解させることができる。

また、本実施形態の物品管理システムにおいて、ユーザ端末は、ＡＲグラスであるようにしてもよい。この場合、ＡＲグラスのレンズを通して現実の景色を見ながら、誘導情報等を確認することができ、両手がふさがることがないので、作業もし易い。

また、本実施形態の物品管理システムにおいて、ユーザ端末でＡＲマーカが識別できない場合に、認識エラーを示す情報を音声や画像でユーザ端末から出力するようにしてもよい。これらの認識エラーに関する情報は、予め記憶部に記憶される。

また、本実施形態の物品管理システムにおいて、保管エリアの中で物品を置くのに不適切な場所、適切な場所の少なくとも何れかを予め登録しておいてもよい。その場合、物品を保管する際に、物品（ＡＲマーカ）の位置情報と、記憶部の不適切な場所の情報を照合し、不適切なに物品が置かれている場合には、アラート情報をユーザ端末から出力させることができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、サーバの制御部および記憶部は、互いにネットワークで接続された異なるサーバにより実現されてもよい。また、上述の装置、サーバ等で行われる情報処理は、例えば一部でディープラーニングなどの所謂機械学習による処理を含んでもよい。

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るユーザ端末、サーバの各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
保管エリアにおいて物品を管理するユーザが使用するユーザ端末のカメラで認識可能なＡＲマーカを付した物品の位置情報を含む物品保管情報を記憶する処理と、
前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理と、
前記指定された物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで認識した場合に、前記指定された物品であることを示す指定物品確定情報を前記ユーザ端末に出力させる処理と、を実行する制御部を備える、物品管理システム。
（項目２）
前記制御部は、
前記保管エリアに配置した物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで撮影した画像データに基づいて、前記ユーザ端末のカメラに対する相対的な前記ＡＲマーカの位置情報及び姿勢情報を推定する処理と、
前記ユーザ端末のカメラの位置情報及び姿勢情報と、前記ユーザ端末のカメラに対する相対的な前記ＡＲマーカの位置情報及び姿勢情報と、に基づいて、前記保管エリアにおける前記ＡＲマーカの位置情報及び姿勢情報を推定する処理と、を実行する、項目１に記載の物品管理システム。
（項目３）
前記制御部は、
前記保管エリアに配置した複数の物品にそれぞれ付された複数の前記ＡＲマーカを前記ユーザ端末のカメラで同時に撮影した画像データに基づいて、前記保管エリアにおける前記複数のＡＲマーカの位置情報及び姿勢情報を推定する処理と、を実行する、項目1又は２に記載の物品管理システム。
（項目４）
前記制御部は、
一の物品に付された複数のＡＲマーカを同時に前記ユーザ端末のカメラで認識することにより、前記一の物品の情報を取得する、項目1又は２に記載の物品管理システム。
（項目５）
前記制御部は、
一の物品と、該一の物品に付されたＡＲマーカと、を前記ユーザ端末のカメラで撮影した画像データに基づいて、該一の物品と該ＡＲマーカとを関連付けて前記物品保管情報として記憶する処理を実行する、項目1又は２に記載の物品管理システム。
（項目６）
前記制御部は、
前記誘導情報としての音声を前記ユーザ端末から出力させる処理を実行する、項目1又は２に記載の物品管理システム。
（項目７）
前記制御部は、
前記誘導情報としての誘導画像を前記ユーザ端末の表示部に表示させる処理を実行する、項目1又は２に記載の物品管理システム。
（項目８）
前記誘導情報は、前記指定された物品の保管場所に向けたユーザの推奨進行方向を示す方向情報を含む、項目１又は２に記載の物品管理システム。
（項目９）
前記誘導情報は、前記保管エリアに対応するマップ上における前記指定された物品の保管場所と、前記ユーザ端末の現在位置とを示すマップ画像情報を含む、項目１又は２に記載の物品管理システム。
（項目１０）
前記誘導情報は、前記ユーザ端末の現在位置から前記指定された物品の保管場所への推奨経路を前記保管エリアに対応するマップ上で示す経路情報を含む、項目１又は２に記載の物品管理システム。
（項目１１）
前記ユーザ端末は、ＡＲグラスである、項目１又は２に記載の物品管理システム。
（項目１２）
保管エリアにおいて物品を管理するユーザが使用するユーザ端末のカメラで認識可能なＡＲマーカを付した物品の位置情報を含む物品保管情報を記憶する処理と、
前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理と、
前記指定された物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで認識した場合に、前記指定された物品であることを示す指定物品確定情報を前記ユーザ端末に出力させる処理と、を制御部が実行する、物品管理方法。

１ 物品管理システム
１０ ユーザ端末
２０ サーバ
３０ ネットワーク

Claims (12)

1. 保管エリアにおいて物品を管理するユーザが使用するユーザ端末のカメラで認識可能なＡＲマーカを付した物品の位置情報を含む物品保管情報を記憶する処理と、
   前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理と、
   前記指定された物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで認識した場合に、前記指定された物品であることを示す指定物品確定情報を前記ユーザ端末に出力させる処理と、を実行する制御部を備える、物品管理システム。
2. 前記制御部は、
   前記保管エリアに配置した物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで撮影した画像データに基づいて、前記ユーザ端末のカメラに対する相対的な前記ＡＲマーカの位置情報及び姿勢情報を推定する処理と、
   前記ユーザ端末のカメラの位置情報及び姿勢情報と、前記ユーザ端末のカメラに対する相対的な前記ＡＲマーカの位置情報及び姿勢情報と、に基づいて、前記保管エリアにおける前記ＡＲマーカの位置情報及び姿勢情報を推定する処理と、を実行する、請求項１に記載の物品管理システム。
3. 前記制御部は、
   前記保管エリアに配置した複数の物品にそれぞれ付された複数の前記ＡＲマーカを前記ユーザ端末のカメラで同時に撮影した画像データに基づいて、前記保管エリアにおける前記複数のＡＲマーカの位置情報及び姿勢情報を推定する処理と、を実行する、請求項1又は２に記載の物品管理システム。
4. 前記制御部は、
   一の物品に付された複数のＡＲマーカを同時に前記ユーザ端末のカメラで認識することにより、前記一の物品の情報を取得する、請求項1又は２に記載の物品管理システム。
5. 前記制御部は、
   一の物品と、該一の物品に付されたＡＲマーカと、を前記ユーザ端末のカメラで撮影した画像データに基づいて、該一の物品と該ＡＲマーカとを関連付けて前記物品保管情報として記憶する処理を実行する、請求項1又は２に記載の物品管理システム。
6. 前記制御部は、
   前記誘導情報としての音声を前記ユーザ端末から出力させる処理を実行する、請求項1又は２に記載の物品管理システム。
7. 前記制御部は、
   前記誘導情報としての誘導画像を前記ユーザ端末の表示部に表示させる処理を実行する、請求項1又は２に記載の物品管理システム。
8. 前記誘導情報は、前記指定された物品の保管場所に向けたユーザの推奨進行方向を示す方向情報を含む、請求項１又は２に記載の物品管理システム。
9. 前記誘導情報は、前記保管エリアに対応するマップ上における前記指定された物品の保管場所と、前記ユーザ端末の現在位置とを示すマップ画像情報を含む、請求項１又は２に記載の物品管理システム。
10. 前記誘導情報は、前記ユーザ端末の現在位置から前記指定された物品の保管場所への推奨経路を前記保管エリアに対応するマップ上で示す経路情報を含む、請求項１又は２に記載の物品管理システム。
11. 前記ユーザ端末は、ＡＲグラスである、請求項１又は２に記載の物品管理システム。
12. 保管エリアにおいて物品を管理するユーザが使用するユーザ端末のカメラで認識可能なＡＲマーカを付した物品の位置情報を含む物品保管情報を記憶する処理と、
    前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理と、
    前記指定された物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで認識した場合に、前記指定された物品であることを示す指定物品確定情報を前記ユーザ端末に出力させる処理と、を制御部が実行する、物品管理方法。