WO2018100631A1 - 情報処理装置 - Google Patents

Abstract

情報処理装置は、空間情報測定部と、表示部と、制御部と、を備える。制御部は、空間情報測定部によって測定される空間情報であって、荷室の寸法及び向きを含む空間情報を取得する第１の取得部と、配置情報を取得する第２の取得部であって、配置情報は、荷室に関係する荷室情報と、荷室に積載されるべき一以上の荷物のそれぞれについての荷物情報であって、当該荷物の寸法と重量の少なくとも一方を含む荷物情報と、に基づいて、一以上の荷物のそれぞれの荷室における配置を計算した結果である、第２の取得部と、取得済みの空間情報と、取得済みの配置情報と、に基づいて、一以上の荷物のそれぞれを示す一以上のオブジェクト画像を表示部に表示させる表示制御部であって、一以上のオブジェクト画像のそれぞれは、当該オブジェクト画像が示す荷物の荷室における配置位置として計算された位置に、現実の荷室に重畳される態様で表示される、表示制御部と、を備える。

Description

情報処理装置

　本明細書によって開示される技術は、荷室に積載される荷物の配置に関係する情報の表示に用いられる情報処理装置に関する。

　例えば、特開２０１４－１５１９７８号公報（以下、特許文献１という）には、荷物をトレーラに積み付ける際の配置を計算するシステムが開示されている。このシステムは、荷物情報及びトレーラ情報を入力するデータ入力部と、入力された荷物情報及びトレーラ情報に基づいて、荷物のトレーラにおける配置を計算する積み付け計算部と、計算の結果に基づいて荷物のトレーラにおける配置イメージを出力する結果出力部と、を備える。作業員に、配置イメージに従って現実のトレーラに荷物の積み付けを行わせることにより、積み付け作業の効率化を図っている。

　特許文献１のシステムでは、配置イメージは、トレーラをイメージしたトレーラ画像に、荷物をイメージした荷物画像と、を含む態様の画像として生成される。配置イメージに含まれるトレーラ画像及び荷物画像は、例えば斜視図のように、トレーラにおける各荷物の配置を俯瞰的に把握できる態様で出力される。

　しかしながら、現実のトレーラに対して積み付け作業を行う際の作業者の目線は、配置イメージによって把握できる俯瞰とは異なる場合が多い。配置イメージを見て荷物の配置のイメージを把握したはずの作業者が、現実のトレーラに向かって実際に積み付け作業を行う場合に、作業者の目線におけるトレーラ内の見え方が配置イメージのトレーラ画像とは異なるために、現実のトレーラに対する荷物の配置を具体的に想像することが困難な場合がある。そのような場合、作業者による積み付け作業の効率が向上しない場合がある。

　本明細書では、作業者に現実の荷室に対する荷物の配置を具体的に把握させ、積み付け作業の効率化を図ることができる技術を開示する。

　本明細書によって開示される情報処理装置は、空間情報測定部と、表示部と、制御部と、を備える。制御部は、第１の取得部と、第２の取得部と、表示制御部と、を備える。第１の取得部は、空間情報測定部によって測定される空間情報であって、荷室の寸法及び向きを含む空間情報を取得する。第２の取得部は、配置情報を取得する。配置情報は、荷室に関係する荷室情報と、荷室に積載されるべき一以上の荷物のそれぞれについての荷物情報であって、当該荷物の寸法と重量の少なくとも一方を含む荷物情報と、に基づいて、一以上の荷物のそれぞれの荷室における配置を計算した結果である。表示制御部は、取得済みの空間情報と、取得済みの配置情報と、に基づいて、一以上の荷物のそれぞれを示す一以上のオブジェクト画像を表示部に表示させる。一以上のオブジェクト画像のそれぞれは、当該オブジェクト画像が示す荷物の荷室における配置位置として計算された位置に、現実の荷室に重畳される態様で表示される。

　上記の構成によると、表示制御部は、表示部に、一以上のオブジェクト画像のそれぞれを、当該オブジェクト画像が示す荷物の荷室における配置位置として計算された位置に、現実の荷室に重畳される態様で表示させることができる。そのため、現実の荷室への荷物の積み付け作業を行う作業者が、現実の荷室に重畳される態様で表示された一以上のオブジェクト画像を見ることにより、現実の荷室に対する荷物の配置を具体的に想像しやすくなる。従って、上記の情報処理装置によると、作業者に現実の荷室に対する荷物の配置を具体的に把握させ、積み付け作業の効率化を図ることができる。

　ここで、「荷室」は、コンテナ、トレーラ、倉庫等、荷物を積み付けるための任意の室を含む。「空間情報測定部」は、カメラ、赤外線センサ等、荷室を含めた空間の情報を測定可能な任意の装置を含む。また、「オブジェクト画像」は、荷物を示す画像であれば、静止画、動画（即ち、動きを伴う画像）のどちらであってもよい。

　表示制御部は、荷室内において第１の荷物の後に第２の荷物が配置されるべき状況において、第１の荷物を示す第１のオブジェクト画像を表示部に表示させ、第１のオブジェクト画像が表示部に表示されている間に、第１のオブジェクト画像が示す位置に第１の荷物が正しく配置された第１の場合に、第２の荷物を示す第２のオブジェクト画像を表示部に表示させるようにしてもよい。

　この構成によると、表示部を見た作業員は、第１のオブジェクト画像が表示部に表示されている間には、第１の荷物を第１のオブジェクト画像が示す位置に配置すればよく、第２のオブジェクト画像が表示部に表示されている間には、第２の荷物を第２のオブジェクト画像が示す位置に配置すればよいことを容易に把握することができる。作業員は、第１の荷物の後に第２の荷物が配置されるべき状況において、各荷物の配置位置及び配置順序を記憶していなくても、第１の荷物及び第２の荷物を適切に配置することができる。従って、作業員が配置位置及び配置順序を記憶する必要がなく、作業員の負担が小さく済み、作業効率を向上させることができる。

　表示制御部は、第１のオブジェクト画像が表示部に表示されている間に、第１のオブジェクト画像が示す位置に第１の荷物が正しく配置されていない第２の場合に、第２のオブジェクト画像を表示部に表示させないようにしてもよい。

　この構成によると、作業員は、第１のオブジェクト画像が表示部に表示されている間に、第１のオブジェクト画像が示す位置に荷物を配置した場合に、次の荷物（即ち第１の荷物）を示す第２のオブジェクト画像が表示されなければ、配置した荷物が正しく配置されなかったことを認識することができる。これにより、配置情報が示す配置とは異なった配置で各荷物が配置される事態を抑制することができる。

　ここで、「第１のオブジェクト画像が示す位置に第１の荷物が正しく配置されていない第２の場合」は、第１の荷物とは異なる荷物が配置されていること（即ち荷物の種類が誤っていること）と、配置されている第１の荷物の位置及び向きが正しくないことと、のうちの少なくとも一方を含む。

　情報処理装置は、報知部をさらに備えていてもよい。制御部は、さらに、第２の場合に、報知部に報知動作を実行させる、報知制御部を備えていてもよい。

　この構成によると、報知部が報知動作を実行することにより、作業員は、配置した荷物が正しく配置されなかったことをより適切に認識し得る。配置情報が示す配置とは異なった配置で各荷物が配置される事態をより適切に抑制することができる。

　情報処理装置は、端末装置と、端末装置と通信可能なサーバと、を含んでいてもよい。端末装置は、空間情報測定部と、表示部と、端末制御部と、を備えていてもよい。端末制御部は、第１の取得部と、第２の取得部と、表示制御部と、を備えていてもよい。第２の取得部は、サーバから配置情報を受信することによって、配置情報を取得してもよい。サーバは、記憶装置と、サーバ制御部と、を備えてもよい。記憶装置は、配置情報を記憶してもよい。サーバは、端末装置に、記憶装置内の配置情報を送信する、情報送信部を備えてもよい。

　この構成によると、サーバが、配置情報を予め記憶するための記憶装置を備え、端末装置は、サーバから所定の配置情報を取得する。即ち、端末装置は、予め記憶するための記憶装置を有していなくてもよい。そのため、記憶容量が比較的小さい端末装置を用いることができる。

　端末制御部は、さらに、一以上のオブジェクト画像に対応する一以上の荷物の配置が完了した場合に、完了通知をサーバに送信する通知部を備えてもよい。

　これにより、サーバの利用者（例えば作業員の管理者）が、荷室における積み付け作業が完了したことを把握することができる。

　端末装置は、さらに、ユーザの頭部に装着可能なフレームを備えていてもよい。表示部は、フレームに搭載され、フレームを装着したユーザの右眼と左眼の少なくとも一方に対向する位置に配置される表示装置を含んでもよい。

　この構成によると、作業員（即ちユーザ）は、端末装置を頭部に装着した状態で、表示部に表示されるオブジェクト画像を見ながら積み付け作業を行うことができる。この場合、表示部には、作業員の視界内の現実の荷室に重畳された態様でオブジェクト画像が表示されるため、作業員は、自身の目線から見た荷室における各荷物の配置を適切に把握することができる。

　なお、上記の情報処理装置、端末装置、及び、サーバを実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能媒体も、新規で有用である。

管理システムの概要を示す。 画像表示装置のブロック図を示す。 サーバのブロック図を示す。 サーバの制御部が実行するシミュレーション処理のフローチャートを示す。 画像表示装置の制御部が実行する積み付け制御処理のフローチャートを示す。 １個目のオブジェクト画像が表示されている表示部の例を示す。 ２個目のオブジェクト画像が表示されている表示部の例を示す。

（実施例）
（管理システム２の構成；図１）
　図１に示す管理システム２は、荷物（例えば荷物Ｐ）を荷室（例えばコンテナＣ）に積み付ける積み付け作業を行う作業員（例えば作業員Ｗ）に対して、当該荷室における荷物の効率的な配置を指示するとともに、作業員の積み付け作業を管理するためのシステムである。管理システム２は、画像表示装置１０と、サーバ５０と、を備える。画像表示装置１０とサーバ５０とは、インターネット４を介して相互に無線通信（具体的にはＷｉ－Ｆｉ通信）を実行可能である。

（画像表示装置１０の構成；図１、図２）
　画像表示装置１０は、ユーザ（例えば作業員Ｗ）の頭部に装着して用いられる画像表示装置（いわゆるヘッドマウントディスプレイ）である。図１に示すように、画像表示装置１０は、フレーム１２と、右表示部１４Ｒと、左表示部１４Ｌと、右投影部１５Ｒと、左投影部１５Ｌと、右カメラ１６Ｒと、左カメラ１６Ｌと、コントロールボックス１８と、スピーカ１９とを備えている。

　フレーム１２は、眼鏡フレーム状の部材である。ユーザは、眼鏡を装着するようにフレーム１２を装着することによって、画像表示装置１０を頭部に装着することができる。

　右表示部１４Ｒ、左表示部１４Ｌは、それぞれ、透光性の表示部材である。ユーザが画像表示装置１０を頭部に装着すると、ユーザの右眼に対向する位置に右表示部１４Ｒが配置され、左眼に対向する位置に左表示部１４Ｌが配置される。以下、右表示部１４Ｒ、左表示部１４Ｌを総称して「表示部１４」と呼ぶ場合がある。

　右投影部１５Ｒ、左投影部１５Ｌは、それぞれ、右表示部１４Ｒ、左表示部１４Ｌに画像を投影する部材である。右投影部１５Ｒ、左投影部１５Ｌは、それぞれ、右表示部１４Ｒ、左表示部１４Ｌの側部に設けられている。以下、右投影部１５Ｒ、左投影部１５Ｌを総称して「投影部１５」と呼ぶ場合がある。本実施例では、投影部１５は、制御部３０の指示に従って、荷物Ｐを示す所定の仮想画像（以下では「オブジェクト画像」と呼ぶ）を表示部１４に投影する。これにより、ユーザは、表示部１４越しにユーザが視認可能な現実世界の対象物（例えばコンテナＣ）又は／及び空間の所定の位置に、上記オブジェクト画像が重畳されたかの様に、現実世界の対象物又は／及び空間とオブジェクト画像とを見ることができる。以下、本明細書では、制御部３０が、投影部１５に画像の投影を指示することによって、表示部１４に所望の画像を表示させることを説明する場合に、投影部１５の動作の説明を省略し、単に「制御部３０が表示部１４に所望の画像を表示させる」などと表現する場合がある。

　右カメラ１６Ｒは、フレーム１２のうち、右表示部１４Ｒの上方位置（即ち、ユーザの右眼の上方に対応する位置）に配置されているカメラである。一方、左カメラ１６Ｌは、フレーム１２のうち、左表示部１４Ｌの上方位置（即ち、ユーザの左眼の上方に対応する位置）に配置されているカメラである。右カメラ１６Ｒと左カメラ１６Ｌのそれぞれによって、画像表示装置１０を装着するユーザの視界範囲に対応する範囲（以下では「特定範囲」と呼ぶ場合がある）を異なる角度から撮影することができる。即ち、右カメラ１６Ｒはユーザの右眼の視界範囲を撮影し、左カメラ１６Ｌはユーザの左眼の視界範囲を撮影すると言うこともできる。また、以下、右カメラ１６Ｒと左カメラ１６Ｌを総称して「カメラ１６」と呼ぶ場合がある。

　コントロールボックス１８は、フレーム１２の一部に内蔵されている制御装置である。コントロールボックス１８には、画像表示装置１０の制御系統を司る各要素が収容されている。具体的に言うと、図２に示すように、コントロールボックス１８には、Ｗｉ－Ｆｉインターフェース２０と、制御部３０と、メモリ３２と、が収納されている。以下では、インターフェースのことを「Ｉ／Ｆ」と記載する。他の例では、コントロールボックス１８は、フレーム１２とは別個に備えられていてもよい。その場合、コントロールボックス１８内の各構成要素（Ｗｉ－Ｆｉインターフェース２０、制御部３０、メモリ３２）と、フレーム１２に備え付けられた各構成要素（表示部１４、投影部１５、カメラ１６等）とがケーブル等によって電気的に接続されていればよい。

　Ｗｉ－ＦｉＩ／Ｆ２０は、インターネット４を介して、外部の装置（例えば、サーバ５０）とＷｉ－Ｆｉ通信を実行するためのＩ／Ｆである。

　制御部３０は、メモリ３２に記憶されているプログラムに従って、後述の積み付け制御処理（図５参照）を含む様々な処理を実行する。また、制御部３０は、表示部１４、投影部１５、カメラ１６、Ｗｉ－ＦｉＩ／Ｆ２０、及び、メモリ３２と電気的に接続されており、これらの各要素の動作を制御することができる。

　メモリ３２は、様々なプログラムを記憶している。また、メモリ３２には、後述の積み付け制御処理の実行過程で取得される各種情報を一時的に記憶するための記憶領域が設けられている。また、図示していないが、メモリ３２は、画像表示装置１０を識別するための装置ＩＤも記憶している。

　スピーカ１９は、音声を出力するための出力部である。

（サーバ５０の構成；図１、図３）
　図１に示すサーバ５０は、画像表示装置１０の管理者（例えば、積み付け作業の管理企業等）によって設置されるサーバである。図３に示すように、サーバ５０は、表示部５２と、操作部５４と、Ｗｉ－ＦｉＩ／Ｆ５６と、制御部６０と、メモリ６０とを備える。

　表示部５２は、様々な情報を表示可能なディスプレイである。操作部５４は、キーボード及びマウスを備える。サーバ５０のユーザは、操作部５４を操作することによって様々な指示をサーバ５０に入力することができる。Ｗｉ－ＦｉＩ／Ｆ５６は、インターネット４を介して、外部の装置（例えば、画像表示装置１０）とＷｉ－Ｆｉ通信を実行するためのＩ／Ｆである。制御部６０は、メモリ６２に記憶されているプログラムに従って、後述のシミュレーション処理（図４参照）を含む様々な処理を実行する。メモリ６２は、様々なプログラムを記憶している。また、メモリ６２には、制御部６０がシミュレーション処理を実行することによって生成される配置情報を記憶するための配置情報記憶領域６４が設けられている。配置情報は、一以上の荷物を、指定された荷室（例えば、コンテナ、倉庫など）に対して積み付ける場合における、適切な各荷物の配置及び積み付け順序を示す情報である。配置情報が示す各荷物の配置及び積み付け順序に従って積み付け作業が行われることにより、各荷物を効率的に荷室に収納することができる。

（シミュレーション処理；図４）
　作業員による積み付け作業が実際に行われる前に、本実施例のサーバ５０の制御部６０が予め実行するシミュレーション処理について説明する。シミュレーション処理は、一以上の荷物を、指定された荷室（例えば、コンテナ、倉庫など）に対して積み付ける場合における、適切な各荷物の配置位置及び配置順序をシミュレートするための処理である。サーバ５０の利用者が、操作部５２において所定のシミュレーション開始操作を入力すると、制御部６０は、図４の処理を開始する。

　Ｓ１０では、制御部６０は、荷室情報が入力されることを監視する。サーバ５０の利用者は、操作部５２において、荷物を積み付ける対象の荷室（以下では、「対象荷室」と呼ぶ。例えば図１のコンテナＣ）に関係する各種情報（即ち荷室情報）を入力することができる。荷室情報は、例えば、対象荷室の識別情報、対象荷室の寸法、対象荷室の制約等、荷室に関係する各種情報を含む。なお、他の例では、メモリ６２に予め複数のタイプの荷室に対応する荷室情報を記憶させておいてもよい。その場合、Ｓ１０では、制御部６０は、メモリ６２内の各荷室情報を示すリストを表示部５２に表示させ、利用者に一つの荷室情報を選択させるようにしてもよい。利用者によって対象荷室の荷室情報が入力されると、制御部６０は、Ｓ１０でＹＥＳと判断してＳ１２に進む。

　Ｓ１２では、制御部６０は、荷物情報が入力されることを監視する。サーバ５０の利用者は、操作部５２において、対象荷室に積み付けるための一以上の荷物（以下では、「対象荷物」と呼ぶ。例えば図１の荷物Ｂ）のそれぞれに関係する各種情報を入力することができる。荷物情報は、対象荷物の識別情報、寸法、重量、内容、制約（例えば積載不可、積載方向指定等）など、対象荷物に関係する各種情報を含む。対象荷物の識別情報は、例えば、対象荷物に貼られたラベルの識別番号である。利用者によって、一以上の対象荷物のそれぞれの荷物情報が入力されると、制御部６０は、Ｓ１２でＹＥＳと判断してＳ１４に進む。

　Ｓ１４では、制御部６０は、Ｓ１０で入力された荷室情報と、Ｓ１２で入力された荷物情報と、を利用して、配置シミュレーションを実行する。具体的には、Ｓ１４では、制御部６０は、荷室情報が示す対象荷室に、荷物情報が示す一以上の対象荷物を効率良く積み付けるための配置位置及び配置順序を計算する。

　続くＳ１６では、制御部６０は、配置情報を生成する。具体的には、Ｓ１６では、制御部６０は、Ｓ１４の配置シミュレーションの結果として算出された配置位置及び配置順序を示す情報である配置情報を生成する。

　続くＳ１８では、制御部６０は、生成された配置情報をメモリ６２の配置情報記憶領域６４に記憶させる。Ｓ１８を終えると、制御部６０は、図４のシミュレーション処理を終了する。

（積み付け制御処理；図５）
　続いて、画像表示装置１０を装着した作業員が積み付け作業を行う際に、画像表示装置１０の制御部３０が実行する積み付け制御処理について説明する。図５の積み付け制御処理が開始される時点で、既に図４のシミュレーション処理が完了している。作業員（例えば図１の作業員Ｗ）は、電源がオンされている画像表示装置１０を装着した状態で、カメラ１６の撮影範囲（即ち特定範囲）内において所定のジェスチャーを行うことによって、所定の積み付け制御処理開始操作を入力することができる。その場合、制御部３０は、図５の処理を開始する。

　Ｓ３０では、制御部３０は、対象荷室の識別情報が入力されることを監視する。具体的には、まず、制御部３０は、識別情報入力のためのキーパッドを示すキーパッド画像を表示部１４に表示させる。作業員は、特定範囲内において、キーパッド画像が示すキーパッドを操作するジェスチャーを行うことによって、対象荷室（例えば図１のコンテナＣ）の識別情報を入力することができる。対象荷室の識別情報は、例えば対象荷室の外面に記載されている。他の例では、対象荷室の外面に対象荷室の識別情報が記録された情報コード（バーコード、二次元コード等）が表示されていてもよい。その場合、作業員が対象荷室の外面の情報コードを見る（即ち、特定範囲内に識別情報を入れる）ことによって、カメラ１６に情報コードを撮影させてもよい。その場合、制御部３０が、撮影された情報コードをデコードすることによって、識別情報を取得してもよい。また、図１の例のように、対象荷室が車載されたコンテナＣである場合には、対象荷室の識別情報は、車のナンバープレートに記載された番号であってもよい。識別情報の入力方法は上記の各手法には限られず、他の任意の手法を用いることができる。対象荷室の識別情報が入力されると、制御部３０は、Ｓ３０でＹＥＳと判断し、Ｓ３２に進む。

　Ｓ３２では、制御部３０は、Ｓ３０で入力された識別情報をサーバ５０に送信する。サーバ５０の制御部６０は、画像表示装置１０から識別情報（Ｓ３２）を受信すると、メモリ６２の配置情報記憶領域６４を参照し、配置情報記憶領域６４に記憶されている一以上の配置情報のうちから、受信された識別情報が示す荷室に対応する配置情報（以下では「対象配置情報」と呼ぶ）を特定する。そして、制御部６０は、配置情報記憶領域６４から対象配置情報を読み出し、対象配置情報を画像表示装置１０に送信する。

　Ｓ３４では、制御部３０は、サーバ５０から対象配置情報を受信することを監視する。制御部３０は、サーバ５０から対象配置情報を受信すると、Ｓ３４でＹＥＳと判断し、Ｓ３６に進む。一方、制御部３０は、Ｓ３２で識別情報を送信した後、対象配置情報を受信することなく所定期間（例えば１分間）が経過した場合、エラー処理を実行し、図５の処理を終了する。

　Ｓ３６では、制御部３０は、Ｎの値を１に決定する。

　続くＳ３８では、制御部３０は、この時点における空間情報を取得する。空間情報は、作業員の視界範囲内の各物品に関係する各種情報（例えば、寸法、向き、画像表示装置１０との距離等）を含む。具体的には、Ｓ３８では、まず制御部３０は、カメラ１６から、カメラ１６が現在撮影しているカメラ画像を取得する。上記の通り、特定範囲（即ちカメラ１６の撮影範囲）は、画像表示装置１０を装着する作業員の視界範囲に対応する。作業員が、積み付け作業を行うために対象荷室（例えば図１のコンテナＣ）を見ると、カメラ画像には対象荷室の画像が含まれる。そして、制御部３０は、カメラ１６から取得したカメラ画像に基づいて、カメラ画像に含まれる各物品の特徴点を特定するための座標情報を抽出する。次いで、制御部３０は、抽出された座標情報に基づいて、カメラ画像に含まれる各物品の寸法、各物品の向き、各物品と画像表示装置１０との距離等の各種情報を算出する。ここで算出される各種情報が空間情報の一例である。上記のカメラ画像に対象荷室の画像が含まれる場合には、空間情報には、作業員の視界範囲に存在する対象荷室の少なくとも一部の実際の寸法、向き、画像表示装置１０との距離等の各種情報が含まれる。以上の各処理を実行することによって、Ｓ３８において、制御部３０は空間情報を取得する。

　続くＳ４０では、制御部３０は、Ｓ３８で取得された空間情報と、Ｓ３４で取得された配置情報と、に基づいて、Ｎ個目の対象荷物（即ち、配置情報が指定する配置順序がＮ番目の対象荷物）を示すオブジェクト画像を表示部１４に表示させる。１回目のＳ４０では、Ｎは１に定められているため、制御部３０は、１個目の対象荷物を示すオブジェクト画像を表示部１４に表示させる。この際、制御部３０は、オブジェクト画像を、Ｎ個目の対象荷物が配置されるべき位置として配置情報において指定されている位置に、現実の対象荷室に重畳される態様で表示させる。また、制御部３０は、オブジェクト画像と同時に、対象荷物の識別情報、重量、制約情報等の各種文字情報を併せて表示することができる。

　Ｓ４０におけるオブジェクト画像の表示例を図６に示す。図６の例は、図１の作業員Ｗが、対象荷室であるコンテナＣに、対象荷物である複数個の荷物Ｂを積み付けるための積み付け作業を行う際に、制御部３０が１個目の対象荷物を示すオブジェクト画像１００を表示する様子を示す。図６の例では、オブジェクト画像１００は、作業員Ｗから見て、コンテナＣの最も奥側の位置に重畳される態様で表示部１４に表示される。また、オブジェクト画像１００に加えて、１個目の対象荷物に関係する文字情報（識別情報、重量、備考など）１１０が併せて表示される。図６の表示部１４を見ることにより、作業員Ｗは、自分から見てコンテナＣの最も奥側の位置に１個目の対象荷物を配置すべきことを知ることができる。また、作業員Ｗは、表示部１４に表示されているオブジェクト画像１００を見れば、対象荷物を配置する際における荷物の向き（即ち自分から見た向き）も知ることができる。作業員Ｗは、表示部１４に表示されているオブジェクト画像１００を見ながら、オブジェクト画像１００に重なるように１個目の対象荷物を配置すれば、予め計算された配置情報が示す配置位置及び配置順序に従って１個目の対象荷物を適切に配置することができる。作業員Ｗは、コンテナＣに対する荷物の配置位置及び配置順序を自分で考える必要がなく、積み付け作業を効率良く行うことができる。

　続くＳ４２では、制御部３０は、この時点で、表示中のオブジェクト画像が示す位置に荷物が配置されたか否かを判断する。具体的には、Ｓ４２では、制御部３０は、カメラ１６から現在撮影しているカメラ画像を取得し、取得されたカメラ画像に基づいて、表示中のオブジェクト画像が示す位置（即ち、Ｎ個目の対象荷物が配置されるべき位置として配置情報において指定された位置）に、何らかの荷物が配置されたか否かを判断する。この時点で、カメラ画像が、表示中のオブジェクト画像が示す位置に何らかの荷物（以下では、「配置荷物」と呼ぶ場合がある）が配置されていることを表わしている場合には、制御部３０は、Ｓ４２でＹＥＳと判断し、Ｓ４４に進む。一方、この時点で、カメラ画像が、表示中のオブジェクト画像が示す位置に何も配置されていないことを表わしている場合には、制御部３０は、Ｓ４２でＮＯと判断し、Ｓ３８に戻り、現時点の空間情報（即ち最新の空間情報）を取得する。この場合、制御部３０は、Ｓ４２でＹＥＳと判断するまで、Ｓ３８～Ｓ４２の各処理を繰り返し実行する。

　Ｓ４４では、制御部３０は、オブジェクト画像が示す位置に、Ｎ個目の対象荷物が正しく配置されているか否かを判断する。具体的には、Ｓ４４では、まず制御部３０は、Ｓ４２でＹＥＳと判断された時点のカメラ画像を分析し、配置荷物がＮ個目の対象荷物であるか否かを判断する。詳しく言うと、制御部３０は、配置荷物の外面に予め付されたラベルに印字されている識別情報を識別し、対象荷物の識別情報と比較し、両者が一致する場合に、配置荷物がＮ個目の対象荷物であると判断する。他の例では、配置荷物がＮ個目の対象荷物であるか否かは、他の手法によって判断されてもよい。例えば、制御部３０は、配置荷物の外形や色等に基づいて、配置荷物がＮ個目の対象荷物であるか否かを判断してもよい。制御部３０は、配置荷物がＮ個目の対象荷物であると判断した場合に、続いて、その配置荷物（即ちＮ個目の対象荷物）が正しい向きで配置されているか否かを判断する。詳しく言うと、制御部３０は、カメラ画像をさらに分析し、カメラ画像中の配置荷物の向きが、配置情報が指定するＮ個目の対象荷物の向きに適合するか否かを判断する。制御部３０は、カメラ画像中の配置荷物（即ちＮ個目の対象荷物）の向きが、配置情報が指定するＮ個目の対象荷物の向きに適合すると判断する場合に、Ｓ４４でＹＥＳと判断し、Ｓ４８に進む。一方、制御部３０は、配置荷物がＮ個目の対象荷物でないと判断した場合、又は、配置荷物がＮ個目の対象荷物であったが、配置荷物の向きが、配置情報が指定するＮ個目の対象荷物の向きに適合していないと判断する場合、Ｓ４４でＮＯと判断し、Ｓ４６に進む。

　Ｓ４６では、制御部３０は、エラー動作を行う。具体的には、制御部３０は、表示部１４にエラーメッセージ（例えば「荷物の種類が異なっています」「荷物の向きが正しくありません」の文字、及び、エラーを示すアイコン等）を表示させるとともに、スピーカ１９に報知音を出力させる。Ｓ４６でエラー動作が行われることにより、作業員は、配置した荷物が正しく配置されなかったことを適切に認識することができる。配置情報が示す配置とは異なった配置で各荷物が配置される事態を適切に抑制することができる。Ｓ４６でエラー動作を行うと、制御部３０は、Ｓ３８に戻る。

　一方、Ｓ４８では、制御部３０は、配置情報で配置位置を指定されているすべての対象荷物が配置されたか否かを判断する。この時点ですべての対象荷物の配置が完了している場合、制御部３０は、Ｓ４８でＹＥＳと判断し、Ｓ５２に進む。一方、すべての対象荷物の配置が完了していない場合には、制御部３０は、Ｓ４８でＮＯと判断し、Ｓ５０に進む。

　Ｓ５０では、制御部３０は、Ｎの値を１インクリメントする。次いで、制御部３０は、Ｓ３８に戻り、この時点の空間情報（即ち最新の空間情報）を取得する。続くＳ４０では、制御部３０は、Ｓ５０でインクリメントされた後のＮの値に従って、Ｎ個目の対象荷物を示すオブジェクト画像を表示部１４に表示させる。

　２回目のＳ４０におけるオブジェクト画像の表示例を図７に示す。図７は、上記の図６のオブジェクト画像１００が表示された後の２回目のＳ４０において表示されるオブジェクト画像２００の表示例である。図７の例では、コンテナＣの最も奥側の位置には、１個目の対象荷物Ｂ１（即ち、図６のオブジェクト画像１００に対応する対象荷物）が既に配置されている。図７の例では、オブジェクト画像２００は、作業員から見て、コンテナＣの最も奥側の位置であって、既に配置されている対象荷物Ｂ１上の位置に重畳される態様で表示部１４に表示される。また、オブジェクト画像２００に加えて、１個目の対象荷物に関係する文字情報（識別情報、重量、備考など）２１０が併せて表示される。図７の表示部１４を見ることにより、作業員Ｗは、先に配置した１個目の対象荷物上に２個目の対象荷物を積載して配置すべきことを知ることができる。また、作業員Ｗは、表示部１４に表示されているオブジェクト画像２００を見れば、２個目の対象荷物を配置する際における荷物の向き（即ち自分から見た向き）も知ることができる。作業員Ｗは、表示部１４に表示されているオブジェクト画像２００を見ながら、オブジェクト画像２００に重なるように２個目の対象荷物を配置すれば、予め計算された配置情報が示す配置位置及び配置順序に従って２個目の対象荷物を適切に配置することができる。作業員は、コンテナＣに対する荷物の配置位置及び配置順序を自分で考える必要がなく、積み付け作業を効率良く行うことができる。

　Ｓ５２では、制御部３０は、サーバ５０に完了通知を送信する。完了通知は、対象荷室の識別情報と、積み付け作業が完了したことを示す情報と、を含む。Ｓ５２を終えると、制御部３０は、図５の積み付け制御処理を終了する。

　サーバ５０の制御部６０は、画像表示装置１０から完了通知（Ｓ５２）を受信すると、メモリ６２の配置情報記憶領域６４内の対象配置情報に所定の完了情報を対応付けて記憶させる。

　以上、本実施例の管理システム２の構成及び動作について説明した。上記の通り、本実施例では、制御部３０は、空間情報と配置情報とに基づいて、Ｎ個目の対象荷物を示すオブジェクト画像を、Ｎ個目の対象荷物の対象荷室における配置位置として計算された位置に、現実の対象荷室に重畳される態様で表示させる（図５のＳ４０、図６、図７参照）。そのため、現実の荷室への荷物の積み付け作業を行う作業者が、現実の荷室に重畳される態様で表示された一以上のオブジェクト画像を見ることにより、現実の荷室に対する荷物の配置を具体的に想像しやすくなる。従って、本実施例の管理システム２によると、作業者に現実の荷室に対する荷物の配置を具体的に把握させ、積み付け作業の効率化を図ることができる。

　特に、本実施例では、制御部３０は、カメラ１６が撮影するカメラ画像に基づいて取得される空間情報を利用して、現実の荷室の特徴点を把握した上で、荷室に重畳される態様でオブジェクト画像を表示部１４に表示させる。即ち、本実施例では、制御部３０は、作業員の目線に合わせた態様でオブジェクト画像を表示させることができる。作業員がより具体的に荷物の配置を把握することができる。

　また、本実施例では、制御部３０は、Ｎ個目の対象荷物を示すオブジェクト画像を表示部１４に表示させた後で（図５のＳ４０）、オブジェクト画像が示す位置に、Ｎ個目の対象荷物が正しく配置されているか否かを判断し（Ｓ４２、Ｓ４４）、オブジェクト画像が示す位置に、Ｎ個目の対象荷物が正しく配置されていると判断する場合（Ｓ４２及びＳ４４でＹＥＳ）に、Ｎ＋１個目の対象荷物を示すオブジェクト画像を表示する（次回のＳ４０）。そのため、特に、図６、図７の例のように、作業員Ｗは、表示部１４に表示されているオブジェクト画像１００（２００）を見ながら、オブジェクト画像１００（２００）に重なるように対象荷物を配置すれば、予め計算された配置情報が示す配置位置及び配置順序に従って対象荷物を適切に配置することができる。このように、作業員は、荷室に対する荷物の配置及び各荷物の配置順序を自分で考える必要がなく、積み付け作業を効率良く行うことができる。

　また、本実施例では、制御部３０は、Ｎ個目の対象荷物を示すオブジェクト画像を表示部１４に表示させた後で（図５のＳ４０）、オブジェクト画像が示す位置に、Ｎ個目の対象荷物が正しく配置されていないと判断する場合に（Ｓ４４でＮＯ）、Ｎ＋１個目の対象荷物を示すオブジェクト画像を表示することなく、エラー動作を行う（Ｓ４６）。エラー動作が行われることにより、作業員は、配置した荷物が正しく配置されなかったことを適切に認識することができる。配置情報が示す配置とは異なった配置で各荷物が配置される事態を適切に抑制することができる。

　また、本実施例では、管理システム２は、画像表示装置１０とサーバ５０とを備える。サーバ５０の制御部６０は配置情報を生成してメモリ６２に記憶させる。制御部３０はサーバ５０から配置情報を受信する。画像表示装置１０の制御部３０は、空間情報と配置情報とに基づいてオブジェクト画像を表示させる。即ち、本実施例では、画像表示装置１０のメモリ３２には配置情報を予め記憶させておく必要はない。

　また、本実施例では、制御部３０は、すべての対象荷物の配置が完了すると（図４のＳ４８でＹＥＳ）、サーバ５０に完了通知を送信する（Ｓ５２）。従って、サーバ５０の利用者（例えば作業員の管理者）が、対象荷室における積み付け作業が完了したことを把握し得る。

　また、本実施例では、画像表示装置１０は、ユーザ（作業員Ｗ）の頭部に装着可能なフレーム１２を備えるヘッドマウントディスプレイである。ユーザがフレーム１２を装着すると、表示部１４（即ち右表示部１４Ｒ及び左表示部１４Ｌ）は、ユーザの右眼及び左眼に対向する位置に配置される。そのため、本実施例では、作業員（即ちユーザ）は、画像表示装置１０を頭部に装着した状態で、表示部１４に表示されるオブジェクト画像を見ながら、両手を使って積み付け作業を行うことができる。この場合、表示部１４には、作業員の視界内の現実の荷室に重畳された態様でオブジェクト画像が表示されるため（図６、図７参照）、作業員は、自身の目線から見た荷室における各荷物の配置を適切に把握することができる。

　本実施例と請求の範囲の対応関係を説明しておく。管理システム２が「情報処理装置」の一例である。画像表示装置１０が「端末装置」の一例である。カメラ１６が「空間情報測定部」の一例である。図６のオブジェクト画像１００、図７のオブジェクト画像２００が、それぞれ「第１のオブジェクト画像」「第２のオブジェクト画像」の一例である。
図４のＳ４２及びＳ４４でＹＥＳの場合が「第１の場合」の一例である。Ｓ４４でＮＯの場合が「第２の場合」の一例である。スピーカ１９及び表示部１４が「報知部」の一例である。Ｓ４６のエラー動作が「報知動作」の一例である。

　以上、実施例を詳細に説明したが、これらは例示に過ぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例を採用してもよい。

（変形例１）上記の実施例では、画像表示装置１０の制御部３０は、Ｎ個目の対象荷物を示すオブジェクト画像を表示部１４に表示させた後で（図５のＳ４０）、オブジェクト画像が示す位置に、Ｎ個目の対象荷物が正しく配置されているか否かを判断し（Ｓ４２、Ｓ４４）、オブジェクト画像が示す位置に、Ｎ個目の対象荷物が正しく配置されていると判断する場合（Ｓ４２及びＳ４４でＹＥＳ）に、Ｎ＋１個目の対象荷物を示すオブジェクト画像を表示する（次回のＳ４０）。これに限られず、制御部３０は、複数のオブジェクト画像のうちの２以上のオブジェクト画像を同時に表示させるようにしてもよい。

（変形例２）作業員が行う積み付け作業に関係する配置情報を、画像表示装置１０のメモリ３２に予め記憶させておくようにしてもよい。その場合、制御部３０は、サーバ５０に対象荷室の識別情報を送信し、サーバ５０から配置情報を受信する処理（図４のＳ３０～Ｓ３４）を省略する。制御部３０は、メモリ３２に予め記憶された配置情報と、空間情報と、に基づいて、各オブジェクト画像を表示部１４に表示させてもよい。本変形例では、画像表示装置１０が「情報処理装置」の一例である。

（変形例３）上記の実施例では、サーバ５０の制御部６０が、シミュレーション処理（図４）を実行する。これに限られず、画像表示装置１０の制御部３０が、シミュレーション処理（図４）を実行してもよい。その場合、制御部３０は、生成された配置情報を、画像表示装置１０のメモリ３２に記憶させてもよい。

（変形例４）上記の実施例では、画像表示装置１０の表示部１４は、透光性のディスプレイである。これに限られず、画像表示装置１０の表示部は遮光性のディスプレイであって、ユーザが画像表示装置１０を装着した際にユーザの視界を遮るものであってもよい。その場合、制御部３０は、カメラ１６で撮影されるカメラ画像（即ち、ユーザの視界範囲に対応する画像）を表示部に表示させてもよい。また、積み付け制御処理（図５参照）では、制御部３０は、表示部に表示されるカメラ画像にオブジェクト画像を重畳させて表示させるようにしてもよい。

（変形例５）上記の実施例では、制御部３０は、カメラ１６が撮影するカメラ画像に基づいて空間情報を取得する（図４のＳ３８）。これに限られず、制御部３０は、カメラ画像以外の情報から空間情報を取得するようにしてもよい。例えば、画像表示装置１０が、ユーザの視界範囲内の各物品を検出可能な赤外線センサをさらに備えていてもよい。その場合、制御部３０は、赤外線センサの検出結果に基づいて空間情報を取得するようにしてもよい。

（変形例６）上記の実施例では、制御部３０は、すべての対象荷物の配置が完了すると（図４のＳ４８でＹＥＳ）、サーバ５０に完了通知を送信する（Ｓ５２）。これに限られず、制御部３０は、完了通知をサーバ５０に送信しなくてもよい。

（変形例７）上記の各実施例では、画像表示装置１０は、略眼鏡状のフレームを有しており、眼鏡を装着するようにユーザの頭部に装着可能なものである。これに限られず、画像表示装置は、ユーザの頭部に装着可能であれば、帽子状、ヘルメット状等、任意の支持枠を有していてもよい。

（変形例８）画像表示装置は、視力矯正、目の保護等の用途のために一般的に使用されているアイウェア（眼鏡、サングラス等）に、カメラ及びコントロールボックス等を装着することによって形成されてもよい。その場合、アイウェアのレンズ部分が表示部として利用されてもよい。

（変形例９）上記の実施例では、画像表示装置１０は、右カメラ１６と左カメラ１６の２個のカメラを有するが、カメラの数は１個であってもよい。また、画像表示装置１０は、右表示部１４Ｒと左表示部１４Ｌとのうちの一方のみを有していてもよい。

（変形例１０）画像表示装置は、ユーザの頭部に装着可能なものに限られず、任意の形態のものであってもよい。例えば、画像表示装置は、ユーザが携帯可能な携帯端末であってもよい。

（変形例１１）上記の各実施例では、オブジェクト画像１００、２００（図６、図７）はいずれも静止画像として表示されている。これに限られず、オブジェクト画像は動画（即ち、少なくとも一部がアニメーション動作する画像）として表示されてもよい。

　また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

Claims (7)

1. 　空間情報測定部と、
   　表示部と、
   　制御部と、を備える情報処理装置であって、
   　前記制御部は、
   　　前記空間情報測定部によって測定される空間情報であって、荷室の寸法及び向きを含む前記空間情報を取得する第１の取得部と、
   　　配置情報を取得する第２の取得部であって、前記配置情報は、前記荷室に関係する荷室情報と、前記荷室に積載されるべき一以上の荷物のそれぞれについての荷物情報であって、当該荷物の寸法と重量の少なくとも一方を含む前記荷物情報と、に基づいて、前記一以上の荷物のそれぞれの前記荷室における配置を計算した結果である、前記第２の取得部と、
   　　取得済みの前記空間情報と、取得済みの前記配置情報と、に基づいて、前記一以上の荷物のそれぞれを示す一以上のオブジェクト画像を前記表示部に表示させる表示制御部であって、前記一以上のオブジェクト画像のそれぞれは、当該オブジェクト画像が示す荷物の前記荷室における配置位置として計算された位置に、現実の前記荷室に重畳される態様で表示される、前記表示制御部と、を備える、
   　情報処理装置。
2. 　前記表示制御部は、
   　　前記荷室内において第１の荷物の後に第２の荷物が配置されるべき状況において、前記第１の荷物を示す第１のオブジェクト画像を前記表示部に表示させ、
   　　前記第１のオブジェクト画像が前記表示部に表示されている間に、前記第１のオブジェクト画像が示す位置に前記第１の荷物が正しく配置された第１の場合に、前記第２の荷物を示す第２のオブジェクト画像を前記表示部に表示させる、
   　請求項１に記載の情報処理装置。
3. 　前記表示制御部は、
   　　前記第１のオブジェクト画像が前記表示部に表示されている間に、前記第１のオブジェクト画像が示す位置に前記第１の荷物が正しく配置されていない第２の場合に、前記第２のオブジェクト画像を前記表示部に表示させない、
   　請求項２に記載の情報処理装置。
4. 　報知部をさらに備え、
   　前記制御部は、さらに、
   　　前記第２の場合に、報知部に報知動作を実行させる、報知制御部を備える、
   　請求項３に記載の情報処理装置。
5. 　前記情報処理装置は、端末装置と、前記端末装置と通信可能なサーバと、を含み、
   　前記端末装置は、前記空間情報測定部と、前記表示部と、端末制御部と、を備え、
   　前記端末制御部は、前記第１の取得部と、前記第２の取得部と、前記表示制御部と、を備え、
   　　前記第２の取得部は、前記サーバから前記配置情報を受信することによって、前記配置情報を取得し、
   　前記サーバは、記憶装置と、サーバ制御部と、を備え、
   　前記記憶装置は、前記配置情報を記憶し、
   　前記サーバは、前記端末装置に、前記記憶装置内の前記配置情報を送信する、情報送信部を備える、
   　請求項１から４のいずれか一項に記載の情報処理装置。
6. 　前記端末制御部は、さらに、
   　　前記一以上のオブジェクト画像に対応する前記一以上の荷物の配置が完了した場合に、完了通知をサーバに送信する通知部を備える、
   　請求項５に記載の情報処理装置。
7. 　前記端末装置は、さらに、ユーザの頭部に装着可能なフレームを備え、
   　前記表示部は、前記フレームに搭載され、前記フレームを装着した前記ユーザの右眼と左眼の少なくとも一方に対向する位置に配置される表示装置を含む、
   　請求項５又は６に記載の情報処理装置。

Images