JP6628039B2

JP6628039B2 - 投影指示装置、荷物仕分けシステムおよび投影指示方法

Info

Publication number: JP6628039B2
Application number: JP2016059270A
Authority: JP
Inventors: 隆昭守山; 紹二大坪; 章裕鈴木; 隆明出良; 石原　健; 健石原
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-03-23
Filing date: 2016-03-23
Publication date: 2020-01-08
Anticipated expiration: 2036-03-23
Also published as: EP3434625B1; WO2017163713A1; US10589319B2; EP3434625A4; JP2017171447A; EP3434625A1; US20190099784A1

Description

本開示は、荷物の仕分けに有用な投影指示装置、荷物仕分けシステムおよび投影指示方法に関する。

近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。

特許文献１は、移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に投射して画像を荷物上に表示するシステムを開示している。

米国特許第７０９０１３４号明細書

しかしながら、昨今荷物の流通量はますます増大するとともに、荷物の種類も様々なものとなっており、荷物をより効率的かつ正確に仕分ける技術が求められている。

本開示は、荷物の仕分けをより効率的かつ正確に行うための技術に関する。

本開示は、荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記荷物をセンシングした時刻に対応する第１の時刻情報に基づいて、前記投影画像を投影する位置を算出する。

本開示は、荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサがメモリと協働して、前記荷物をセンシングした時刻に対応する第１の時刻情報に基づいて、前記投影画像を投影する位置を算出する。

本開示は、荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記センシング情報に基づき、荷物が拾い上げられた否かを判定し、前記荷物が拾い上げられたと判定した場合、前記荷物の詳細情報を含む投影画像を生成する。

本開示は、荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサがメモリと協働して、前記センシング情報に基づき、荷物が拾い上げられた否かを判定し、前記荷物が拾い上げられたと判定した場合、前記荷物の詳細情報を含む投影画像を生成する。

本開示は、荷物を含む画像に基づき、当該荷物の位置を特定する投影指示装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記画像の各画素が、荷物が存在すべき処理対象空間に含まれる画素であるか否かを、各画素の座標に基づき判定し、前記処理対象空間に含まれる画素のみを処理すべき処理点とみなして、前記メモリに登録し、登録された前記処理点に基づき前記荷物の画像を取得し、当該荷物の位置を特定する。

本開示は、荷物を含む画像に基づき、当該荷物の位置を特定する投影指示装置であって、プロセッサがメモリと協働して、前記画像の各画素が、荷物が存在すべき処理対象空間に含まれる画素であるか否かを、各画素の座標に基づき判定し、前記処理対象空間に含まれる画素のみを処理すべき処理点とみなして、前記メモリに登録し、登録された前記処理点に基づき前記荷物の画像を取得し、当該荷物の位置を特定する。

本開示は、投影指示装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、荷物のラベルに基づいて、前記荷物の荷物特定情報を特定し、前記荷物のセンシング情報から得られる３次元座標に基づいて前記荷物の形状を特定し、前記荷物の形状に基づいて当該荷物の特定の面を抽出し、前記荷物のうち、荷物特定情報が特定された荷物の前記特定の面のみに基づき追跡し、追跡している前記荷物の荷物特定情報に基づいて、前記特定の面に投影すべき投影画像を生成する処理を行う。

本開示は、投影指示方法であって、プロセッサがメモリと協働して、荷物のラベルに基づいて、前記荷物の荷物特定情報を特定し、前記荷物のセンシング情報から得られる３次元座標に基づいて前記荷物の形状を特定し、前記荷物の形状に基づいて当該荷物の特定の面を特定し、前記荷物のうち、荷物特定情報が特定された荷物の前記特定の面のみに基づき追跡し、追跡している前記荷物の荷物特定情報に基づいて、前記特定の面に投影すべき投影画像を生成する処理を行う。

本開示は、荷物のセンシング情報および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記荷物特定情報に基づき、荷物を拾い上げる方向を判定し、前記拾い上げる方向を示す投影画像を生成する。

本開示は、荷物のセンシング情報および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサがメモリと協働して、前記荷物特定情報に基づき、荷物を拾い上げる方向を判定し、前記拾い上げる方向を示す投影画像を生成する。

本開示は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記荷物特定情報に基づき、荷物を拾い上げるべき特定領域を判定し、前記荷物が前記特定領域に存在する場合に、前記投影画像を投影する。

本開示は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサがメモリと協働して、前記荷物特定情報に基づき、荷物を拾い上げるべき特定領域を判定し、前記荷物が前記特定領域に存在する場合に、前記投影画像を投影する。

また、本開示は、上述の投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、画像を取得する画像センサと、投影画像を前記荷物に投影する映像出力装置と、を備える荷物仕分けシステムである。

本開示によれば、荷物の仕分けをより効率的かつ正確に行うことができ、さらなる荷物の流通量の増大にも対応することができる。

実施の形態にかかる荷物仕分けシステムの構成を示すブロック図。実施の形態にかかる投影指示装置の構成を示すブロック図。（ａ）は荷物仕分けシステムが物流センターに設置され、稼働している状況を示す概念図であり、（ｂ）は荷物の上面に矢印を含む投影画像を投影した状態を示す図。主として投影指示装置が行う動作の概要手順を示すフローチャート。投影指示装置が処理すべき処理対象空間を示す概念図。図４のステップＳ２０の詳細な手順を示すフローチャート。投処理対象空間の変形例を示す概念図。図８は、図４のステップＳ７０およびステップＳ１００における、詳細な手順を示すフローチャート。

以下、適宜図面を参照しながら、本開示に係る投影指示装置、荷物仕分けシステムおよび投影指示方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

以下、図１〜図８を用いて本開示の実施の形態を説明する。

［構成］
図１は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図１に示す荷物仕分けシステム１００は、例えば物流センターに設置される。荷物仕分けシステム１００は、ラベルリーダ１０と、距離画像センサ２０と、投影指示装置３０と、プロジェクタ４０とを備える。荷物仕分けシステム１００は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業員の作業を支援するシステムである。荷物仕分けシステム１００は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図１に記載したものに限定されない。例えば、一台のラベルリーダ１０に複数の距離画像センサ２０と、投影指示装置３０と、プロジェクタ４０を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。

読取装置としてのラベルリーダ１０は、図示せぬレンズ、イメージセンサ等の各種の要素を含む装置である。ラベルリーダ１０を用いることで、搬送コンベヤにより搬送されてくる荷物に貼付されたラベルから当該荷物に関する各種の情報を記録したラベル記録情報を読み取ることができる。読み取られたラベル記録情報を用いることで、当該荷物を特定することが可能で有る。読み取られた情報によって荷物特定情報が定義づけられる。

距離画像センサ２０は、図示せぬレンズ、イメージセンサ等の各種の要素を含む撮像装置である。距離画像センサ２０は、一般的には撮像カメラとして構成される。撮像カメラは３次元カメラ、複数台の２次元カメラなどである。距離画像センサ２０は、搬送コンベヤにより搬送されてくる荷物を撮像し、距離画像を生成するにあたって、荷物の位置、荷物までの距離、荷物のサイズ等の情報を取得する。「距離画像」とは、撮像位置から各画素が示す位置（荷物の表面を含む）までの距離を示す距離情報を収容した画像のことをいう（つまり本開示において「画像」の語は距離画像を含む）。本開示において距離画像センサ２０は荷物の位置を特定するために用いられる。よって距離画像センサ２０は、他のセンシングデバイス（超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ）が代替することもできる。本開示においてはこれらの距離画像センサを含むセンシングデバイスから出力される情報をセンシング情報と呼ぶ。本実施の形態においてはセンシングデバイスの一例として距離画像センサ２０を用いて説明を行う。また本実施の形態においては、センシング情報の一例として距離画像センサ２０の出力である距離画像を用いて説明を行う。

投影指示装置３０は、荷物仕分けシステム１００における演算装置としての役割を果たす。図２に示すように、投影指示装置３０は、バスを介して接続された入力部３２、プロセッサ３４、メモリ３６、出力部３８を備える。入力部３２は、ラベルリーダ１０が読み込んだラベル記録情報から取得した荷物の特定が可能な荷物特定情報、距離画像センサ２０が生成した距離画像を受け取る。プロセッサ３４は一般的な演算装置によって構成され、荷物特定情報および距離画像に基づき、荷物に投影する投影画像を生成する。記憶装置としてのメモリ３６は、プロセッサ３４が各種処理に必要な制御プログラムの読み込み、データの退避等の操作を行う。すなわち、プロセッサ３４とメモリ３６は協働して投影指示装置３０による各種処理を制御する。出力部３８は、プロセッサ３４が生成した投影画像をプロジェクタ４０に出力する。なお、本開示において「プロセッサ」は単一のプロセッサのみを意味するものではない。「プロセッサ」は、複数の同一目的のプロセッサや、目的の異なるプロセッサ（例えば、汎用ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）とＧＰＵ（ＧｒａｐｈｉｃＰｒｏｃｅｓｓｉｎｇＵｎｉｔ））が共同して処理を行う場合の動作主体を意味する語としても使用される。

プロジェクタ４０は一般的な投影装置により構成され、投影指示装置３０から受信した投影画像を含む投影光を荷物に投影し、荷物上に表示する。

荷物仕分けシステム１００は、ラベルリーダ１０と、距離画像センサ２０と、投影指示装置３０と、プロジェクタ４０とを有線通信または無線通信で繋ぎ合わすことにより構築できる。また、ラベルリーダ１０と、距離画像センサ２０と、投影指示装置３０と、プロジェクタ４０のうちいずれかの二台以上の装置を一体型の装置として構築することもできる。例えば、距離画像センサ２０とプロジェクタ４０とを合わせて、一体型の撮像投影装置として構築することもできる（図３（ａ）参照）。

［システムの概要］
図３（ａ）は、荷物仕分けシステム１００が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Ｍが、搬送コンベヤ５０により矢印Ｘ方向に搬送されてくる各荷物Ｐに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて（ピックアップ）、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。

そこで本実施形態では、図３（ａ）に示すように、搬送コンベヤ５０の上方に配置されたラベルリーダ１０が、搬送コンベヤ５０により搬送されてくる各荷物Ｐに貼付されたラベルを読み取る。ラベルには、当該荷物に関する各種の情報を含むラベル記録情報が記載されている。ラベル記録情報は、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報を含む。ラベルの読み込みは、担当の作業者がラベル内のバーコードに、ラベルリーダ１０としてのバーコードリーダを手で当てて読み込むことで行っても良い。

さらに距離画像センサ２０が、搬送コンベヤ５０により搬送されてくる荷物Ｐの画像（距離画像）を撮像し、荷物Ｐの位置、荷物Ｐまでの距離、荷物Ｐのサイズ（荷物Ｐが直方体の場合は３辺の長さ）等の情報を取得する。尚、ラベルリーダ１０、距離画像センサ２０の配置位置や、センシングデバイスの種類、処理の順序は特に図示した形態に限定されない。上述した様に、本例では、距離画像センサ２０とプロジェクタ４０が一体型の撮像投影装置６０として構築され、搬送コンベヤ５０の上方に配置されている。

図３では示されていない投影指示装置３０は、例えば搬送コンベヤ５０の近傍や、別の部屋に配置されたコンピュータにより構成され、ラベルリーダ１０が獲得した荷物を特定する情報と、距離画像センサ２０が生成した距離画像に基づき、荷物Ｐ（荷物Ｐが直方体の場合は例えば上面）に表示する投影画像を生成する。投影指示装置３０は投影画像を荷物Ｐに投影すべき投影指示をプロジェクタ４０に送る。

投影指示を受けた、映像出力装置としての、プロジェクタ４０は、投影指示装置３０が生成した投影画像を含む投影光を荷物Ｐに投影し、荷物Ｐ上に投影画像を表示する。ここで荷物Ｐに表示される投影画像は、例えば、当該荷物Ｐの配送先住所に対応した仕分け方向Ａ、Ｂ、Ｃを示す矢印（搬送コンベヤ５０の搬送方向に対して右または左）の画像である（図３（ｂ）参照）。もちろん、状況に応じて、様々な種類の投影画像が表示される。なお、本開示において「映像出力装置」とは光線を直接荷物に投影するものに限定されない。本開示において「映像出力装置」には画像を表示可能な眼鏡も含む。つまり本開示において、荷物に投影光を投影する、荷物に画像を表示する、荷物に画像を投影する、などと表現した場合は、その表現は画像を表示可能な眼鏡を介して、擬似的に、荷物に投影光が投影されているかのように作業者に認識させることも含む。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物Ｐの像に、ここでの投影画像を重ねあわせてもよい。

以下、実施形態の荷物仕分けシステム１００において、投影指示装置３０が行う荷物仕分けの動作の概要を説明する。

［動作の概要］
図４は、本実施形態の投影指示装置３０、特に投影指示装置３０のプロセッサ３４が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ１０による荷物のラベルのラベル記録情報の読み取り後、投影指示装置３０の入力部３２がラベルリーダ１０から、ラベル記録情報に対応した荷物特定情報を取得する（ステップＳ１）。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ３４は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのＩＤを付与し、ＩＤを付与した時刻に対応する時刻情報とともにメモリ３６に記録する（ステップＳ２）。メモリ３６に記録するＩＤは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置３０が新しいＩＤを生成して付与してもよい。

一方、ステップＳ１およびステップＳ２と並行して、距離画像センサ２０による荷物の距離画像の撮像後、投影指示装置３０の入力部３２が距離画像センサ２０からセンシング情報としての距離画像を取得する（ステップＳ２０）。プロセッサ３４は、当該距離画像に存在する荷物に対応するＩＤがメモリ３６に存在するか否かを判定する。

当該距離画像に存在する荷物に対応するＩＤがメモリ３６に存在するか否かを判定する手法の一例としては、次のような手順によることが挙げられる。すなわち、プロセッサ３４は、ラベルリーダ１０と距離画像センサ２０との間の距離（既知とする）、および搬送コンベヤ５０の速度から、荷物がラベルリーダ１０と距離画像センサ２０の間を移動するために要する時間を計算する。そして、距離画像を取得した時刻から当該時間を引くことで、距離画像に存在する荷物がラベルリーダ１０（およびプロセッサ３４）によりＩＤを付与された時刻が推定できる。そして、当該推定した時刻に近接して付与されたＩＤが、当該距離画像に存在する荷物に対応するＩＤであると推定できる。また、他の一例としては、ラベルリーダ１０近辺に他の距離画像センサを設置する手法が挙げられる。すなわち、ラベルリーダ１０がＩＤ（およびプロセッサ３４）を付与した際から、ラベルリーダ１０近辺に設置した他の距離画像センサを用いて当該ＩＤが付与された荷物を追跡することで、時刻毎に当該荷物（およびＩＤ）とラベルリーダ１０との距離を計測する。プロセッサ３４は計測された荷物（およびＩＤ）とラベルリーダ１０との距離と、ステップＳ２０で取得された距離画像における荷物の距離と、２つの距離画像センサとの距離（既知とする）から所定のステップＳ２０で取得された距離画像における荷物のＩＤを推定することができる。

このようにして、プロセッサ３４は当該距離画像に含まれる荷物に対応するＩＤがメモリ３６に存在するか否かを判定する（ステップＳ３０）。すなわち、ステップＳ２で述べたように、メモリ３６には、荷物特定情報、ＩＤ、ＩＤを付与した時刻に対応する時刻情報が予め記録されている。一方、プロセッサ３４は、例えば上述したように、距離画像を取得した時刻から荷物がラベルリーダ１０と距離画像センサ２０の間を移動するために要する時間を引くことで、距離画像に存在する荷物がラベルリーダ１０（およびプロセッサ３４）によりＩＤを付与された時刻が推定できる。プロセッサ３４は、予めメモリ３６に記録された時刻情報と推定した時刻とを比較し、これらの値が近い場合は（例えば時間差が所定の閾値時間以下の場合など）、距離画像に含まれる荷物に対応するＩＤがメモリ３６に存在すると判定することができる。メモリ３６に荷物に対応するＩＤが存在すると判定した場合（ステップＳ３０；Ｙｅｓ）、ステップＳ６０以降の処理に進む。

メモリ３６に荷物に対応するＩＤが存在しないと判定した場合（ステップＳ３０；Ｎｏ）、プロセッサ３４は、当該荷物にＩＤが付与されていないことを前提として、当該荷物の位置を改めて特定し（ステップＳ４０）、荷物にＩＤを付与する（ステップＳ５０）。ステップＳ３０〜Ｓ５０については、さらにその詳細について後述する。

さらにプロセッサ３４は、所定の間隔をおいて入力部３２が取得する距離画像センサ２０からの距離画像に基づき、搬送コンベヤ５０により搬送されて移動するＩＤ付きの荷物を追跡する（ステップＳ６０）。そして、プロセッサ３４は、同じく距離画像に基づき、追跡していた荷物が作業者により拾い上げられたか否かを判定する（ステップＳ７０）。荷物が作業者により拾い上げられていないと判定した場合（ステップＳ７０；Ｎｏ）、プロセッサ３４は、荷物が、後述する特定領域（その荷物が拾い上げられるべき特定領域）に存在するか否かを判定する。そして、荷物が特定領域に存在する（到達した）と判定した場合（ステップＳ８０；Ｙｅｓ）、プロセッサ３４は投影画像を生成し、プロジェクタ４０に送信する（ステップＳ９０）荷物が特定領域に存在する（到達した）と判定しない場合（ステップＳ８０；Ｎｏ）、ステップＳ６０に戻り、プロセッサ３４は、荷物の追跡を続行する。

また、ステップＳ７０で、荷物が作業者により拾い上げられたと判定した場合（ステップＳ７０；Ｙｅｓ）、プロセッサ３４は、荷物の詳細情報をメモリ３６から読み出し（ステップＳ１００）、詳細情報を含む投影画像を生成し、出力部３８が生成した投影画像をプロジェクタ４０に出力する（ステップＳ９０）。投影指示装置３０から投影画像を取得したプロジェクタ４０は、当該投影画像を対応する荷物に投影する。

以上は、投影指示装置３０のプロセッサ３４等が行う動作手順の概略というべきものであり、以下、さらに各処理の詳細な手順について説明する。

［距離画像の取得］
プロセッサ３４は、距離画像センサ２０が取得した距離画像の全領域のデータを処理し、荷物の移動を追跡することができる。しかしながら、距離画像センサ２０が取得するデータには荷物の移動とは関係のないデータも多く、また、撮像した距離画像の全領域の処理には時間がかかるという事情が存在する。このような事情を考慮すると、プロセッサ３４は、必ずしも距離画像センサ２０が取得したすべての距離画像のデータを処理する必要はない。そこで本実施形態では、プロセッサ３４が、距離画像センサ２０が取得した距離画像のうち、一部の領域のみを処理することで、プロセッサ３４自身の処理の負担を軽減することにしている。

図５は、距離画像センサ２０が所得した距離画像において、投影指示装置３０が処理すべき画素に対応した座標点の集合体である処理対象空間Ｓを示す概念図である。荷物仕分けシステム１００が仕分けするべき対象物は搬送コンベヤ５０上の荷物Ｐであり、荷物Ｐが認識できれば、本来の目的が達成可能である。そこで本実施形態では、距離画像センサ２０が取得した距離画像のうち、一部の領域である処理対象空間Ｓのみを投影指示装置３０のプロセッサ３４による処理対象に限定することにより、プロセッサ３４の負担を軽減することにしている。距離画像センサ２０が取得した距離画像の座標点は、平面の座標位置ｘ、ｙと奥行であるｄからなる（ｘ，ｙ，ｄ）として定義される。処理対象空間Ｓを画定する座標点（ｘ_ｉ，ｙ_ｉ，ｄ_ｉ）の値は予め行う測定に基づき算出し、メモリ３６などに記憶させておくことができる。プロセッサ３４は、メモリ３６に記録された座標点（ｘ_ｉ，ｙ_ｉ，ｄ_ｉ）の値を参考にして、図６で説明する処理を行うことができる。

本実施形態では、処理対象空間Ｓは、搬送コンベヤ５０の面内であって、搬送コンベヤ５０から所定の高さＨ、及び幅Ｗまでの範囲で区画された空間によって画定されている。この空間なら、搬送コンベヤ５０上の荷物Ｐが捕捉可能であると考えられるからである。高さＨの範囲は特に限定されないが、高さＨが大きすぎるとプロセッサ３４の処理負担が重くなり、高さＨが小さすぎると荷物Ｐの捕捉が困難になる可能性がある。よって、高さＨは例えば５０ｃｍ程度に設定されるが特に限定はされない。幅Ｗは実際の搬送コンベヤの幅そのものには限定されず、所定の遊び幅を加えた、あるいは引いたものでもよいし、多少の広狭誤差を有していても良い。

図６は、図４のステップＳ２０である距離画像の取得において、プロセッサ３４がメモリ３６と協働して行う詳細な動作手順を示すフローチャートである。まず、プロセッサ３４は、距離画像センサ２０から距離画像のデータを取得する（ステップＳ２１）。そしてプロセッサ３４は、メモリ３６に記録された座標点（ｘ_ｉ，ｙ_ｉ，ｄ_ｉ）の値を参考にして、未だ処理が行われていない座標点の群である未処理点群が存在するか否かを判定する（ステップＳ２２）。未処理点群が存在しない場合は（ステップＳ２２；Ｎｏ）、処理が、ステップＳ３０に進む。

未処理点群が存在する場合は（ステップＳ２２；Ｙｅｓ）、プロセッサ３４は、当該未処理点群から１つの座標点を取得する（ステップＳ２３）。そしてプロセッサ３４は、取得した座標点が処理対象空間Ｓに含まれるか否かを判定する（ステップＳ２４）。この座標点が処理対象空間Ｓに含まれない場合は（ステップＳ２４；Ｎｏ）、当該座標点に処理済の旨の情報を付加した後に、ステップＳ２２に戻り、再度プロセッサ３４は、距離画像の中に未処理点群が存在するか否かを判定する。また、ステップＳ２３で取得した座標点が処理対象空間Ｓに含まれる場合は（ステップＳ２４；Ｙｅｓ）、プロセッサ３４は、当該座標点を処理対象空間Ｓに含まれる処理対象座標点としてメモリ３６に記録（登録）する（ステップＳ２５）。当該座標点にも処理済の旨の情報が付加される。

図７は、処理対象空間Ｓの変形例を示す概念図である。本例では、処理対象空間Ｓを、さらに搬送コンベヤ５０の搬送方向における所定の長さＬの範囲で区画して限定している。これにより、プロセッサ３４が処理すべき座標点の数をさらに減らし、プロセッサ３４の処理負担を減らすことができる。１つの距離画像センサ２０が時間の経過に応じて、撮像すべき所定の長さＬに相当する領域を変えてもよいし、複数の距離画像センサ２０が各々担当する所定の長さＬに相当する領域をそれぞれ撮像してもよい。

本実施形態によれば、プロセッサ３４が処理すべき処理対象空間Ｓを限定し、処理対象を減らすことができ、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。尚、例えばプロセッサ３４の処理能力が高いため、図５〜図７の処理、特にステップＳ２４の判定処理を行わない場合、ステップＳ２０は、単にセンシング情報としての距離画像を取得する動作となり、その後の処理では基本的に取得した距離画像の全部の座標点が処理対象となる。この結果、搬送コンベヤ５０から拾い上げられた荷物が対象となる図４のステップＳ１００、後述する図８のステップＳ１０１、ステップＳ１０２が実施可能となる。むろん、このような事実は図５〜図７の思想を否定するものではなく、図５〜図７の思想によって、プロセッサ３４の処理負担の軽減という、ステップＳ１００〜Ｓ１０２の作用効果とは独立した作用効果が得られる。逆の観点からは、図５〜図７の実施形態を適用することにより、ステップＳ１００〜Ｓ１０２の動作は原則的に行われないことになるが、もちろんこれによって、ステップＳ１００〜Ｓ１０２の思想が否定されるわけではない。

［ＩＤの付与］
投影指示装置３０の入力部３２がラベルリーダ１０から、ラベル記録情報に対応した荷物特定情報を取得すると（ステップＳ１）、通常は荷物特定情報（荷物特定番号）に対応したＩＤが付与され、メモリ３６に記録される（ステップＳ２）。しかしながら、ラベルリーダ１０によるラベルの読み取りが失敗した場合や、読み取るべきラベルがそもそも荷物に貼付されていない場合、たとえステップＳ２０で荷物の距離画像が取得されても、当該荷物の距離画像に対応するＩＤはメモリ３６に存在しない（ステップＳ３０；Ｎｏ）。この場合、プロセッサ３４は、当該荷物にＩＤが付与されていないことを前提として、改めて、当該荷物の距離画像を距離画像センサ２０から取得するととともに荷物の位置を特定し（ステップＳ４０）、当該荷物にＩＤを付与し、メモリ３６に記録する（ステップＳ５０）。その後プロセッサ３４は、所定の間隔をおいて入力部３２が取得する距離画像センサ２０からの距離画像に基づき、搬送コンベヤ５０により搬送されて移動するＩＤ付きの荷物を追跡する（ステップＳ６０）。

［投影面の抽出］
プロセッサ３４が荷物へのＩＤの付与後、荷物を追跡するに際して（ステップＳ６０）、プロセッサ３４は、距離画像センサ２０が取得した荷物の全体像の距離画像に基づき、荷物の移動を追跡することができる。しかしながら、全体像の距離画像のデータ量は大きいため全体像の距離画像に基づく荷物の追跡は、処理量が多く、困難となる可能性がある。また、全体像の距離画像が荷物の移動の追跡に必要とは限らず、図４のステップＳ９０において投影画像を投影すべき投影面が追跡できていればよいと考えられる。そこで本実施形態においては、プロセッサ３４は、ステップＳ６０において、メモリ３６と協働して取得した荷物の全体像の距離画像から、投影画像を投影すべき特定の面である投影面を抽出し、抽出した投影面のみに基づき荷物を追跡する。このように荷物を抽出した投影面（特定の面）のみに基づいて荷物を追跡すると、全ての投影面に基づいて荷物を追跡するよりも少ない処理量で荷物の追跡を行うことができる。本開示においては、荷物の追跡その他の、投影画像を生成するために必要な処理（投影画像の生成そのものを含む）を、特定の面のみに基づいて行うことで、プロセッサ３４の負担を軽減させている。

投影面は、例えば略直方体の荷物の上面（天面）がその典型例である。プロセッサ３４は、このような上面を、距離画像のうち高さが一定の座標の点群に基づき抽出することができる。また、プロセッサ３４は、このような上面を、距離画像のうち搬送コンベヤ５０と平行な面を構成する座標の点群に基づき抽出することもできる。

投影面は、例えば直方体の荷物の一側面であってもよい。プロセッサ３４は、このような側面を、距離画像のうち搬送コンベヤ５０に対し垂直な面を構成する座標の点群に基づき抽出することができる。上述した方法で予め上面を抽出しておくことより、側面の上端を画定できるため、予め上面を抽出しておくことが側面の抽出には好ましい。

投影面の向きは、荷物の移動軌跡により得られる速度ベクトルとの関係で定義することができる。

また、略直方体の荷物の上面や側面は、荷物の外接直方体を取得してから抽出することもできる。「外接直方体」とは、慣性主軸方向に平行な辺を有し、荷物が入る最小の直方体、即ち、直方体の６面のそれぞれが少なくとも一点において荷物の表面と接する直方体のことである。プロセッサ３４は、荷物の距離画像を３次元マッチング空間にて座標展開し、座標展開された荷物の最終画像の外接直方体を生成し、当該外接直方体の３辺の寸法を算出する。この結果、荷物の上面、側面を取得することができる。

投影面の選択は任意であり、直方体以外の形状の荷物の場合、様々な選択対象の面が考えられる。また、作業者の利便性を考慮して投影面を選択することもできる。例えば作業者から見て遠くの位置に荷物がある場合は、プロセッサ３４は、作業者から見た前面（直方体の荷物の場合、作業者に最も近い側面）を投影面として選択することができる。また、作業者から見て近くの位置に荷物がある場合は、プロセッサ３４は、上面を投影面として選択することができる。このような処理により、ステップＳ９０の後にプロジェクタ４０が、作業者にとって最も認識しやすい面への投影画像の投影を行うことが可能となる。また、荷物の周囲に存在する作業者の位置も同時に認識し、その情報を元に投影面を切り替えてもよい。

また、投影面を一面だけに絞り込むことにより、プロセッサ３４の処理負担を減らすことができ、かつ選択した面に適した投影画像を後に生成することができる。

本実施形態によれば、投影画像を投影すべき投影面を抽出することにより、プロセッサ３４は、荷物の全体を表示する距離画像に対する処理を行う必要がなくなり、処理負荷が軽減される。ただし、処理負荷の問題がない限り、一面のみならず複数の面を投影面として選択し、ステップＳ９０でプロジェクタ４０が、複数の投影面に投影画像を投影してもよい。よって、投影画像を投影すべき特定の面は一面のみならず複数の面をも含む。

ただし、本実施形態の様に投影面を抽出せずとも、プロセッサ３４が稼働する限りステップＳ７０以降の処理は可能である。よって、以降の説明でする処理は、投影面の抽出処理を必ずしも前提としたものではない。

［投影位置の決定］
さらにプロセッサ３４は荷物を追跡し、基本的に荷物が拾い上げられず（ステップＳ７０；Ｎｏ）、後述する特定領域に荷物が存在する場合（ステップＳ８０；Ｙｅｓ）、当該荷物に対応する投影画像を生成し、プロジェクタ４０に送信する（ステップＳ９０）。プロセッサ３４は、最後に取得した距離画像の位置をもって、投影画像を投影する位置を決定することができる。

しかしながら、距離画像の生成・取得にはある程度時間がかかり、その間にも荷物は搬送コンベヤ５０により移動するため、最後に取得した距離画像の位置に投影画像を投影した場合、実際には既にその位置から荷物が移動してしまっている可能性もある。特に荷物の移動速度が速ければ速いほど、実際の荷物の位置と最後に距離画像を取得した位置のずれは大きくなり、投影画像を投影すべき投影位置が本来の位置からずれてしまう可能性が大きくなる。

そこで本実施形態では、プロセッサ３４は、荷物が移動する移動速度と、既に取得した荷物の位置を考慮して、投影画像を投影すべき位置である予測投影位置を予測し、当該予測投影位置に投影画像を投影し、適切に投影画像を荷物に投影することにしている。

プロセッサ３４は、図４のステップＳ２０において、距離画像センサ２０が距離画像を取得した時刻に対応する第１の時刻情報であるタイムスタンプＴＳ１を、当該距離画像に付与するとともに、メモリ３６に記録する。さらにプロセッサ３４は、投影画像の生成時に（ステップＳ９０）、生成時の時刻に対応する第２の時刻情報であるタイムスタンプＴＳ２を取得し、距離画像の取得時点ＴＳ１から投影画像の生成時点ＴＳ２までの間、すなわち、第１の時刻情報および第２の時刻情報の差分を算出する（ＴＳ２−ＴＳ１）。この差分に基づき、プロセッサ３４は、メモリ３６と協働して本来投影画像を投影すべき荷物の投影位置を取得することができる。なお、本開示において「時刻に対応する」とはその一時点を表すことのみに限定されない。「時刻に対応する」とは何らかのイベントが発生した時刻から所定期間離れた時点を表す場合も含む。

具体的には、荷物の移動速度（搬送コンベヤ５０による搬送速度）がｖである場合、荷物が移動した移動距離Ｄは、Ｄ＝（ＴＳ２−ＴＳ１）×ｖによって計算することができる。なお、移動距離Ｄを方向付きの距離（例：東方向へ２ｃｍなど）として算出しても良いし、荷物の移動方向が、搬送コンベヤ５０の搬送方向と実質的に同じである場合は特に方向を定めない距離として算出してもよい（移動距離Ｄを方向つきの距離として算出するためにはｖを方向付きの速度で定めればよい）。投影画像を投影すべき荷物の予測投影位置Ｐ２は、距離画像の位置Ｐ１に対しＤを加えることで求めることができる。

上述したＤの算出を可能にするために、ｖの値を推定もしくは実測によって定める必要がある。ｖの値を定めるには以下のような手法をとることができる。
１）荷物の追跡（Ｓ６０）を行っている際に、時間当たりの移動距離および方向からｖを算出する。
２）所定の速度および方向へ荷物が移動するものとみなして、当該速度をｖとする。
３）コンベヤの搬送速度および方向をモータの出力等から監視し、当該速度をｖとする（荷物の速度はコンベヤと等速であると仮定する）。

プロセッサ３４は、以上のようにＤを算出することで、投影画像を投影すべき位置である予測投影位置（Ｐ１＋Ｄ）を算出する。本実施形態によれば、プロジェクタ４０が、荷物に対し、その動きに沿ってより正確に投影画像を投影することが可能になり、人間の目から見ても画像の投影が滑らかに見えるようになる。

なお、ＤをＤ＝（ＴＳ２＋Δｔ−ＴＳ１）×ｖによって算出してもよい。ここでΔｔは投影指示装置３０からプロジェクタ４０への投影画像の伝送時間とすることができる。またはΔｔはプロジェクタ内部での処理による遅延時間とすることもできる。またはΔｔは投影指示装置３０からプロジェクタ４０への投影画像の伝送時間にプロジェクタ内部での処理による遅延時間を加えた時間とすることもできる。このようにΔｔを定めることで予測投影位置をより精密に算出することができる。

［特定領域での投影］
本実施形態では、さらに図４のステップＳ８０において、追跡している荷物の位置に応じて投影画像を投影すべきか否か、あるいは投影画像を変化させるか否かの判定を行う。本処理により、プロジェクタ４０は、搬送コンベヤ５０上において、当該荷物にとって仕分けの対象となる特定領域（特定区間）内を移動している場合に、当該荷物に投影画像の投影を行う、あるいは特定領域外に荷物が存在する場合と比較して投影映像を変化させることとなる。

ラベルリーダ１０が読み取る荷物特定情報は、荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類等、に類似する情報の少なくとも一つを含む。これらの情報は、ステップＳ２やステップＳ５０で述べたように荷物のＩＤと対応付けられて、メモリ３６に記録されている。

荷物が拾い上げられるべき特定領域とは、当該荷物を担当する作業者が搬送コンベヤ５０から拾い上げる領域に相当する。本実施の形態において、搬送コンベヤ５０上の領域は、図３（ａ）に示すように、それぞれ搬送コンベヤ５０の搬送方向Ｘにおける特定長さで区画された領域である、領域Ａ、領域Ｂ、領域Ｃ、領域Ｄ、領域Ｅの５つの特定領域に区切られている。

以上のように記録された荷物特定情報および区切られた特定領域に基づいて、特定の荷物が搬送コンベヤ５０上のどの特定領域で仕分けの対象となるべきか否かを判定するためには以下の手法を用いることができる。

第１に、特定領域毎に予め荷物特定情報を対応付けてメモリ３６に記録する手法が挙げられる。例えば「○○地区行きの荷物であれば領域○で仕分けの対象になる」旨をメモリ３６に記録づけることが考えられる。

第２に、（１）特定領域に存在する作業者を特定し、（２）作業者毎に予め荷物特定情報を対応付けて、メモリ３６に記録する手法が挙げられる。作業者を特定するには各特定領域に入力装置を設けて作業者に作業者ＩＤを登録させ（あるいは作業者の所持する無線デバイスから作業者ＩＤを取得することで登録させ）ればよい。別の手法としては、距離画像あるいは別途取得した特定領域および作業者を含む画像から画像認識技術を用いて作業者ＩＤを特定してもよい。また、別の手法としては、所定の時刻には特定の作業者が特定領域に存在するものとして特定をおこなってもよい。作業者毎に予め荷物特定情報を対応付けるには例えば「作業者Ａは○○地区行きの荷物を仕分けする」旨をメモリ３６に記録づけることが考えられる。以上の情報を用いて、データの統合を行うことで、プロセッサ３４は「○○地区行きの荷物であれば領域○で仕分けの対象になる」ということを判定することができる。

第３に、（１）各特定領域に近接している搬送トラックを特定し、（２）搬送トラック毎に予め荷物特定情報を対応付けて、メモリ３６に記録する手法が挙げられる。各特定領域に近接している搬送トラックを特定するには、距離画像あるいは別途取得した特定領域および搬送トラックを含む画像から、画像認識技術を用いてトラックに付されたナンバープレートやマーカを特定することで特定してもよいし、所定の時刻には所定の搬送トラックが所定の特定領域に存在するものとして特定をおこなってもよい。搬送トラック毎に予め荷物特定情報を対応付けるには例えば「搬送トラックＡは○○地区行きの荷物を仕分けする」旨をメモリ３６に記録づけることが考えられる。以上の情報を用いて、データの統合を行うことで、プロセッサ３４は「○○地区行きの荷物であれば領域○で仕分けの対象になる」ということを判定することができる。

以上のようにして、プロセッサ３４は、荷物特定情報に基づき、特定の荷物が搬送コンベヤ５０上のどの特定領域で仕分けの対象となるべきかを判定することができる。

プロセッサ３４は、荷物特定情報に基づき、図４のステップＳ８０で、特定の荷物が、その荷物が拾い上げられるべき特定領域に存在するか否かを判定する。そして、荷物が特定領域に存在する（到達した）と判定した場合（ステップＳ８０；Ｙｅｓ）、プロセッサ３４は、投影画像を生成し、プロジェクタ４０に送信する。荷物が特定領域に存在する（到達した）と判定しない場合（ステップＳ８０；Ｎｏ）、ステップＳ６０に戻り、プロセッサ３４は、荷物の追跡を続行する。

荷物にとって仕分けの対象となる特定領域（特定区間）内を移動している場合に、当該荷物に投影画像の投影を行う場合を図３を用いて説明する。図３（ａ）の場面においては、搬送コンベヤ５０上の５つの荷物Ｐ１〜Ｐ５が投影画像の投影対象となるが、本実施形態では、各荷物が拾い上げられるべき特定領域に到達して、初めてプロジェクタ４０（撮像投影装置６０）は、投影画像を荷物に投影することとなる。

図３（ａ）において、各領域の搬送コンベヤ５０の脇には、荷物を拾い上げる担当の作業者が立っており、それぞれの領域に到達した荷物を、矢印Ａ、矢印Ｂ、矢印Ｃ、矢印Ｄ、矢印Ｅで示すように搬送コンベヤ５０から拾い上げる。図３（ａ）では、領域Ａ、領域Ｃ、領域Ｄの担当者が搬送方向Ｘを基準として搬送コンベヤ５０の右側に立っており、領域Ｂ、領域Ｅの担当者が搬送コンベヤ５０の左側に立っているが、便宜上、領域Ｅの担当者Ｍ以外の図示は省略している。

例えば荷物Ｐ１はラベルに「ＡＡＡ１１１」の荷物特定情報を持っている。上述した手法に基づき「ＡＡＡ１１１」の荷物特定情報は領域Ａで仕分けの対象になる旨が特定されているとする。そこで、プロセッサ３４は、荷物Ｐ１が（特定）領域Ａに到着したら、生成した投影画像をプロジェクタ４０に送信する。そして、プロジェクタ４０は投影画像を荷物Ｐ１に投影する。よって、領域Ａの作業者は、自身が担当する特定領域に到着した自身が拾い上げるべき荷物Ｐ１に容易に着目することが可能となり、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。

本実施形態では、図３（ａ）に示すように１台のプロジェクタ４０に対して、複数の特定領域の投影の有無を切り替えさせてもよく、複数台のプロジェクタ４０に対して、それぞれ担当の特定領域における投影の有無を切り替えさせてもよい。

図３を用いて説明した例によれば、荷物が仕分けの対象となる特定領域内を移動している場合にのみ投影を行うことにより、作業者が自ら拾い上げる荷物を特定することが容易になる。また、総ての荷物に対して条件に関わらず投影を行う場合、作業者が荷物の区別を容易にするため、様々なパターンの投影画像を用意することが必要となる。しかしながら、作業者や配送先の数によっては、荷物の区別をするための投影画像に高度なデザイン力が要求されることも考えられる。しかしながら、本実施形態によれば、投影対象となる荷物を限定することにより、投影画像のパターン数を最小限に抑えることが可能となる。

なお、本開示の手法は、荷物が特定領域内に荷物が存在する場合のみ投影を行うことに限定されない。荷物が特定領域内外両方に存在する場合にも荷物に対して投影を行うが、特定領域内に存在する場合は、特定領域外に荷物が存在する場合と比較して投影映像を変化させるように本開示を適用してもよい。

なお、本実施形態の様に荷物が特定領域に存在するか否を判定しなくても、プロセッサ３４が稼働する限りステップＳ９０の処理は可能である。すなわち、常に投影画像を生成して投影するようにしてもよい。よって、以降の説明でする処理は、本処理（荷物の特定領域内の存在判定）を必ずしも前提としたものではない。

［矢印を含む投影画像の生成］
プロセッサ３４は、図４のステップ９０における投影画像の生成に際し、当該荷物を拾い上げる作業者の作業性を考慮し、当該作業者が存在する方向、すなわち荷物を拾い上げる方向を示す画像として矢印を含む投影画像を生成することができる。

本実施の形態においては、各特定領域に対応して、各特定領域において荷物が拾い上げられる方向がメモリ３２内に記録されているものとする。すなわち、領域Ａであれば荷物が拾い上げられる方向は方向Ｘに対して右、領域Ｂであれば左、のように対応付けられてメモリ３２内に記録されているものとする。

上述した、特定の荷物が搬送コンベヤ５０上のどの特定領域で仕分けの対象となるべきか否かを判定する手法によれば、特定の荷物が特定の荷物がどの特定領域で仕分けの対象となるべきかを判定することができるので、特定の荷物が搬送コンベヤのどちらの方向に拾い上げられるかも判定することができる。つまり、プロセッサ３４は、荷物特定情報から荷物が拾い上げられる方向を判定することができる。そしてプロセッサ３４は、判定に基づき投影すべき矢印の画像を定義することができる。なお、本実施の形態においては拾い上げる方向を示す投影画像の一例として矢印を用いた説明を行うが、拾い上げる方向を示す画像はこれに限定されない。例えば拾い上げる方向を示す投影画像の一例として所定の方向に向かってスクロールする映像を構成する画像を用いることもできるし、所定の方向のみが他の方向に比べて異なる色で構成された画像を用いることもできる。

投影画像を生成する具体的手法の一例を挙げれば、例えばメモリ３６に予め、二方向（搬送コンベヤの右側および左側）を向いた矢印のテンプレート画像を記録しておき、プロセッサ３４が搬送方向と荷物の荷物特定情報から、何れかのテンプレート画像を選択し、矢印を含む投影画像を生成することが挙げられる。また、例えばメモリ３６に予め、自由な向きに回転可能な矢印の画像を記録しておき、プロセッサ３４が搬送方向と荷物の荷物特定情報から、回転可能な矢印の画像を適切な方向を向くように回転させ、矢印を含む投影画像を生成するようにしてもよい。この結果、図３（ｂ）に示すように、荷物Ｐ１、Ｐ２の上面に、矢印Ａ画像、矢印Ｂ画像を含む投影画像を投影することが可能となる。

尚、プロセッサ３４は、ステップＳ５０において抽出した投影面の大きさに基づき、荷物を拾い上げる方向を示す画像の大きさまたは形状を変化させてもよい。このようにして、投影面に荷物を拾い上げる方向を示す画像の示す方向が表示されなくなることを防ぎ、または、投影面に対して矢印が必要以上に小さく投影されることを防ぐことができる。

本実施形態によれば、作業者が、自らが拾い上げるべき荷物を識別しやすい投影画像を生成することができ、仕分け作業のミスを抑制するとともに、効率を向上させることもできる。ただし、本実施形態の様な矢印の生成も、他の実施形態の実施にあたっては必須ではなく、荷物を拾い上げる方向を示す矢印以外の他のパターンの情報を投影することも可能である。

［詳細情報の付与］
図８は、図４のステップＳ７０およびＳ１００において、プロセッサ３４が行う詳細な動作手順を示すフローチャートである。一般的に図３の作業者Ｍは拾い上げた荷物Ｐをトラックに積み込む際、一旦荷物を足元等、近傍の位置に並べ、配送の順序を考慮して荷物Ｐを積み込む。例えば作業者は、最後に配送する荷物をトラックの荷台の最も奥の位置に積み込み、最初に配送する荷物を荷台の出口付近の位置に積み込むのが一般的である。このような積み込みにはある程度の慣れや配送地域に対する情報が必要であり、担当作業者の交代などの事情に鑑みると、一定の効率性を維持するのは難しい。

そこで本実施形態では、特に搬送コンベヤ５０から拾い上げられた荷物については、更なる詳細情報を取得し、この詳細情報を荷物に投影する。作業者は当該詳細情報を含む投影画像を見ることで、容易にトラックに積み込むべき順序を把握することができるため、効率的に荷物Ｐをトラックに積み込むことができ、積み込み作業の効率を向上させることができる。

図８におけるステップＳ７１〜ステップＳ７４は、図４のステップＳ７０に相当する。プロセッサ３４は、荷物を追跡中のステップＳ６０から引き続き、荷物の上面の距離画像を取得する（ステップＳ７１）。ここで、距離画像センサ２０は、所定の時間毎に距離画像を１フレームごとに撮像しており、プロセッサ３４は、１フレームごとの距離画像を受けとっており、前後するフレームでその差分を抽出している（ステップＳ７２）。そして、本実施形態では、最新のフレームの距離画像内の荷物と、その前のフレーム内の荷物との差分を抽出しており、当該差分から荷物が等速直線運動しているか否かを判定する（ステップＳ７３）。

搬送コンベヤ５０は図３の矢印Ｘ方向に動いており、荷物が搬送コンベヤ５０上を搬送されている期間においては、荷物も矢印Ｘ方向に等速直線運度するはずである。すなわち、荷物は矢印Ｘ方向に等速直線運動した状態で撮像されるため、前後するフレームから荷物の等速直線運動を検出することは可能である。プロセッサ３４は、差分が等速直線運動であると判定した場合（ステップＳ７３；Ｙｅｓ）、投影画像の生成を行う（ステップＳ９０）。

一方、プロセッサ３４は、差分が等速直線運動でないと判定した場合（ステップＳ７３；Ｎｏ）、荷物が作業者によって搬送コンベヤ５０から拾い上げられたと判定する（ステップＳ７４）。もちろん、差分が等速直線運動でないと判定した後、荷物の距離画像を追跡し、荷物が搬送コンベヤ５０から離れたことを検出して、荷物が作業者によって拾い上げられたと判定してもよい。

図８におけるステップＳ１０１およびステップＳ１０２は、図４のステップＳ１００に相当する。荷物が拾い上げられたと判定したら（ステップＳ７４）、プロセッサ３４は、改めて荷物の上面の位置を特定する（ステップＳ１０１）。そしてプロセッサ３４は、予めメモリ３６に記録されている荷物に関する詳細情報を読み出す（ステップＳ１０２）。詳細情報には種々の情報が含まれるが、ここでは、作業者が荷物を積み込むにあたって有益な情報であり、例えば配送先の町名よりさらに下層の番地レベルのような配送先の詳細情報が該当する。読み出された詳細情報はステップＳ９０において投影画像に含められるため、作業者の仕分けの利便性が向上する。すなわち詳細情報は、荷物特定情報に対応して、荷物を配置すべき位置の情報を含むものである。

特に詳細情報は、作業者が荷物をどの位置へ仮り置きすべきかを示す情報を含むものであってよい。例えば、作業者がトラックの荷台に荷物を置く前に足元に荷物を場合は、足元で荷物を置くべき場所の位置情報や、作業者がトラックの荷台に直接荷物を置く場合は、荷台の中の荷物を置くべき場所の特定位置の情報等を含ませることもできる。

詳細情報は、ラベルリーダ１０が荷物のラベルから読み込み、メモリ３６が記録してもよいが、特にその取得方法は限定されず、別の記録場所からネットワークを経由して取得してもよい。

尚、本実施形態においては荷物の画像を追跡することにより、荷物が拾い上げられたか否かの判定を行うことにしているが、他の例としては行動分析技術を適用することも可能である。すなわち、作業者の荷物への接触や、荷物の持ち上げ、持ち去り等の行動にまつわる動作パターンを予めメモリ３６等に記録しておき、プロセッサ３４がそのような動作パターンと類似の作業者の動作を検出した場合荷物が拾い上げられたと判定することも可能である。また、荷物の一部が図５に示す処理対象空間Ｓから外に出た場合には荷物が拾い上げられたと判定することも可能である。

尚、本実施形態においては、投影指示装置３０は、例えば図５に示す処理対象空間Ｓから外に出た荷物をも追跡して投影画像を投影する。このような態様を実施する際には、上述した通り、図５〜図７の処理、特に図６のステップＳ２４における処理は行わず、図６の動作は実質的行われないことになり、基本的に総ての距離画像の座標点が処理対象となる。例えばプロセッサ３４の処理負担を考慮して、図５〜図７の処理、特にステップＳ２４の判定処理を行う場合、搬送コンベヤ５０から拾い上げられた荷物は処理対象から基本的に外されるため、ステップＳ１００〜Ｓ１０２は実施されないことになる。むろん、このような事実はステップＳ１００〜Ｓ１０２の処理の思想を否定するものではなく、ステップＳ１００〜Ｓ１０２の処理によって、詳細情報による積み込み作業の効率向上という、図５〜図７、ステップＳ２４の作用効果とは独立した作用効果が得られる。逆の観点からは、ステップＳ１００〜Ｓ１０２の実施形態を適用するためには、図５〜図７、ステップＳ２４の動作はステップＳ２０において原則的に行われないことになるが、もちろんこれによって、図５〜図７、ステップＳ２４の思想が否定されるわけではない。

本実施形態によれば、作業者は、荷物を拾い上げるべきか否かのみならず、詳細情報を参照して荷物に関してさらに詳細な属性を把握でき、荷物の仕分け、荷物の積載の効率を向上させることができる。ただし、本実施形態の様な詳細情報の付与は、他の実施形態の実施にあたっては必須ではない。

尚、上述の実施形態においては、距離画像センサ２０が距離画像を取得し、投影指示装置３０がこの距離画像を処理して投影画像を生成している。しかしながら、取得する画像は距離画像に必ずしも限定されるわけではなく、処理の種類によっては、距離情報を含まない２次元の画像を処理対象にしてもよい。よって、距離画像センサ２０が２次元の画像を取得する画像センサであってもよく、投影指示装置３０は処理負担の軽い２次元の画像を処理することできる。

［本実施形態のまとめ］
以上により、本実施形態の投影指示装置３０は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置３０であって、プロセッサ３４と、メモリ３６と、を備え、プロセッサ３４は、メモリ３６と協働して、画像を取得した時刻に対応する第１の時刻情報を取得し、荷物に投影する投影画像を生成し、投影画像を生成した時刻に対応する第２の時刻情報を取得し、第１の時刻情報および第２の時刻情報の差分に基づき、投影画像を投影する位置を算出する。

これにより、投影指示装置３０は、本来投影画像を投影すべき荷物の投影位置を取得することができる。この結果、プロジェクタ４０が、荷物の動きに沿ってより正確に投影画像を投影することが可能になり、人間の目から見ても画像の投影が滑らかに見えるようになる。

プロセッサ３４は、さらに荷物の移動速度および移動方向に基づき、投影画像を投影する位置を算出してもよい。これにより、投影指示装置３０は、本来投影画像を投影すべき荷物の投影位置を正確に取得することができる。

画像は、各画素が撮像位置からの距離を示す距離情報を含む距離画像であってもよい。これにより、投影指示装置３０は、本来投影画像を投影すべき荷物の投影位置を正確に取得することができる。

本実施形態の荷物仕分けシステム１００は、上述の投影指示装置３０と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ１０と、画像を取得する画像センサ２０と、投影画像を荷物に投影するプロジェクタ４０と、を備える。これにより、荷物の動きに沿ってより正確に投影画像を投影することが可能になり、人間の目から見ても画像の投影が滑らかに見えるようになる。

本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサ３４がメモリ３６と協働して、画像を取得した時刻に対応する第１の時刻情報を取得し、荷物に投影する投影画像を生成し、投影画像を生成した時刻に対応する第２の時刻情報を取得し、第１の時刻情報および第２の時刻情報の差分に基づき、投影画像を投影する位置を算出する。

以上により、本実施形態の投影指示装置３０は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置３０であって、プロセッサ３４と、メモリ３６と、を備え、プロセッサ３４は、メモリ３６と協働して、画像内の荷物の画像に基づき、荷物が拾い上げられた否かを判定し、荷物が拾い上げられたと判定した場合、荷物の詳細情報を含む投影画像を生成する。

これにより、作業者は、荷物を拾い上げるべきか否かのみならず、詳細情報を参照して荷物に関してさらに詳細な属性を把握でき、荷物の仕分け、荷物の積載の効率を向上させることができる。

詳細情報は、荷物特定情報に対応して、荷物を配置すべき位置の情報を含むものであってよい。これにより、作業者は、荷物を円滑に適正な位置に配置することができ、荷物の仕分け、荷物の積載の効率を向上させることができる。

詳細情報は、荷物を拾い上げる作業者の近傍で、荷物を配置すべき位置の情報を含むものであってよい。これにより、作業者は、荷物を円滑に適正な位置に配置することができ、荷物の仕分け、荷物の積載の効率を向上させることができる。

配置位置は、荷物を積み込むトラックの荷台の特定位置の情報を含むものであってよい。これにより、作業者は、荷物を円滑に適正な位置に配置することができ、荷物の仕分け、荷物の積載の効率を向上させることができる。

本実施形態の荷物仕分けシステム１００は、上述の投影指示装置３０と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ１０と、画像を取得する画像センサ２０と、投影画像を荷物に投影するプロジェクタ４０と、を備える。これにより、作業者は、荷物を拾い上げるべきか否かのみならず、詳細情報を参照して荷物に関してさらに詳細な属性を把握でき、荷物の仕分け、荷物の積載の効率を向上させることができる。

本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサがメモリと協働して、画像内の荷物の画像に基づき、荷物が拾い上げられた否かを判定し、荷物が拾い上げられたと判定した場合、荷物の詳細情報を含む投影画像を生成する。

以上により、本実施形態の投影指示装置３０は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物の位置を特定する投影指示装置３０であって、プロセッサ３４と、メモリ３６と、を備え、プロセッサ３４は、メモリ３６と協働して、画像の各画素が、荷物が存在すべき処理対象空間Ｓに含まれる画素であるか否かを、各画素の座標に基づき判定し、処理対象空間Ｓに含まれる画素のみを処理すべき処理点とみなして、メモリ３６に登録し、登録された処理点に基づき荷物の画像を取得し、当該荷物の位置を特定する。

これにより、プロセッサ３４が処理すべき処理対象空間Ｓを限定し、処理対象を減らすことができ、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。

処理対象空間Ｓが、画像中における荷物を搬送する搬送コンベヤから所定の高さまでの範囲で区画された空間であってもよい。これにより、プロセッサ３４が処理すべき処理対象空間Ｓをさらに限定し、処理対象をさらに減らすことができる。

処理対象空間Ｓが、画像中における搬送コンベヤの搬送方向における所定の長さの範囲で区画された空間であってもよい。これにより、プロセッサ３４が処理すべき処理対象空間Ｓをさらに限定し、処理対象をさらに減らすことができる。

処理対象空間Ｓが、画像中における搬送コンベヤの搬送方向における所定の幅の範囲で区画された空間であってもよい。これにより、プロセッサ３４が処理すべき処理対象空間Ｓをさらに限定し、処理対象をさらに減らすことができる。

上述したように、処理対象空間Ｓは画像中における搬送コンベヤに基づいて区画された空間であることが好ましい。

プロセッサ３４は、荷物に投影する投影画像を生成する。これにより、荷物の仕分けをより効率的かつ正確に行うことが可能となる。

本実施形態の荷物仕分けシステム１００は、上述の投影指示装置３０と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ１０と、画像を取得する画像センサ２０と、投影画像を荷物に投影するプロジェクタ４０と、を備える。これにより、プロセッサ３４が処理すべき処理対象空間を限定し、処理対象を減らすことができ、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。

本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物の位置を特定する投影指示装置であって、プロセッサ３４がメモリ３６と協働して、画像の各画素が、荷物が存在すべき処理対象空間に含まれる画素であるか否かを、各画素の座標に基づき判定し、処理対象空間に含まれる画素のみを処理すべき処理点とみなして、メモリ３６に登録し、登録された処理点に基づき荷物の画像を取得し、当該荷物の位置を特定する。

これにより、プロセッサ３４が処理すべき処理対象空間を限定し、処理対象を減らすことができ、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。

以上により、本実施形態の投影指示装置３０は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置３０であって、プロセッサ３４と、メモリ３６と、を備え、プロセッサ３４は、メモリ３６と協働して、荷物を含む画像から当該荷物の画像を特定し、当該荷物の特定の面を抽出し、特定の面に投影する投影画像を生成する。

これにより、投影画像を投影すべき投影面を抽出することになり、プロセッサ３４は、荷物の全体を表示する距離画像に対する処理を行う必要がなくなり、処理負荷が軽減される。

荷物が略直方体形状を有する場合、特定の面が荷物の上面であってもよい。これにより、作業者にとって投影画像が見やすくなる。

荷物が略直方体形状を有する場合、特定の面が荷物の一つの側面であってもよい。これにより、作業者にとって投影画像が見やすくなる。

本実施形態の荷物仕分けシステム１００は、上述の投影指示装置３０と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ１０と、画像を取得する画像センサ２０と、投影画像を荷物に投影するプロジェクタ４０と、を備える。これにより、投影画像を投影すべき投影面を抽出することになり、プロセッサ３４は、荷物の全体を表示する距離画像に対する処理を行う必要がなくなり、処理負荷が軽減される。

本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサ３４がメモリ３６と協働して、荷物を含む画像から、当該荷物の画像を抽出し、当該荷物の特定の面を特定し、特定の面のみに基づき、特定の面に投影する投影画像を生成する。

以上により、本実施形態の投影指示装置３０は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置３０であって、プロセッサ３４と、メモリ３６と、を備え、プロセッサ３４は、メモリ３６と協働して、荷物特定情報に基づき、荷物を拾い上げる方向を判定し、拾い上げる方向に対応した矢印を含む投影画像を生成する。

これにより、作業者が、自らが拾い上げるべき荷物を識別しやすい投影画像を生成することができ、仕分け作業のミスを抑制するとともに、効率を向上させることもできる。

プロセッサ３４は、拾い上げる方向に対応して、予め用意された矢印のテンプレート画像を選択し、矢印を含む投影画像を生成してもよい。これにより、矢印を容易に生成することができる。

プロセッサ３４は、拾い上げる方向に対応して、予め用意された回転可能な矢印の画像を回転させ、矢印を含む投影画像を生成してもよい。これにより、矢印を容易に生成することができる。

プロセッサ３４は、投影画像を投影する面の大きさに応じて、矢印の大きさを変化させる。これにより、適切な大きさの矢印を生成することができる。

画像は、各画素が撮像位置からの距離を示す距離情報であってもよい。これにより、投影指示装置３０は、本来投影画像を投影すべき荷物の投影位置を正確に取得することができる。

本実施形態の荷物仕分けシステム１００は、上述の投影指示装置３０と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ１０と、画像を取得する画像センサ２０と、投影画像を荷物に投影するプロジェクタ４０と、を備える。これにより、作業者が、自らが拾い上げるべき荷物を識別しやすい投影画像を生成することができ、仕分け作業のミスを抑制するとともに、効率を向上させることもできる。

本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサ３４がメモリ３６と協働して、荷物特定情報に基づき、荷物を拾い上げる方向を判定し、拾い上げる方向に対応した矢印を含む投影画像を生成する。

以上により、本実施形態の投影指示装置３０は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置３０であって、プロセッサ３４と、メモリ３６と、を備え、プロセッサ３４は、メモリ３５と協働して、荷物特定情報に基づき、特定の方向に荷物を拾い上げるべき特定領域を判定し、荷物が特定領域に存在する場合にのみ、投影画像を投影すべき投影条件情報を生成する。

これにより、個々の作業者が拾い上げなくてはならない荷物に対してのみ投影を行うことにより、作業者が自ら拾い上げる荷物を特定することが容易になる。また、投影画像のパターン数を最小限に抑えることが可能となる。

特定領域が、搬送コンベヤの搬送方向における特定長さで区画された領域であってもよい。これにより、個々の作業者が拾い上げなくてはならない荷物に対してのみ投影を行うことにより、作業者が自ら拾い上げる荷物を特定することが容易になる。

本実施形態の荷物仕分けシステム１００は、上述の投影指示装置３０と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ１０と、画像を取得する画像センサ２０と、投影画像を荷物に投影するプロジェクタ４０と、を備える。これにより、個々の作業者が拾い上げなくてはならない荷物に対してのみ投影を行うことにより、作業者が自ら拾い上げる荷物を特定することが容易になる。

本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、
プロセッサ３４がメモリ３６と協働して、荷物特定情報に基づき、特定の方向に荷物を拾い上げるべき特定領域を判定し、荷物が特定領域に存在する場合にのみ、投影画像を投影すべき投影条件情報を生成する。

以上、図面を参照して本開示に係る取引処理システムの実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

本開示は、貨物または荷台付きの貨物の寸法を適切に測定し得る寸法測定装置および寸法測定方法として有用である。

１０ラベルリーダ
２０距離画像センサ（画像センサ）
３０投影指示装置
３２入力部
３４プロセッサ
３６メモリ
３８出力部
４０プロジェクタ
５０搬送コンベヤ
６０撮像投影装置
１００荷物仕分けシステム
Ｐ荷物

Claims

プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
荷物のラベルに基づいて、前記荷物の荷物特定情報を特定し、
前記荷物のセンシング情報から得られる３次元座標に基づいて前記荷物の形状を特定し、
前記荷物の形状に基づいて当該荷物の特定の面を抽出し、
前記荷物のうち、荷物特定情報が特定された荷物の前記特定の面のみに基づき追跡し、
追跡している前記荷物の荷物特定情報に基づいて、前記特定の面に投影すべき投影画像を生成する処理を行う、
投影指示装置。
請求項１に記載の投影指示装置であって、
前記特定の面は前記荷物の上面である、
投影指示装置。
請求項１に記載の投影指示装置であって、
前記特定の面は前記荷物の一つの側面である、
投影指示装置。
請求項１に記載の投影指示装置であって、
前記センシング情報である画像は、各画素が撮像位置からの距離を示す距離情報を含む距離画像である、
投影指示装置。
請求項１に記載の投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記センシング情報である画像を取得する画像センサと、投影画像を前記荷物に投影する映像出力装置と、を備える荷物仕分けシステム。
プロセッサがメモリと協働して、
荷物のラベルに基づいて、前記荷物の荷物特定情報を特定し、
前記荷物のセンシング情報から得られる３次元座標に基づいて前記荷物の形状を特定し、
前記荷物の形状に基づいて当該荷物の特定の面を特定し、
前記荷物のうち、荷物特定情報が特定された荷物の前記特定の面のみに基づき追跡し、
追跡している前記荷物の荷物特定情報に基づいて、前記特定の面に投影すべき投影画像を生成する処理を行う、
投影指示方法。