以下、適宜図面を参照しながら、本開示に係る投影指示装置、荷物仕分けシステムおよび投影指示方法を具体的に開示した実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
以下、図1〜図8を用いて本開示の実施の形態を説明する。
[構成]
図1は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図1に示す荷物仕分けシステム100は、例えば物流センターに設置される。荷物仕分けシステム100は、ラベルリーダ10と、距離画像センサ20と、投影指示装置30と、プロジェクタ40とを備える。荷物仕分けシステム100は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業員の作業を支援するシステムである。荷物仕分けシステム100は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図1に記載したものに限定されない。例えば、一台のラベルリーダ10に複数の距離画像センサ20と、投影指示装置30と、プロジェクタ40を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。
読取装置としてのラベルリーダ10は、図示せぬレンズ、イメージセンサ等の各種の要素を含む装置である。ラベルリーダ10を用いることで、搬送コンベヤにより搬送されてくる荷物に貼付されたラベルから当該荷物に関する各種の情報を記録したラベル記録情報を読み取ることができる。読み取られたラベル記録情報を用いることで、当該荷物を特定することが可能で有る。読み取られた情報によって荷物特定情報が定義づけられる。
距離画像センサ20は、図示せぬレンズ、イメージセンサ等の各種の要素を含む撮像装置である。距離画像センサ20は、一般的には撮像カメラとして構成される。撮像カメラは3次元カメラ、複数台の2次元カメラなどである。距離画像センサ20は、搬送コンベヤにより搬送されてくる荷物を撮像し、距離画像を生成するにあたって、荷物の位置、荷物までの距離、荷物のサイズ等の情報を取得する。「距離画像」とは、撮像位置から各画素が示す位置(荷物の表面を含む)までの距離を示す距離情報を収容した画像のことをいう(つまり本開示において「画像」の語は距離画像を含む)。本開示において距離画像センサ20は荷物の位置を特定するために用いられる。よって距離画像センサ20は、他のセンシングデバイス(超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ)が代替することもできる。本開示においてはこれらの距離画像センサを含むセンシングデバイスから出力される情報をセンシング情報と呼ぶ。本実施の形態においてはセンシングデバイスの一例として距離画像センサ20を用いて説明を行う。また本実施の形態においては、センシング情報の一例として距離画像センサ20の出力である距離画像を用いて説明を行う。
投影指示装置30は、荷物仕分けシステム100における演算装置としての役割を果たす。図2に示すように、投影指示装置30は、バスを介して接続された入力部32、プロセッサ34、メモリ36、出力部38を備える。入力部32は、ラベルリーダ10が読み込んだラベル記録情報から取得した荷物の特定が可能な荷物特定情報、距離画像センサ20が生成した距離画像を受け取る。プロセッサ34は一般的な演算装置によって構成され、荷物特定情報および距離画像に基づき、荷物に投影する投影画像を生成する。記憶装置としてのメモリ36は、プロセッサ34が各種処理に必要な制御プログラムの読み込み、データの退避等の操作を行う。すなわち、プロセッサ34とメモリ36は協働して投影指示装置30による各種処理を制御する。出力部38は、プロセッサ34が生成した投影画像をプロジェクタ40に出力する。なお、本開示において「プロセッサ」は単一のプロセッサのみを意味するものではない。「プロセッサ」は、複数の同一目的のプロセッサや、目的の異なるプロセッサ(例えば、汎用CPU(Central Processing Unit)とGPU(Graphic Processing Unit))が共同して処理を行う場合の動作主体を意味する語としても使用される。
プロジェクタ40は一般的な投影装置により構成され、投影指示装置30から受信した投影画像を含む投影光を荷物に投影し、荷物上に表示する。
荷物仕分けシステム100は、ラベルリーダ10と、距離画像センサ20と、投影指示装置30と、プロジェクタ40とを有線通信または無線通信で繋ぎ合わすことにより構築できる。また、ラベルリーダ10と、距離画像センサ20と、投影指示装置30と、プロジェクタ40のうちいずれかの二台以上の装置を一体型の装置として構築することもできる。例えば、距離画像センサ20とプロジェクタ40とを合わせて、一体型の撮像投影装置として構築することもできる(図3(a)参照)。
[システムの概要]
図3(a)は、荷物仕分けシステム100が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Mが、搬送コンベヤ50により矢印X方向に搬送されてくる各荷物Pに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて(ピックアップ)、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。
そこで本実施形態では、図3(a)に示すように、搬送コンベヤ50の上方に配置されたラベルリーダ10が、搬送コンベヤ50により搬送されてくる各荷物Pに貼付されたラベルを読み取る。ラベルには、当該荷物に関する各種の情報を含むラベル記録情報が記載されている。ラベル記録情報は、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報を含む。ラベルの読み込みは、担当の作業者がラベル内のバーコードに、ラベルリーダ10としてのバーコードリーダを手で当てて読み込むことで行っても良い。
さらに距離画像センサ20が、搬送コンベヤ50により搬送されてくる荷物Pの画像(距離画像)を撮像し、荷物Pの位置、荷物Pまでの距離、荷物Pのサイズ(荷物Pが直方体の場合は3辺の長さ)等の情報を取得する。尚、ラベルリーダ10、距離画像センサ20の配置位置や、センシングデバイスの種類、処理の順序は特に図示した形態に限定されない。上述した様に、本例では、距離画像センサ20とプロジェクタ40が一体型の撮像投影装置60として構築され、搬送コンベヤ50の上方に配置されている。
図3では示されていない投影指示装置30は、例えば搬送コンベヤ50の近傍や、別の部屋に配置されたコンピュータにより構成され、ラベルリーダ10が獲得した荷物を特定する情報と、距離画像センサ20が生成した距離画像に基づき、荷物P(荷物Pが直方体の場合は例えば上面)に表示する投影画像を生成する。投影指示装置30は投影画像を荷物Pに投影すべき投影指示をプロジェクタ40に送る。
投影指示を受けた、映像出力装置としての、プロジェクタ40は、投影指示装置30が生成した投影画像を含む投影光を荷物Pに投影し、荷物P上に投影画像を表示する。ここで荷物Pに表示される投影画像は、例えば、当該荷物Pの配送先住所に対応した仕分け方向A、B、Cを示す矢印(搬送コンベヤ50の搬送方向に対して右または左)の画像である(図3(b)参照)。もちろん、状況に応じて、様々な種類の投影画像が表示される。なお、本開示において「映像出力装置」とは光線を直接荷物に投影するものに限定されない。本開示において「映像出力装置」には画像を表示可能な眼鏡も含む。つまり本開示において、荷物に投影光を投影する、荷物に画像を表示する、荷物に画像を投影する、などと表現した場合は、その表現は画像を表示可能な眼鏡を介して、擬似的に、荷物に投影光が投影されているかのように作業者に認識させることも含む。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物Pの像に、ここでの投影画像を重ねあわせてもよい。
以下、実施形態の荷物仕分けシステム100において、投影指示装置30が行う荷物仕分けの動作の概要を説明する。
[動作の概要]
図4は、本実施形態の投影指示装置30、特に投影指示装置30のプロセッサ34が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ10による荷物のラベルのラベル記録情報の読み取り後、投影指示装置30の入力部32がラベルリーダ10から、ラベル記録情報に対応した荷物特定情報を取得する(ステップS1)。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ34は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのIDを付与し、IDを付与した時刻に対応する時刻情報とともにメモリ36に記録する(ステップS2)。メモリ36に記録するIDは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置30が新しいIDを生成して付与してもよい。
一方、ステップS1およびステップS2と並行して、距離画像センサ20による荷物の距離画像の撮像後、投影指示装置30の入力部32が距離画像センサ20からセンシング情報としての距離画像を取得する(ステップS20)。プロセッサ34は、当該距離画像に存在する荷物に対応するIDがメモリ36に存在するか否かを判定する。
当該距離画像に存在する荷物に対応するIDがメモリ36に存在するか否かを判定する手法の一例としては、次のような手順によることが挙げられる。すなわち、プロセッサ34は、ラベルリーダ10と距離画像センサ20との間の距離(既知とする)、および搬送コンベヤ50の速度から、荷物がラベルリーダ10と距離画像センサ20の間を移動するために要する時間を計算する。そして、距離画像を取得した時刻から当該時間を引くことで、距離画像に存在する荷物がラベルリーダ10(およびプロセッサ34)によりIDを付与された時刻が推定できる。そして、当該推定した時刻に近接して付与されたIDが、当該距離画像に存在する荷物に対応するIDであると推定できる。また、他の一例としては、ラベルリーダ10近辺に他の距離画像センサを設置する手法が挙げられる。すなわち、ラベルリーダ10がID(およびプロセッサ34)を付与した際から、ラベルリーダ10近辺に設置した他の距離画像センサを用いて当該IDが付与された荷物を追跡することで、時刻毎に当該荷物(およびID)とラベルリーダ10との距離を計測する。プロセッサ34は計測された荷物(およびID)とラベルリーダ10との距離と、ステップS20で取得された距離画像における荷物の距離と、2つの距離画像センサとの距離(既知とする)から所定のステップS20で取得された距離画像における荷物のIDを推定することができる。
このようにして、プロセッサ34は当該距離画像に含まれる荷物に対応するIDがメモリ36に存在するか否かを判定する(ステップS30)。すなわち、ステップS2で述べたように、メモリ36には、荷物特定情報、ID、IDを付与した時刻に対応する時刻情報が予め記録されている。一方、プロセッサ34は、例えば上述したように、距離画像を取得した時刻から荷物がラベルリーダ10と距離画像センサ20の間を移動するために要する時間を引くことで、距離画像に存在する荷物がラベルリーダ10(およびプロセッサ34)によりIDを付与された時刻が推定できる。プロセッサ34は、予めメモリ36に記録された時刻情報と推定した時刻とを比較し、これらの値が近い場合は(例えば時間差が所定の閾値時間以下の場合など)、距離画像に含まれる荷物に対応するIDがメモリ36に存在すると判定することができる。メモリ36に荷物に対応するIDが存在すると判定した場合(ステップS30;Yes)、ステップS60以降の処理に進む。
メモリ36に荷物に対応するIDが存在しないと判定した場合(ステップS30;No)、プロセッサ34は、当該荷物にIDが付与されていないことを前提として、当該荷物の位置を改めて特定し(ステップS40)、荷物にIDを付与する(ステップS50)。ステップS30〜S50については、さらにその詳細について後述する。
さらにプロセッサ34は、所定の間隔をおいて入力部32が取得する距離画像センサ20からの距離画像に基づき、搬送コンベヤ50により搬送されて移動するID付きの荷物を追跡する(ステップS60)。そして、プロセッサ34は、同じく距離画像に基づき、追跡していた荷物が作業者により拾い上げられたか否かを判定する(ステップS70)。荷物が作業者により拾い上げられていないと判定した場合(ステップS70;No)、プロセッサ34は、荷物が、後述する特定領域(その荷物が拾い上げられるべき特定領域)に存在するか否かを判定する。そして、荷物が特定領域に存在する(到達した)と判定した場合(ステップS80;Yes)、プロセッサ34は投影画像を生成し、プロジェクタ40に送信する(ステップS90)荷物が特定領域に存在する(到達した)と判定しない場合(ステップS80;No)、ステップS60に戻り、プロセッサ34は、荷物の追跡を続行する。
また、ステップS70で、荷物が作業者により拾い上げられたと判定した場合(ステップS70;Yes)、プロセッサ34は、荷物の詳細情報をメモリ36から読み出し(ステップS100)、詳細情報を含む投影画像を生成し、出力部38が生成した投影画像をプロジェクタ40に出力する(ステップS90)。投影指示装置30から投影画像を取得したプロジェクタ40は、当該投影画像を対応する荷物に投影する。
以上は、投影指示装置30のプロセッサ34等が行う動作手順の概略というべきものであり、以下、さらに各処理の詳細な手順について説明する。
[距離画像の取得]
プロセッサ34は、距離画像センサ20が取得した距離画像の全領域のデータを処理し、荷物の移動を追跡することができる。しかしながら、距離画像センサ20が取得するデータには荷物の移動とは関係のないデータも多く、また、撮像した距離画像の全領域の処理には時間がかかるという事情が存在する。このような事情を考慮すると、プロセッサ34は、必ずしも距離画像センサ20が取得したすべての距離画像のデータを処理する必要はない。そこで本実施形態では、プロセッサ34が、距離画像センサ20が取得した距離画像のうち、一部の領域のみを処理することで、プロセッサ34自身の処理の負担を軽減することにしている。
図5は、距離画像センサ20が所得した距離画像において、投影指示装置30が処理すべき画素に対応した座標点の集合体である処理対象空間Sを示す概念図である。荷物仕分けシステム100が仕分けするべき対象物は搬送コンベヤ50上の荷物Pであり、荷物Pが認識できれば、本来の目的が達成可能である。そこで本実施形態では、距離画像センサ20が取得した距離画像のうち、一部の領域である処理対象空間Sのみを投影指示装置30のプロセッサ34による処理対象に限定することにより、プロセッサ34の負担を軽減することにしている。距離画像センサ20が取得した距離画像の座標点は、平面の座標位置x、yと奥行であるdからなる(x,y,d)として定義される。処理対象空間Sを画定する座標点(xi,yi,di)の値は予め行う測定に基づき算出し、メモリ36などに記憶させておくことができる。プロセッサ34は、メモリ36に記録された座標点(xi,yi,di)の値を参考にして、図6で説明する処理を行うことができる。
本実施形態では、処理対象空間Sは、搬送コンベヤ50の面内であって、搬送コンベヤ50から所定の高さH、及び幅Wまでの範囲で区画された空間によって画定されている。この空間なら、搬送コンベヤ50上の荷物Pが捕捉可能であると考えられるからである。高さHの範囲は特に限定されないが、高さHが大きすぎるとプロセッサ34の処理負担が重くなり、高さHが小さすぎると荷物Pの捕捉が困難になる可能性がある。よって、高さHは例えば50cm程度に設定されるが特に限定はされない。幅Wは実際の搬送コンベヤの幅そのものには限定されず、所定の遊び幅を加えた、あるいは引いたものでもよいし、多少の広狭誤差を有していても良い。
図6は、図4のステップS20である距離画像の取得において、プロセッサ34がメモリ36と協働して行う詳細な動作手順を示すフローチャートである。まず、プロセッサ34は、距離画像センサ20から距離画像のデータを取得する(ステップS21)。そしてプロセッサ34は、メモリ36に記録された座標点(xi,yi,di)の値を参考にして、未だ処理が行われていない座標点の群である未処理点群が存在するか否かを判定する(ステップS22)。未処理点群が存在しない場合は(ステップS22;No)、処理が、ステップS30に進む。
未処理点群が存在する場合は(ステップS22;Yes)、プロセッサ34は、当該未処理点群から1つの座標点を取得する(ステップS23)。そしてプロセッサ34は、取得した座標点が処理対象空間Sに含まれるか否かを判定する(ステップS24)。この座標点が処理対象空間Sに含まれない場合は(ステップS24;No)、当該座標点に処理済の旨の情報を付加した後に、ステップS22に戻り、再度プロセッサ34は、距離画像の中に未処理点群が存在するか否かを判定する。また、ステップS23で取得した座標点が処理対象空間Sに含まれる場合は(ステップS24;Yes)、プロセッサ34は、当該座標点を処理対象空間Sに含まれる処理対象座標点としてメモリ36に記録(登録)する(ステップS25)。当該座標点にも処理済の旨の情報が付加される。
図7は、処理対象空間Sの変形例を示す概念図である。本例では、処理対象空間Sを、さらに搬送コンベヤ50の搬送方向における所定の長さLの範囲で区画して限定している。これにより、プロセッサ34が処理すべき座標点の数をさらに減らし、プロセッサ34の処理負担を減らすことができる。1つの距離画像センサ20が時間の経過に応じて、撮像すべき所定の長さLに相当する領域を変えてもよいし、複数の距離画像センサ20が各々担当する所定の長さLに相当する領域をそれぞれ撮像してもよい。
本実施形態によれば、プロセッサ34が処理すべき処理対象空間Sを限定し、処理対象を減らすことができ、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。尚、例えばプロセッサ34の処理能力が高いため、図5〜図7の処理、特にステップS24の判定処理を行わない場合、ステップS20は、単にセンシング情報としての距離画像を取得する動作となり、その後の処理では基本的に取得した距離画像の全部の座標点が処理対象となる。この結果、搬送コンベヤ50から拾い上げられた荷物が対象となる図4のステップS100、後述する図8のステップS101、ステップS102が実施可能となる。むろん、このような事実は図5〜図7の思想を否定するものではなく、図5〜図7の思想によって、プロセッサ34の処理負担の軽減という、ステップS100〜S102の作用効果とは独立した作用効果が得られる。逆の観点からは、図5〜図7の実施形態を適用することにより、ステップS100〜S102の動作は原則的に行われないことになるが、もちろんこれによって、ステップS100〜S102の思想が否定されるわけではない。
[IDの付与]
投影指示装置30の入力部32がラベルリーダ10から、ラベル記録情報に対応した荷物特定情報を取得すると(ステップS1)、通常は荷物特定情報(荷物特定番号)に対応したIDが付与され、メモリ36に記録される(ステップS2)。しかしながら、ラベルリーダ10によるラベルの読み取りが失敗した場合や、読み取るべきラベルがそもそも荷物に貼付されていない場合、たとえステップS20で荷物の距離画像が取得されても、当該荷物の距離画像に対応するIDはメモリ36に存在しない(ステップS30;No)。この場合、プロセッサ34は、当該荷物にIDが付与されていないことを前提として、改めて、当該荷物の距離画像を距離画像センサ20から取得するととともに荷物の位置を特定し(ステップS40)、当該荷物にIDを付与し、メモリ36に記録する(ステップS50)。その後プロセッサ34は、所定の間隔をおいて入力部32が取得する距離画像センサ20からの距離画像に基づき、搬送コンベヤ50により搬送されて移動するID付きの荷物を追跡する(ステップS60)。
[投影面の抽出]
プロセッサ34が荷物へのIDの付与後、荷物を追跡するに際して(ステップS60)、プロセッサ34は、距離画像センサ20が取得した荷物の全体像の距離画像に基づき、荷物の移動を追跡することができる。しかしながら、全体像の距離画像のデータ量は大きいため全体像の距離画像に基づく荷物の追跡は、処理量が多く、困難となる可能性がある。また、全体像の距離画像が荷物の移動の追跡に必要とは限らず、図4のステップS90において投影画像を投影すべき投影面が追跡できていればよいと考えられる。そこで本実施形態においては、プロセッサ34は、ステップS60において、メモリ36と協働して取得した荷物の全体像の距離画像から、投影画像を投影すべき特定の面である投影面を抽出し、抽出した投影面のみに基づき荷物を追跡する。このように荷物を抽出した投影面(特定の面)のみに基づいて荷物を追跡すると、全ての投影面に基づいて荷物を追跡するよりも少ない処理量で荷物の追跡を行うことができる。本開示においては、荷物の追跡その他の、投影画像を生成するために必要な処理(投影画像の生成そのものを含む)を、特定の面のみに基づいて行うことで、プロセッサ34の負担を軽減させている。
投影面は、例えば略直方体の荷物の上面(天面)がその典型例である。プロセッサ34は、このような上面を、距離画像のうち高さが一定の座標の点群に基づき抽出することができる。また、プロセッサ34は、このような上面を、距離画像のうち搬送コンベヤ50と平行な面を構成する座標の点群に基づき抽出することもできる。
投影面は、例えば直方体の荷物の一側面であってもよい。プロセッサ34は、このような側面を、距離画像のうち搬送コンベヤ50に対し垂直な面を構成する座標の点群に基づき抽出することができる。上述した方法で予め上面を抽出しておくことより、側面の上端を画定できるため、予め上面を抽出しておくことが側面の抽出には好ましい。
投影面の向きは、荷物の移動軌跡により得られる速度ベクトルとの関係で定義することができる。
また、略直方体の荷物の上面や側面は、荷物の外接直方体を取得してから抽出することもできる。「外接直方体」とは、慣性主軸方向に平行な辺を有し、荷物が入る最小の直方体、即ち、直方体の6面のそれぞれが少なくとも一点において荷物の表面と接する直方体のことである。プロセッサ34は、荷物の距離画像を3次元マッチング空間にて座標展開し、座標展開された荷物の最終画像の外接直方体を生成し、当該外接直方体の3辺の寸法を算出する。この結果、荷物の上面、側面を取得することができる。
投影面の選択は任意であり、直方体以外の形状の荷物の場合、様々な選択対象の面が考えられる。また、作業者の利便性を考慮して投影面を選択することもできる。例えば作業者から見て遠くの位置に荷物がある場合は、プロセッサ34は、作業者から見た前面(直方体の荷物の場合、作業者に最も近い側面)を投影面として選択することができる。また、作業者から見て近くの位置に荷物がある場合は、プロセッサ34は、上面を投影面として選択することができる。このような処理により、ステップS90の後にプロジェクタ40が、作業者にとって最も認識しやすい面への投影画像の投影を行うことが可能となる。また、荷物の周囲に存在する作業者の位置も同時に認識し、その情報を元に投影面を切り替えてもよい。
また、投影面を一面だけに絞り込むことにより、プロセッサ34の処理負担を減らすことができ、かつ選択した面に適した投影画像を後に生成することができる。
本実施形態によれば、投影画像を投影すべき投影面を抽出することにより、プロセッサ34は、荷物の全体を表示する距離画像に対する処理を行う必要がなくなり、処理負荷が軽減される。ただし、処理負荷の問題がない限り、一面のみならず複数の面を投影面として選択し、ステップS90でプロジェクタ40が、複数の投影面に投影画像を投影してもよい。よって、投影画像を投影すべき特定の面は一面のみならず複数の面をも含む。
ただし、本実施形態の様に投影面を抽出せずとも、プロセッサ34が稼働する限りステップS70以降の処理は可能である。よって、以降の説明でする処理は、投影面の抽出処理を必ずしも前提としたものではない。
[投影位置の決定]
さらにプロセッサ34は荷物を追跡し、基本的に荷物が拾い上げられず(ステップS70;No)、後述する特定領域に荷物が存在する場合(ステップS80;Yes)、当該荷物に対応する投影画像を生成し、プロジェクタ40に送信する(ステップS90)。プロセッサ34は、最後に取得した距離画像の位置をもって、投影画像を投影する位置を決定することができる。
しかしながら、距離画像の生成・取得にはある程度時間がかかり、その間にも荷物は搬送コンベヤ50により移動するため、最後に取得した距離画像の位置に投影画像を投影した場合、実際には既にその位置から荷物が移動してしまっている可能性もある。特に荷物の移動速度が速ければ速いほど、実際の荷物の位置と最後に距離画像を取得した位置のずれは大きくなり、投影画像を投影すべき投影位置が本来の位置からずれてしまう可能性が大きくなる。
そこで本実施形態では、プロセッサ34は、荷物が移動する移動速度と、既に取得した荷物の位置を考慮して、投影画像を投影すべき位置である予測投影位置を予測し、当該予測投影位置に投影画像を投影し、適切に投影画像を荷物に投影することにしている。
プロセッサ34は、図4のステップS20において、距離画像センサ20が距離画像を取得した時刻に対応する第1の時刻情報であるタイムスタンプTS1を、当該距離画像に付与するとともに、メモリ36に記録する。さらにプロセッサ34は、投影画像の生成時に(ステップS90)、生成時の時刻に対応する第2の時刻情報であるタイムスタンプTS2を取得し、距離画像の取得時点TS1から投影画像の生成時点TS2までの間、すなわち、第1の時刻情報および第2の時刻情報の差分を算出する(TS2−TS1)。この差分に基づき、プロセッサ34は、メモリ36と協働して本来投影画像を投影すべき荷物の投影位置を取得することができる。なお、本開示において「時刻に対応する」とはその一時点を表すことのみに限定されない。「時刻に対応する」とは何らかのイベントが発生した時刻から所定期間離れた時点を表す場合も含む。
具体的には、荷物の移動速度(搬送コンベヤ50による搬送速度)がvである場合、荷物が移動した移動距離Dは、D=(TS2−TS1)×vによって計算することができる。なお、移動距離Dを方向付きの距離(例:東方向へ2cmなど)として算出しても良いし、荷物の移動方向が、搬送コンベヤ50の搬送方向と実質的に同じである場合は特に方向を定めない距離として算出してもよい(移動距離Dを方向つきの距離として算出するためにはvを方向付きの速度で定めればよい)。投影画像を投影すべき荷物の予測投影位置P2は、距離画像の位置P1に対しDを加えることで求めることができる。
上述したDの算出を可能にするために、vの値を推定もしくは実測によって定める必要がある。vの値を定めるには以下のような手法をとることができる。
1)荷物の追跡(S60)を行っている際に、時間当たりの移動距離および方向からvを算出する。
2)所定の速度および方向へ荷物が移動するものとみなして、当該速度をvとする。
3)コンベヤの搬送速度および方向をモータの出力等から監視し、当該速度をvとする(荷物の速度はコンベヤと等速であると仮定する)。
プロセッサ34は、以上のようにDを算出することで、投影画像を投影すべき位置である予測投影位置(P1+D)を算出する。本実施形態によれば、プロジェクタ40が、荷物に対し、その動きに沿ってより正確に投影画像を投影することが可能になり、人間の目から見ても画像の投影が滑らかに見えるようになる。
なお、DをD=(TS2+Δt−TS1)×vによって算出してもよい。ここでΔtは投影指示装置30からプロジェクタ40への投影画像の伝送時間とすることができる。またはΔtはプロジェクタ内部での処理による遅延時間とすることもできる。またはΔtは投影指示装置30からプロジェクタ40への投影画像の伝送時間にプロジェクタ内部での処理による遅延時間を加えた時間とすることもできる。このようにΔtを定めることで予測投影位置をより精密に算出することができる。
[特定領域での投影]
本実施形態では、さらに図4のステップS80において、追跡している荷物の位置に応じて投影画像を投影すべきか否か、あるいは投影画像を変化させるか否かの判定を行う。本処理により、プロジェクタ40は、搬送コンベヤ50上において、当該荷物にとって仕分けの対象となる特定領域(特定区間)内を移動している場合に、当該荷物に投影画像の投影を行う、あるいは特定領域外に荷物が存在する場合と比較して投影映像を変化させることとなる。
ラベルリーダ10が読み取る荷物特定情報は、荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類等、に類似する情報の少なくとも一つを含む。これらの情報は、ステップS2やステップS50で述べたように荷物のIDと対応付けられて、メモリ36に記録されている。
荷物が拾い上げられるべき特定領域とは、当該荷物を担当する作業者が搬送コンベヤ50から拾い上げる領域に相当する。本実施の形態において、搬送コンベヤ50上の領域は、図3(a)に示すように、それぞれ搬送コンベヤ50の搬送方向Xにおける特定長さで区画された領域である、領域A、領域B、領域C、領域D、領域Eの5つの特定領域に区切られている。
以上のように記録された荷物特定情報および区切られた特定領域に基づいて、特定の荷物が搬送コンベヤ50上のどの特定領域で仕分けの対象となるべきか否かを判定するためには以下の手法を用いることができる。
第1に、特定領域毎に予め荷物特定情報を対応付けてメモリ36に記録する手法が挙げられる。例えば「○○地区行きの荷物であれば領域○で仕分けの対象になる」旨をメモリ36に記録づけることが考えられる。
第2に、(1)特定領域に存在する作業者を特定し、(2)作業者毎に予め荷物特定情報を対応付けて、メモリ36に記録する手法が挙げられる。作業者を特定するには各特定領域に入力装置を設けて作業者に作業者IDを登録させ(あるいは作業者の所持する無線デバイスから作業者IDを取得することで登録させ)ればよい。別の手法としては、距離画像あるいは別途取得した特定領域および作業者を含む画像から画像認識技術を用いて作業者IDを特定してもよい。また、別の手法としては、所定の時刻には特定の作業者が特定領域に存在するものとして特定をおこなってもよい。作業者毎に予め荷物特定情報を対応付けるには例えば「作業者Aは○○地区行きの荷物を仕分けする」旨をメモリ36に記録づけることが考えられる。以上の情報を用いて、データの統合を行うことで、プロセッサ34は「○○地区行きの荷物であれば領域○で仕分けの対象になる」ということを判定することができる。
第3に、(1)各特定領域に近接している搬送トラックを特定し、(2)搬送トラック毎に予め荷物特定情報を対応付けて、メモリ36に記録する手法が挙げられる。各特定領域に近接している搬送トラックを特定するには、距離画像あるいは別途取得した特定領域および搬送トラックを含む画像から、画像認識技術を用いてトラックに付されたナンバープレートやマーカを特定することで特定してもよいし、所定の時刻には所定の搬送トラックが所定の特定領域に存在するものとして特定をおこなってもよい。搬送トラック毎に予め荷物特定情報を対応付けるには例えば「搬送トラックAは○○地区行きの荷物を仕分けする」旨をメモリ36に記録づけることが考えられる。以上の情報を用いて、データの統合を行うことで、プロセッサ34は「○○地区行きの荷物であれば領域○で仕分けの対象になる」ということを判定することができる。
以上のようにして、プロセッサ34は、荷物特定情報に基づき、特定の荷物が搬送コンベヤ50上のどの特定領域で仕分けの対象となるべきかを判定することができる。
プロセッサ34は、荷物特定情報に基づき、図4のステップS80で、特定の荷物が、その荷物が拾い上げられるべき特定領域に存在するか否かを判定する。そして、荷物が特定領域に存在する(到達した)と判定した場合(ステップS80;Yes)、プロセッサ34は、投影画像を生成し、プロジェクタ40に送信する。荷物が特定領域に存在する(到達した)と判定しない場合(ステップS80;No)、ステップS60に戻り、プロセッサ34は、荷物の追跡を続行する。
荷物にとって仕分けの対象となる特定領域(特定区間)内を移動している場合に、当該荷物に投影画像の投影を行う場合を図3を用いて説明する。図3(a)の場面においては、搬送コンベヤ50上の5つの荷物P1〜P5が投影画像の投影対象となるが、本実施形態では、各荷物が拾い上げられるべき特定領域に到達して、初めてプロジェクタ40(撮像投影装置60)は、投影画像を荷物に投影することとなる。
図3(a)において、各領域の搬送コンベヤ50の脇には、荷物を拾い上げる担当の作業者が立っており、それぞれの領域に到達した荷物を、矢印A、矢印B、矢印C、矢印D、矢印Eで示すように搬送コンベヤ50から拾い上げる。図3(a)では、領域A、領域C、領域Dの担当者が搬送方向Xを基準として搬送コンベヤ50の右側に立っており、領域B、領域Eの担当者が搬送コンベヤ50の左側に立っているが、便宜上、領域Eの担当者M以外の図示は省略している。
例えば荷物P1はラベルに「AAA111」の荷物特定情報を持っている。上述した手法に基づき「AAA111」の荷物特定情報は領域Aで仕分けの対象になる旨が特定されているとする。そこで、プロセッサ34は、荷物P1が(特定)領域Aに到着したら、生成した投影画像をプロジェクタ40に送信する。そして、プロジェクタ40は投影画像を荷物P1に投影する。よって、領域Aの作業者は、自身が担当する特定領域に到着した自身が拾い上げるべき荷物P1に容易に着目することが可能となり、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。
本実施形態では、図3(a)に示すように1台のプロジェクタ40に対して、複数の特定領域の投影の有無を切り替えさせてもよく、複数台のプロジェクタ40に対して、それぞれ担当の特定領域における投影の有無を切り替えさせてもよい。
図3を用いて説明した例によれば、荷物が仕分けの対象となる特定領域内を移動している場合にのみ投影を行うことにより、作業者が自ら拾い上げる荷物を特定することが容易になる。また、総ての荷物に対して条件に関わらず投影を行う場合、作業者が荷物の区別を容易にするため、様々なパターンの投影画像を用意することが必要となる。しかしながら、作業者や配送先の数によっては、荷物の区別をするための投影画像に高度なデザイン力が要求されることも考えられる。しかしながら、本実施形態によれば、投影対象となる荷物を限定することにより、投影画像のパターン数を最小限に抑えることが可能となる。
なお、本開示の手法は、荷物が特定領域内に荷物が存在する場合のみ投影を行うことに限定されない。荷物が特定領域内外両方に存在する場合にも荷物に対して投影を行うが、特定領域内に存在する場合は、特定領域外に荷物が存在する場合と比較して投影映像を変化させるように本開示を適用してもよい。
なお、本実施形態の様に荷物が特定領域に存在するか否を判定しなくても、プロセッサ34が稼働する限りステップS90の処理は可能である。すなわち、常に投影画像を生成して投影するようにしてもよい。よって、以降の説明でする処理は、本処理(荷物の特定領域内の存在判定)を必ずしも前提としたものではない。
[矢印を含む投影画像の生成]
プロセッサ34は、図4のステップ90における投影画像の生成に際し、当該荷物を拾い上げる作業者の作業性を考慮し、当該作業者が存在する方向、すなわち荷物を拾い上げる方向を示す画像として矢印を含む投影画像を生成することができる。
本実施の形態においては、各特定領域に対応して、各特定領域において荷物が拾い上げられる方向がメモリ32内に記録されているものとする。すなわち、領域Aであれば荷物が拾い上げられる方向は方向Xに対して右、領域Bであれば左、のように対応付けられてメモリ32内に記録されているものとする。
上述した、特定の荷物が搬送コンベヤ50上のどの特定領域で仕分けの対象となるべきか否かを判定する手法によれば、特定の荷物が特定の荷物がどの特定領域で仕分けの対象となるべきかを判定することができるので、特定の荷物が搬送コンベヤのどちらの方向に拾い上げられるかも判定することができる。つまり、プロセッサ34は、荷物特定情報から荷物が拾い上げられる方向を判定することができる。そしてプロセッサ34は、判定に基づき投影すべき矢印の画像を定義することができる。なお、本実施の形態においては拾い上げる方向を示す投影画像の一例として矢印を用いた説明を行うが、拾い上げる方向を示す画像はこれに限定されない。例えば拾い上げる方向を示す投影画像の一例として所定の方向に向かってスクロールする映像を構成する画像を用いることもできるし、所定の方向のみが他の方向に比べて異なる色で構成された画像を用いることもできる。
投影画像を生成する具体的手法の一例を挙げれば、例えばメモリ36に予め、二方向(搬送コンベヤの右側および左側)を向いた矢印のテンプレート画像を記録しておき、プロセッサ34が搬送方向と荷物の荷物特定情報から、何れかのテンプレート画像を選択し、矢印を含む投影画像を生成することが挙げられる。また、例えばメモリ36に予め、自由な向きに回転可能な矢印の画像を記録しておき、プロセッサ34が搬送方向と荷物の荷物特定情報から、回転可能な矢印の画像を適切な方向を向くように回転させ、矢印を含む投影画像を生成するようにしてもよい。この結果、図3(b)に示すように、荷物P1、P2の上面に、矢印A画像、矢印B画像を含む投影画像を投影することが可能となる。
尚、プロセッサ34は、ステップS50において抽出した投影面の大きさに基づき、荷物を拾い上げる方向を示す画像の大きさまたは形状を変化させてもよい。このようにして、投影面に荷物を拾い上げる方向を示す画像の示す方向が表示されなくなることを防ぎ、または、投影面に対して矢印が必要以上に小さく投影されることを防ぐことができる。
本実施形態によれば、作業者が、自らが拾い上げるべき荷物を識別しやすい投影画像を生成することができ、仕分け作業のミスを抑制するとともに、効率を向上させることもできる。ただし、本実施形態の様な矢印の生成も、他の実施形態の実施にあたっては必須ではなく、荷物を拾い上げる方向を示す矢印以外の他のパターンの情報を投影することも可能である。
[詳細情報の付与]
図8は、図4のステップS70およびS100において、プロセッサ34が行う詳細な動作手順を示すフローチャートである。一般的に図3の作業者Mは拾い上げた荷物Pをトラックに積み込む際、一旦荷物を足元等、近傍の位置に並べ、配送の順序を考慮して荷物Pを積み込む。例えば作業者は、最後に配送する荷物をトラックの荷台の最も奥の位置に積み込み、最初に配送する荷物を荷台の出口付近の位置に積み込むのが一般的である。このような積み込みにはある程度の慣れや配送地域に対する情報が必要であり、担当作業者の交代などの事情に鑑みると、一定の効率性を維持するのは難しい。
そこで本実施形態では、特に搬送コンベヤ50から拾い上げられた荷物については、更なる詳細情報を取得し、この詳細情報を荷物に投影する。作業者は当該詳細情報を含む投影画像を見ることで、容易にトラックに積み込むべき順序を把握することができるため、効率的に荷物Pをトラックに積み込むことができ、積み込み作業の効率を向上させることができる。
図8におけるステップS71〜ステップS74は、図4のステップS70に相当する。プロセッサ34は、荷物を追跡中のステップS60から引き続き、荷物の上面の距離画像を取得する(ステップS71)。ここで、距離画像センサ20は、所定の時間毎に距離画像を1フレームごとに撮像しており、プロセッサ34は、1フレームごとの距離画像を受けとっており、前後するフレームでその差分を抽出している(ステップS72)。そして、本実施形態では、最新のフレームの距離画像内の荷物と、その前のフレーム内の荷物との差分を抽出しており、当該差分から荷物が等速直線運動しているか否かを判定する(ステップS73)。
搬送コンベヤ50は図3の矢印X方向に動いており、荷物が搬送コンベヤ50上を搬送されている期間においては、荷物も矢印X方向に等速直線運度するはずである。すなわち、荷物は矢印X方向に等速直線運動した状態で撮像されるため、前後するフレームから荷物の等速直線運動を検出することは可能である。プロセッサ34は、差分が等速直線運動であると判定した場合(ステップS73;Yes)、投影画像の生成を行う(ステップS90)。
一方、プロセッサ34は、差分が等速直線運動でないと判定した場合(ステップS73;No)、荷物が作業者によって搬送コンベヤ50から拾い上げられたと判定する(ステップS74)。もちろん、差分が等速直線運動でないと判定した後、荷物の距離画像を追跡し、荷物が搬送コンベヤ50から離れたことを検出して、荷物が作業者によって拾い上げられたと判定してもよい。
図8におけるステップS101およびステップS102は、図4のステップS100に相当する。荷物が拾い上げられたと判定したら(ステップS74)、プロセッサ34は、改めて荷物の上面の位置を特定する(ステップS101)。そしてプロセッサ34は、予めメモリ36に記録されている荷物に関する詳細情報を読み出す(ステップS102)。詳細情報には種々の情報が含まれるが、ここでは、作業者が荷物を積み込むにあたって有益な情報であり、例えば配送先の町名よりさらに下層の番地レベルのような配送先の詳細情報が該当する。読み出された詳細情報はステップS90において投影画像に含められるため、作業者の仕分けの利便性が向上する。すなわち詳細情報は、荷物特定情報に対応して、荷物を配置すべき位置の情報を含むものである。
特に詳細情報は、作業者が荷物をどの位置へ仮り置きすべきかを示す情報を含むものであってよい。例えば、作業者がトラックの荷台に荷物を置く前に足元に荷物を場合は、足元で荷物を置くべき場所の位置情報や、作業者がトラックの荷台に直接荷物を置く場合は、荷台の中の荷物を置くべき場所の特定位置の情報等を含ませることもできる。
詳細情報は、ラベルリーダ10が荷物のラベルから読み込み、メモリ36が記録してもよいが、特にその取得方法は限定されず、別の記録場所からネットワークを経由して取得してもよい。
尚、本実施形態においては荷物の画像を追跡することにより、荷物が拾い上げられたか否かの判定を行うことにしているが、他の例としては行動分析技術を適用することも可能である。すなわち、作業者の荷物への接触や、荷物の持ち上げ、持ち去り等の行動にまつわる動作パターンを予めメモリ36等に記録しておき、プロセッサ34がそのような動作パターンと類似の作業者の動作を検出した場合荷物が拾い上げられたと判定することも可能である。また、荷物の一部が図5に示す処理対象空間Sから外に出た場合には荷物が拾い上げられたと判定することも可能である。
尚、本実施形態においては、投影指示装置30は、例えば図5に示す処理対象空間Sから外に出た荷物をも追跡して投影画像を投影する。このような態様を実施する際には、上述した通り、図5〜図7の処理、特に図6のステップS24における処理は行わず、図6の動作は実質的行われないことになり、基本的に総ての距離画像の座標点が処理対象となる。例えばプロセッサ34の処理負担を考慮して、図5〜図7の処理、特にステップS24の判定処理を行う場合、搬送コンベヤ50から拾い上げられた荷物は処理対象から基本的に外されるため、ステップS100〜S102は実施されないことになる。むろん、このような事実はステップS100〜S102の処理の思想を否定するものではなく、ステップS100〜S102の処理によって、詳細情報による積み込み作業の効率向上という、図5〜図7、ステップS24の作用効果とは独立した作用効果が得られる。逆の観点からは、ステップS100〜S102の実施形態を適用するためには、図5〜図7、ステップS24の動作はステップS20において原則的に行われないことになるが、もちろんこれによって、図5〜図7、ステップS24の思想が否定されるわけではない。
本実施形態によれば、作業者は、荷物を拾い上げるべきか否かのみならず、詳細情報を参照して荷物に関してさらに詳細な属性を把握でき、荷物の仕分け、荷物の積載の効率を向上させることができる。ただし、本実施形態の様な詳細情報の付与は、他の実施形態の実施にあたっては必須ではない。
尚、上述の実施形態においては、距離画像センサ20が距離画像を取得し、投影指示装置30がこの距離画像を処理して投影画像を生成している。しかしながら、取得する画像は距離画像に必ずしも限定されるわけではなく、処理の種類によっては、距離情報を含まない2次元の画像を処理対象にしてもよい。よって、距離画像センサ20が2次元の画像を取得する画像センサであってもよく、投影指示装置30は処理負担の軽い2次元の画像を処理することできる。
[本実施形態のまとめ]
以上により、本実施形態の投影指示装置30は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置30であって、プロセッサ34と、メモリ36と、を備え、プロセッサ34は、メモリ36と協働して、画像を取得した時刻に対応する第1の時刻情報を取得し、荷物に投影する投影画像を生成し、投影画像を生成した時刻に対応する第2の時刻情報を取得し、第1の時刻情報および第2の時刻情報の差分に基づき、投影画像を投影する位置を算出する。
これにより、投影指示装置30は、本来投影画像を投影すべき荷物の投影位置を取得することができる。この結果、プロジェクタ40が、荷物の動きに沿ってより正確に投影画像を投影することが可能になり、人間の目から見ても画像の投影が滑らかに見えるようになる。
プロセッサ34は、さらに荷物の移動速度および移動方向に基づき、投影画像を投影する位置を算出してもよい。これにより、投影指示装置30は、本来投影画像を投影すべき荷物の投影位置を正確に取得することができる。
画像は、各画素が撮像位置からの距離を示す距離情報を含む距離画像であってもよい。これにより、投影指示装置30は、本来投影画像を投影すべき荷物の投影位置を正確に取得することができる。
本実施形態の荷物仕分けシステム100は、上述の投影指示装置30と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ10と、画像を取得する画像センサ20と、投影画像を荷物に投影するプロジェクタ40と、を備える。これにより、荷物の動きに沿ってより正確に投影画像を投影することが可能になり、人間の目から見ても画像の投影が滑らかに見えるようになる。
本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサ34がメモリ36と協働して、画像を取得した時刻に対応する第1の時刻情報を取得し、荷物に投影する投影画像を生成し、投影画像を生成した時刻に対応する第2の時刻情報を取得し、第1の時刻情報および第2の時刻情報の差分に基づき、投影画像を投影する位置を算出する。
これにより、投影指示装置30は、本来投影画像を投影すべき荷物の投影位置を取得することができる。この結果、プロジェクタ40が、荷物の動きに沿ってより正確に投影画像を投影することが可能になり、人間の目から見ても画像の投影が滑らかに見えるようになる。
以上により、本実施形態の投影指示装置30は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置30であって、プロセッサ34と、メモリ36と、を備え、プロセッサ34は、メモリ36と協働して、画像内の荷物の画像に基づき、荷物が拾い上げられた否かを判定し、荷物が拾い上げられたと判定した場合、荷物の詳細情報を含む投影画像を生成する。
これにより、作業者は、荷物を拾い上げるべきか否かのみならず、詳細情報を参照して荷物に関してさらに詳細な属性を把握でき、荷物の仕分け、荷物の積載の効率を向上させることができる。
詳細情報は、荷物特定情報に対応して、荷物を配置すべき位置の情報を含むものであってよい。これにより、作業者は、荷物を円滑に適正な位置に配置することができ、荷物の仕分け、荷物の積載の効率を向上させることができる。
詳細情報は、荷物を拾い上げる作業者の近傍で、荷物を配置すべき位置の情報を含むものであってよい。これにより、作業者は、荷物を円滑に適正な位置に配置することができ、荷物の仕分け、荷物の積載の効率を向上させることができる。
配置位置は、荷物を積み込むトラックの荷台の特定位置の情報を含むものであってよい。これにより、作業者は、荷物を円滑に適正な位置に配置することができ、荷物の仕分け、荷物の積載の効率を向上させることができる。
画像は、各画素が撮像位置からの距離を示す距離情報を含む距離画像であってもよい。これにより、投影指示装置30は、本来投影画像を投影すべき荷物の投影位置を正確に取得することができる。
本実施形態の荷物仕分けシステム100は、上述の投影指示装置30と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ10と、画像を取得する画像センサ20と、投影画像を荷物に投影するプロジェクタ40と、を備える。これにより、作業者は、荷物を拾い上げるべきか否かのみならず、詳細情報を参照して荷物に関してさらに詳細な属性を把握でき、荷物の仕分け、荷物の積載の効率を向上させることができる。
本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサがメモリと協働して、画像内の荷物の画像に基づき、荷物が拾い上げられた否かを判定し、荷物が拾い上げられたと判定した場合、荷物の詳細情報を含む投影画像を生成する。
これにより、作業者は、荷物を拾い上げるべきか否かのみならず、詳細情報を参照して荷物に関してさらに詳細な属性を把握でき、荷物の仕分け、荷物の積載の効率を向上させることができる。
以上により、本実施形態の投影指示装置30は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物の位置を特定する投影指示装置30であって、プロセッサ34と、メモリ36と、を備え、プロセッサ34は、メモリ36と協働して、画像の各画素が、荷物が存在すべき処理対象空間Sに含まれる画素であるか否かを、各画素の座標に基づき判定し、処理対象空間Sに含まれる画素のみを処理すべき処理点とみなして、メモリ36に登録し、登録された処理点に基づき荷物の画像を取得し、当該荷物の位置を特定する。
これにより、プロセッサ34が処理すべき処理対象空間Sを限定し、処理対象を減らすことができ、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。
処理対象空間Sが、画像中における荷物を搬送する搬送コンベヤから所定の高さまでの範囲で区画された空間であってもよい。これにより、プロセッサ34が処理すべき処理対象空間Sをさらに限定し、処理対象をさらに減らすことができる。
処理対象空間Sが、画像中における搬送コンベヤの搬送方向における所定の長さの範囲で区画された空間であってもよい。これにより、プロセッサ34が処理すべき処理対象空間Sをさらに限定し、処理対象をさらに減らすことができる。
処理対象空間Sが、画像中における搬送コンベヤの搬送方向における所定の幅の範囲で区画された空間であってもよい。これにより、プロセッサ34が処理すべき処理対象空間Sをさらに限定し、処理対象をさらに減らすことができる。
上述したように、処理対象空間Sは画像中における搬送コンベヤに基づいて区画された空間であることが好ましい。
画像は、各画素が撮像位置からの距離を示す距離情報を含む距離画像であってもよい。これにより、投影指示装置30は、本来投影画像を投影すべき荷物の投影位置を正確に取得することができる。
プロセッサ34は、荷物に投影する投影画像を生成する。これにより、荷物の仕分けをより効率的かつ正確に行うことが可能となる。
本実施形態の荷物仕分けシステム100は、上述の投影指示装置30と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ10と、画像を取得する画像センサ20と、投影画像を荷物に投影するプロジェクタ40と、を備える。これにより、プロセッサ34が処理すべき処理対象空間を限定し、処理対象を減らすことができ、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。
本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物の位置を特定する投影指示装置であって、プロセッサ34がメモリ36と協働して、画像の各画素が、荷物が存在すべき処理対象空間に含まれる画素であるか否かを、各画素の座標に基づき判定し、処理対象空間に含まれる画素のみを処理すべき処理点とみなして、メモリ36に登録し、登録された処理点に基づき荷物の画像を取得し、当該荷物の位置を特定する。
これにより、プロセッサ34が処理すべき処理対象空間を限定し、処理対象を減らすことができ、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。
以上により、本実施形態の投影指示装置30は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置30であって、プロセッサ34と、メモリ36と、を備え、プロセッサ34は、メモリ36と協働して、荷物を含む画像から当該荷物の画像を特定し、当該荷物の特定の面を抽出し、特定の面に投影する投影画像を生成する。
これにより、投影画像を投影すべき投影面を抽出することになり、プロセッサ34は、荷物の全体を表示する距離画像に対する処理を行う必要がなくなり、処理負荷が軽減される。
荷物が略直方体形状を有する場合、特定の面が荷物の上面であってもよい。これにより、作業者にとって投影画像が見やすくなる。
荷物が略直方体形状を有する場合、特定の面が荷物の一つの側面であってもよい。これにより、作業者にとって投影画像が見やすくなる。
画像は、各画素が撮像位置からの距離を示す距離情報を含む距離画像であってもよい。これにより、投影指示装置30は、本来投影画像を投影すべき荷物の投影位置を正確に取得することができる。
本実施形態の荷物仕分けシステム100は、上述の投影指示装置30と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ10と、画像を取得する画像センサ20と、投影画像を荷物に投影するプロジェクタ40と、を備える。これにより、投影画像を投影すべき投影面を抽出することになり、プロセッサ34は、荷物の全体を表示する距離画像に対する処理を行う必要がなくなり、処理負荷が軽減される。
本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサ34がメモリ36と協働して、荷物を含む画像から、当該荷物の画像を抽出し、当該荷物の特定の面を特定し、特定の面のみに基づき、特定の面に投影する投影画像を生成する。
これにより、投影画像を投影すべき投影面を抽出することになり、プロセッサ34は、荷物の全体を表示する距離画像に対する処理を行う必要がなくなり、処理負荷が軽減される。
以上により、本実施形態の投影指示装置30は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置30であって、プロセッサ34と、メモリ36と、を備え、プロセッサ34は、メモリ36と協働して、荷物特定情報に基づき、荷物を拾い上げる方向を判定し、拾い上げる方向に対応した矢印を含む投影画像を生成する。
これにより、作業者が、自らが拾い上げるべき荷物を識別しやすい投影画像を生成することができ、仕分け作業のミスを抑制するとともに、効率を向上させることもできる。
プロセッサ34は、拾い上げる方向に対応して、予め用意された矢印のテンプレート画像を選択し、矢印を含む投影画像を生成してもよい。これにより、矢印を容易に生成することができる。
プロセッサ34は、拾い上げる方向に対応して、予め用意された回転可能な矢印の画像を回転させ、矢印を含む投影画像を生成してもよい。これにより、矢印を容易に生成することができる。
プロセッサ34は、投影画像を投影する面の大きさに応じて、矢印の大きさを変化させる。これにより、適切な大きさの矢印を生成することができる。
画像は、各画素が撮像位置からの距離を示す距離情報であってもよい。これにより、投影指示装置30は、本来投影画像を投影すべき荷物の投影位置を正確に取得することができる。
本実施形態の荷物仕分けシステム100は、上述の投影指示装置30と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ10と、画像を取得する画像センサ20と、投影画像を荷物に投影するプロジェクタ40と、を備える。これにより、作業者が、自らが拾い上げるべき荷物を識別しやすい投影画像を生成することができ、仕分け作業のミスを抑制するとともに、効率を向上させることもできる。
本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサ34がメモリ36と協働して、荷物特定情報に基づき、荷物を拾い上げる方向を判定し、拾い上げる方向に対応した矢印を含む投影画像を生成する。
これにより、投影画像を投影すべき投影面を抽出することになり、プロセッサ34は、荷物の全体を表示する距離画像に対する処理を行う必要がなくなり、処理負荷が軽減される。
以上により、本実施形態の投影指示装置30は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置30であって、プロセッサ34と、メモリ36と、を備え、プロセッサ34は、メモリ35と協働して、荷物特定情報に基づき、特定の方向に荷物を拾い上げるべき特定領域を判定し、荷物が特定領域に存在する場合にのみ、投影画像を投影すべき投影条件情報を生成する。
これにより、個々の作業者が拾い上げなくてはならない荷物に対してのみ投影を行うことにより、作業者が自ら拾い上げる荷物を特定することが容易になる。また、投影画像のパターン数を最小限に抑えることが可能となる。
特定領域が、搬送コンベヤの搬送方向における特定長さで区画された領域であってもよい。これにより、個々の作業者が拾い上げなくてはならない荷物に対してのみ投影を行うことにより、作業者が自ら拾い上げる荷物を特定することが容易になる。
画像は、各画素が撮像位置からの距離を示す距離情報を含む距離画像であってもよい。これにより、投影指示装置30は、本来投影画像を投影すべき荷物の投影位置を正確に取得することができる。
本実施形態の荷物仕分けシステム100は、上述の投影指示装置30と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダ10と、画像を取得する画像センサ20と、投影画像を荷物に投影するプロジェクタ40と、を備える。これにより、個々の作業者が拾い上げなくてはならない荷物に対してのみ投影を行うことにより、作業者が自ら拾い上げる荷物を特定することが容易になる。
本実施形態の投影指示方法は、荷物を含む画像および当該画像内の荷物を特定する荷物特定情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、
プロセッサ34がメモリ36と協働して、荷物特定情報に基づき、特定の方向に荷物を拾い上げるべき特定領域を判定し、荷物が特定領域に存在する場合にのみ、投影画像を投影すべき投影条件情報を生成する。
これにより、個々の作業者が拾い上げなくてはならない荷物に対してのみ投影を行うことにより、作業者が自ら拾い上げる荷物を特定することが容易になる。また、投影画像のパターン数を最小限に抑えることが可能となる。
以上、図面を参照して本開示に係る取引処理システムの実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。