JPWO2019003689A1 - 投影指示装置、荷物仕分けシステムおよび投影指示方法 - Google Patents

Abstract

荷物に貼付されたラベルに含まれる荷物特定情報の読取結果に基づき、荷物に投影する投影画像を生成する投影指示装置であって、プロセッサと、メモリと、を備え、プロセッサは、メモリと協働して、エラーの発生を検出し、エラーの発生を検出した場合、エラーの発生を示す投影画像を生成し、エラーの対象である荷物に投影画像の投影を指示する。

Description

本開示は、荷物の仕分けに有用な投影指示装置、荷物仕分けシステムおよび投影指示方法に関する。

近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。

特許文献１は、移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に投射して画像を荷物上に表示するシステムを開示している。

米国特許第７０９０１３４号明細書

しかしながら、昨今荷物の流通量はますます増大するとともに、荷物の種類も様々なものとなっており、荷物をより効率的かつ正確に仕分ける技術が求められている。

本開示は、荷物の仕分けをより効率的かつ正確に行うための技術に関する。

本開示は、荷物に貼付されたラベルに含まれる荷物特定情報の読取結果に基づき、前記荷物に投影する投影画像を生成する投影指示装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、エラーの発生を検出し、前記エラーの発生を検出した場合、前記エラーの発生を示す投影画像を生成し、前記エラーの対象である荷物に前記投影画像の投影を指示する。

本開示は、上述の投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記荷物を含む画像を取得する画像センサと、投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステムである。

本開示は、荷物に貼付されたラベルに含まれる荷物特定情報の読取結果に基づき、前記荷物に投影する投影画像を生成する投影指示方法であって、プロセッサがメモリと協働して、エラーの発生を検出し、前記エラーの発生を検出した場合、前記エラーの発生を示す投影画像を生成し、前記エラーの対象である荷物に前記投影画像の投影を指示する。

本開示によれば、荷物の仕分けをより効率的かつ正確に行うことができ、さらなる荷物の流通量の増大にも対応することができる。特に、本開示では、荷物仕分けシステムにおいてエラーが発生した場合、エラーの発生を示す投影画像を生成し、エラーの対象である荷物に対して投影するので、仕分け作業者はエラーの発生とエラーの対象となっている荷物とを同時に認識することが出来る。これにより、仕分け作業の効率向上が図れる。

図１は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。 図２は、実施の形態にかかる投影指示装置の構成を示すブロック図である。 図３Ａは、荷物仕分けシステムが物流センターに設置され、稼働している状況を示す概念図である。 図３Ｂは、荷物の上面に数字を含む投影画像を投影した状態を示す図である。 図４は、実施の形態にかかる投影指示装置で生成される投影画像の一例を示す図である。 図５は、主として投影指示装置が行う動作の概要手順を示すフローチャートである。 図６は、荷物の認識・投影処理の全体を示すフローチャートである。 図７は、荷物の認識・投影処理の一部を示すフローチャートである。 図８は、荷物の認識・投影処理の一部を示すフローチャートである。 図９は、エラーの種類に対応する投影画像と作業者の対応を示す図である。

以下、適宜図面を参照しながら、本開示に係る荷物認識装置、荷物仕分けシステムおよび荷物認識方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

以下、図１〜図９を用いて本開示の実施の形態を説明する。

［構成］
図１は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図１に示す荷物仕分けシステム１００は、例えば物流センターに設置される。荷物仕分けシステム１００は、ラベルリーダ１０と、画像センサ２０と、投影指示装置３０と、プロジェクタ４０とを備える。荷物仕分けシステム１００は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業者の作業を支援するシステムである。荷物仕分けシステム１００は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図１に記載したものに限定されない。例えば、一台のラベルリーダ１０に複数の画像センサ２０と、投影指示装置３０と、プロジェクタ４０を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。

読取装置としてのラベルリーダ１０は、図示せぬレンズ、イメージセンサ等の各種の要素を含む装置である。ラベルリーダ１０を用いることで、搬送コンベヤにより搬送されてくる荷物に貼付されたラベルから当該荷物に関する各種の情報を記録したラベル記録情報を読み取ることができる。読み取られたラベル記録情報を用いることで、当該荷物を特定することが可能である。読み取られた情報によって荷物特定情報が定義づけられる。

画像センサ２０は、図示せぬレンズ、イメージセンサ等の各種の要素を含む撮像装置である。画像センサ２０は、一般的には撮像カメラとして構成される。撮像カメラは３次元カメラ、複数台の２次元カメラなどである。画像センサ２０は、距離画像センサ２２と色画像センサ２４とを含む。

距離画像センサ２２は、搬送コンベヤにより搬送されてくる荷物を撮像し、距離画像を生成する。生成された距離画像は、荷物の位置、荷物までの距離、荷物のサイズ等を示す情報として使用される。「距離画像」とは、撮像位置から各画素が示す位置（荷物の表面を含む）までの距離を示す距離情報を収容した画像のことをいう（つまり本開示において「画像」の語は距離画像を含む）。また、「距離画像」という文言には、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものも含まれる。すなわち「距離画像」は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造は問わない。本開示において距離画像センサ２２は荷物の位置を特定するために用いられる。よって距離画像センサ２２は、他のセンシングデバイス（超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ）が代替することもできる。

色画像センサ２４は、距離画像が生成された荷物を撮像し、色画像を生成する。「色画像」とは、荷物の表面の色を所定の階調で表現した画像のことをいい、「階調」にはＲＧＢの２５６階調のみならず、グレースケール等あらゆるものが含まれる。本開示において色画像センサ２４は、距離画像センサ２２が特定した荷物について、各荷物を追跡するために用いられる。色画像センサ２４も、他のセンシングデバイス（超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ）が代替することができる。

つまり本開示において「画像」の語は距離画像と色画像の双方を含む。本開示においては距離画像センサおよび色画像センサを含むセンシングデバイスとしての画像センサから出力される情報をセンシング情報と呼ぶ。本実施の形態においてはセンシングデバイスの一例として画像センサ２０（距離画像センサ２２および色画像センサ２４を含む）を用いて説明を行う。また本実施の形態においては、センシング情報の例として、距離画像センサ２２の出力である距離画像、色画像センサ２４の出力である色画像を用いて説明を行う。

投影指示装置３０は、荷物仕分けシステム１００における演算装置としての役割を果たす。図２に示すように、投影指示装置３０は、バスを介して接続された入力部３２、プロセッサ３４、メモリ３６、出力部３８を備える。入力部３２は、ラベルリーダ１０が読み込んだラベル記録情報から取得した荷物の特定が可能な荷物特定情報、距離画像センサ２２が生成した距離画像、色画像センサ２４が生成した色画像を受け取る。プロセッサ３４は一般的な演算装置によって構成され、荷物特定情報、距離画像および色画像に基づき、荷物に投影する投影画像を生成する。記憶装置としてのメモリ３６は、プロセッサ３４が各種処理に必要な制御プログラムの読み込み、データの退避等の操作を行う。すなわち、プロセッサ３４とメモリ３６は協働して投影指示装置３０による各種処理を制御する。出力部３８は、プロセッサ３４が生成した投影画像をプロジェクタ４０に出力する。なお、本開示において「プロセッサ」は単一のプロセッサのみを意味するものではない。「プロセッサ」は、複数の同一目的のプロセッサや、目的の異なるプロセッサ（例えば、汎用ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））が共同して処理を行う場合の動作主体を意味する語としても使用される。

プロジェクタ４０は一般的な投影装置により構成され、投影指示装置３０から受信した投影画像を含む投影光を荷物に投影し、荷物上に表示する。

荷物仕分けシステム１００は、ラベルリーダ１０と、画像センサ２０（距離画像センサ２２および色画像センサ２４）と、投影指示装置３０と、プロジェクタ４０とを有線通信または無線通信で繋ぎ合わすことにより構築できる。また、ラベルリーダ１０と、画像センサ２０と、投影指示装置３０と、プロジェクタ４０のうちいずれかの二台以上の装置を一体型の装置として構築することもできる。例えば、画像センサ２０とプロジェクタ４０とを合わせて、一体型の撮像投影装置として構築することもできる（図３Ａ参照）。

［システムの概要］
図３Ａは、荷物仕分けシステム１００が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Ｍが、搬送コンベヤ５０により矢印Ｘ方向に搬送されてくる各荷物Ｐに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて（ピックアップ）、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。

そこで本実施形態では、図３Ａに示すように、搬送コンベヤ５０の上方に配置されたラベルリーダ１０が、搬送コンベヤ５０により搬送されてくる各荷物Ｐに貼付されたラベルを読み取る。ラベルには、当該荷物に関する各種の情報を含むラベル記録情報が記載されている。ラベル記録情報は、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報を含む。ラベルの読み込みは、担当の作業者がラベル内のバーコードに、ラベルリーダ１０としてのバーコードリーダを手で当てて読み込むことで行っても良い。

さらに画像センサ２０が、搬送コンベヤ５０により搬送されてくる荷物Ｐの画像（距離画像および色画像）を撮像し、荷物Ｐの位置、荷物Ｐまでの距離、荷物Ｐのサイズ（荷物Ｐが直方体の場合は３辺の長さ）、荷物Ｐの色、荷物Ｐの模様等の情報を取得する。尚、ラベルリーダ１０、画像センサ２０の配置位置や、センシングデバイスの種類、処理の順序は特に図示した形態に限定されない。上述した様に、本例では、画像センサ２０とプロジェクタ４０が一体型の撮像投影装置６０として構築され、搬送コンベヤ５０の上方に配置されている。

図３Ａ、図３Ｂでは示されていない投影指示装置３０は、例えば搬送コンベヤ５０の近傍や、別の部屋に配置されたコンピュータにより構成され、ラベルリーダ１０が獲得した荷物を特定する情報と、画像センサ２０が生成した距離画像および色画像に基づき、荷物Ｐ（荷物Ｐが直方体の場合は例えば上面）に表示する投影画像を生成する。投影指示装置３０は投影画像を荷物Ｐに投影すべき投影指示をプロジェクタ４０に送る。

投影指示を受けた、画像投影装置としての、プロジェクタ４０は、投影指示装置３０が生成した投影画像を含む投影光を荷物Ｐに投影し、荷物Ｐ上に投影画像を表示する。ここで荷物Ｐに表示される投影画像は、例えば、当該荷物Ｐの配送先住所に対応した仕分け場所を示す色を有する丸数字の画像である（図３Ｂ参照）。ここで、丸数字は、例えば、仕分けられた荷物Ｐを運ぶトラックの番号（トラック自体の番号や駐車場番号など）や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応している。また、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューターの番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため搬送コンベヤ５０周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベヤ５０と搬送トラック等との間にシューターを挟み、搬送コンベヤ５０周辺ではシューターの番号を投影することで、搬送コンベヤ５０周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することが出来る。もちろん、状況に応じて、様々な種類の投影画像が表示される。数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Ｐをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印（搬送コンベヤ５０の搬送方向に対して右または左など）または文字（「左」「右」など）であってもよい。更に、表示の形態も丸数字に限られるものではなく、図４で示すような四角で囲んだ数字（“３”、“３５９”、“２４７３５”）など様々なものが考えられる。さらに、投影画像は、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸・三角・四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。また、投影画像は静止画像に限らず、アニメーションであっても構わない。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりすることなど考えられる。また、仕分け方向を反映したアニメーションを投影しても構わない。仕分け方向を反映したアニメーションの例としては、例えば、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影画像の全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示するなど、さまざまなものが考えられる。投影画像の一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させることなどが考えられる。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。なお、本開示において「画像投影装置」とは光線を直接荷物に投影するものに限定されない。本開示において「画像投影装置」には画像を表示可能な眼鏡も含む。つまり本開示において、荷物に投影光を投影する、荷物に画像を表示する、荷物に画像を投影する、などと表現した場合は、その表現は画像を表示可能な眼鏡を介して、擬似的に、荷物に投影光が投影されているかのように作業者に認識させることも含む。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物Ｐの像に、ここでの投影画像を重ねあわせてもよい。

図３Ａにおいて、搬送コンベヤ５０の脇には、荷物を拾い上げる担当の作業者Ｍ（他の作業者は省略）が立っており、それぞれの担当の領域に到達した荷物を、丸数字１、丸数字２、丸数字３等で示すように搬送コンベヤ５０から拾い上げる。

例えば荷物Ｐ１はラベルに「ＡＡＡ１１１」の荷物特定情報を持っており、「ＡＡＡ１１１」の荷物特定情報は領域Ａで仕分けの対象になる旨が特定されているとする。そこで、プロセッサ３４は、荷物Ｐ１が特定領域に到着したら、図３Ｂに示すように生成した投影画像をプロジェクタ４０に送信する。そして、プロジェクタ４０は投影画像を荷物Ｐ１に投影する。よって、当該領域の作業者は、自身が担当する特定領域に到着した自身が拾い上げるべき荷物Ｐ１に容易に着目することが可能となり、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。

本実施形態では、図３Ａに示すように１台のプロジェクタ４０に対して、複数の特定領域の投影の有無を切り替えさせてもよく、複数台のプロジェクタ４０に対して、それぞれ担当の特定領域における投影の有無を切り替えさせてもよい。

以下、実施形態の荷物仕分けシステム１００において、投影指示装置３０が行う荷物仕分けの動作の概要を説明する。

［動作の概要］
図５は、本実施形態の投影指示装置３０、特に投影指示装置３０のプロセッサ３４が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ１０による荷物のラベルのラベル記録情報の読み取り後、投影指示装置３０の入力部３２がラベルリーダ１０から、ラベル記録情報に対応した荷物特定情報を取得する（ステップＳ１）。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ３４は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのＩＤを付与し、ＩＤを付与した時刻に対応する時刻情報とともにメモリ３６に記録する（ステップＳ２）。メモリ３６に記録するＩＤは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置３０が新しいＩＤを生成して付与してもよい。

一方、ステップＳ１およびステップＳ２と並行して、画像センサ２０の距離画像センサ２２による荷物の距離画像の撮像後、投影指示装置３０の入力部３２が距離画像センサ２２からセンシング情報としての距離画像を取得する（ステップＳ２０）。プロセッサ３４は、当該距離画像に存在する荷物に対応するＩＤがメモリ３６に存在するか否かを判定する。

当該距離画像に存在する荷物に対応するＩＤがメモリ３６に存在するか否かを判定する手法の一例としては、次のような手順によることが挙げられる。すなわち、プロセッサ３４は、ラベルリーダ１０と距離画像センサ２２との間の距離（既知とする）、および搬送コンベヤ５０の速度から、荷物がラベルリーダ１０と距離画像センサ２２の間を移動するために要する時間を計算する。そして、距離画像を取得した時刻から当該時間を引くことで、距離画像に存在する荷物がラベルリーダ１０（およびプロセッサ３４）によりＩＤを付与された時刻が推定できる。そして、当該推定した時刻に近接して付与されたＩＤが、当該距離画像に存在する荷物に対応するＩＤであると推定できる。また、他の一例としては、ラベルリーダ１０近辺に他の距離画像センサを設置する手法が挙げられる。すなわち、ラベルリーダ１０がＩＤ（およびプロセッサ３４）を付与した際から、ラベルリーダ１０近辺に設置した他の距離画像センサを用いて当該ＩＤが付与された荷物を追跡することで、時刻毎に当該荷物（およびＩＤ）とラベルリーダ１０との距離を計測する。プロセッサ３４は計測された荷物（およびＩＤ）とラベルリーダ１０との距離と、ステップＳ２０で取得された距離画像における荷物の距離と、２つの距離画像センサとの距離（既知とする）から所定のステップＳ２０で取得された距離画像における荷物のＩＤを推定することができる。

このようにして、プロセッサ３４は当該距離画像に含まれる荷物に対応するＩＤがメモリ３６に存在するか否かを判定する（ステップＳ３０）。すなわち、ステップＳ２で述べたように、メモリ３６には、荷物特定情報、ＩＤ、ＩＤを付与した時刻に対応する時刻情報が予め記録されている。一方、プロセッサ３４は、例えば上述したように、距離画像を取得した時刻から荷物がラベルリーダ１０と距離画像センサ２２の間を移動するために要する時間を引くことで、距離画像に存在する荷物がラベルリーダ１０（およびプロセッサ３４）によりＩＤを付与された時刻が推定できる。プロセッサ３４は、予めメモリ３６に記録された時刻情報と推定した時刻とを比較し、これらの値が近い場合は（例えば時間差が所定の閾値時間以下の場合など）、距離画像に含まれる荷物に対応するＩＤがメモリ３６に存在すると判定することができる。メモリ３６に荷物に対応するＩＤが存在すると判定した場合（ステップＳ３０；Ｙｅｓ）、ステップＳ６０以降の処理に進む。

メモリ３６に荷物に対応するＩＤが存在しないと判定した場合（ステップＳ３０；Ｎｏ）、プロセッサ３４は、当該荷物にＩＤが付与されていないことを前提として、当該荷物の位置を改めて特定し（ステップＳ４０）、荷物にＩＤを付与する（ステップＳ５０）。

上述のステップと並行して、色画像センサ２４は、距離画像を取得した各荷物の色画像を生成する。そして、プロセッサ３４は、入力部３２が取得する色画像センサ２４からの色画像に基づき、搬送コンベヤ５０により搬送されて移動するＩＤ付きの荷物を追跡する（ステップＳ６０）。そして、プロセッサ３４は、同じく色画像に基づき、追跡していた荷物が作業者により拾い上げられたか否かを判定する（ステップＳ７０）。荷物が作業者により拾い上げられていないと判定した場合（ステップＳ７０；Ｎｏ）、プロセッサ３４は、荷物が、後述する特定領域（その荷物が拾い上げられるべき所定の仕分けエリア）に存在するか否かを判定する。そして、荷物が特定領域に存在する（到達した）と判定した場合（ステップＳ８０；Ｙｅｓ）、プロセッサ３４は投影画像を生成し、プロジェクタ４０に送信する（ステップＳ９０）。荷物が特定領域に存在する（到達した）と判定しない場合（ステップＳ８０；Ｎｏ）、ステップＳ６０に戻り、プロセッサ３４は、荷物の追跡を続行する。

また、ステップＳ７０で、荷物が作業者により拾い上げられたと判定した場合（ステップＳ７０；Ｙｅｓ）、プロセッサ３４は、荷物の詳細情報をメモリ３６から読み出し（ステップＳ１００）、詳細情報を含む投影画像を生成し、出力部３８が生成した投影画像をプロジェクタ４０に出力する（ステップＳ９０）。投影指示装置３０から投影画像を取得したプロジェクタ４０は、当該投影画像を対応する荷物に投影する。

以上は、投影指示装置３０のプロセッサ３４等が行う動作手順の概略というべきものである。もちろん、動作手順は上述したものには限定されない。例えば、ステップＳ７０の判定等は省略することも可能である。また、ステップＳ７０の判定の実施には、作業者の手と荷物との接触判定や、色画像、距離画像等を利用することも可能である。以下、さらに各処理の詳細な手順について説明する。

［荷物の仕分けにおいて発生するエラーを作業者Ｍに認識させるための投影］
荷物の仕分けにおいて発生するエラーには、例えば以下に示す３つの場合がある。
（１）ラベルリーダ１０による荷物に貼付されたラベルのラベル記録情報（荷物特定情報）の読み取りが正常に行われなかった場合。
（２）ラベル記録情報を正常に読めても、所定の条件を満たしていない場合。
（３）ラベル記録情報を正常に読めて、且つ所定の条件を満たしていても、搬送される荷物が拾い上げられることなく特定領域（所定の仕分けエリア）を通過してしまう場合。

このような様々なエラーの発生を作業者に知らせて認識させることは困難である。

そこで、本開示では、荷物の仕分けにおけるエラーの発生を検出し、該エラーの発生を示す投影画像を生成する。エラーの発生の検出には、例えば、荷物に貼り付けられたラベルのラベル記録情報の読取結果の他に荷物のセンシング情報に基づいて行う。この場合、エラーの発生の検出に用いるセンシング情報には距離画像と色画像があるが、その両方又はいずれか一方を用いる。エラーの発生を示す投影画像は、例えば通常時とは異なる色にすることで、作業者に対して効果的に注意喚起することができる。

図６は、荷物の認識・投影処理の全体を示すフローチャート（所謂メインルーチン）である。また、図７及び図８は、荷物の認識・投影処理の一部を示すフローチャート（所謂サブルーチン）である。なお、上述したように、プロセッサ３４は、メモリ３６と協働して動作する。図６において、プロセッサ３４は、先ず荷物に貼り付けられたラベルのラベル記録情報（例えば、バーコード）を読み取り、荷物を認識する（ステップＳ１２０）。そして、必要があれば読取結果に基づくエラー投影処理を行う（ステップＳ１２１）。読取結果に基づくエラー投影処理は、図７に示すように行われる。図７において、まずプロセッサ３４は、ラベル記録情報の読取結果より、当該ラベル記録情報が読めたか否かを判定する（ステップＳ１２１０）。プロセッサ３４は、ラベル記録情報が読めないと判定した場合（ステップＳ１２１０；Ｎｏ）、荷物の認識誤りを示す投影画像を生成する（ステップＳ１２１１）。例えば、“？”を含む四角枠で、正常時と異なる色（例えば、赤色）の投影画像を生成する。プロセッサ３４は、荷物の認識誤りを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。

プロセッサ３４は、ラベル記録情報が読めたと判定した場合（ステップＳ１２１０；Ｙｅｓ）、荷物に貼り付けられている有効なラベル記録情報を有するラベルが１つだけか否かを判定する（ステップＳ１２１２）。プロセッサ３４は、荷物に貼り付けられている有効なラベル記録情報を有するラベルが１つではないと判定した場合（ステップＳ１２１２；Ｎｏ）、荷物の認識誤りを示す投影画像を生成する（ステップＳ１２１１）。例えば、上記同様の“？”を含む四角枠で、赤色の投影画像を生成する。プロセッサ３４は、荷物の認識誤りを示す投影画像を生成した後、メインルーチンに戻る。ここで、「１つの荷物に複数のラベルがある」場合と、「複数の荷物があまりに近い」場合の両方がエラーになり、荷物の認識誤りを示す投影画像が生成される。後者の場合、すなわち「複数の荷物があまりに近い」場合、プロセッサ３４は、複数の荷物が１つだと誤認識し、結果的に「１つと認識した荷物」から複数のラベル記録情報が見つかる。

プロセッサ３４は、荷物に貼り付けられている有効なラベル記録情報を有するラベルが１つだけと判定した場合（ステップＳ１２１２；Ｙｅｓ）、本システム（すなわち、実施形態の荷物仕分けシステム１００）で使用する値の範囲内であるか否かを判定する（ステップＳ１２１３）。この判定は、例えば仕分け先が１〜１０しかないのに１００などの値が出た場合を想定して設けたものである。プロセッサ３４は、仕分け先が本システムで使用する値の範囲内ではないと判定した場合（ステップＳ１２１３；Ｎｏ）、荷物の認識誤りを示す投影画像を生成する（ステップＳ１２１１）。例えば、上記同様の“？”を含む四角枠で、赤色の投影画像を生成する。プロセッサ３４は、荷物の認識誤りを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。但し、この処理は一例にすぎず、スレッドを立てて並列処理を行うようにしてもよい。

プロセッサ３４は、仕分け先が本システムで使用する値の範囲内であると判定した場合（ステップＳ１２１３；Ｙｅｓ）、他の荷物に使用されていないラベル記録情報か否かを判定する（ステップＳ１２１４）。なお、他の荷物に使用されていないラベル記録情報か否かは、例えば物流業者のデータ管理サーバにアクセスすることで判定できる。プロセッサ３４は、他の荷物に使用されていないラベル記録情報ではない（すなわち、他の荷物に使用されているラベル記録情報）と判定した場合（ステップＳ１２１４；Ｎｏ）、荷物の認識誤りを示す投影画像を生成する（ステップＳ１２１１）。なお、ラベル記録情報が他の荷物に使用されているか否かは、例えば、荷物に使用しているラベル記録情報を管理しているサーバなどに、読み取ったラベル記録情報を照会することで判断できる。例えば、上記同様の“？”を含む四角枠で、赤色の投影画像を生成する。プロセッサ３４は、荷物の認識誤りを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。

プロセッサ３４は、他の荷物に使用されていないラベル記録情報であると判定した場合（ステップＳ１２１４；Ｙｅｓ）、当該ラベル記録情報を有するラベルが貼り付けられた荷物が搬送コンベヤ５０（搬送路）の搬送対象であるか否かを判定する（ステップＳ１２１５）。この判定は、例えば、搬送コンベヤ５０ごとに当該搬送コンベヤ５０で搬送されるべき荷物のラベル記録情報の範囲が記録されており、読み取ったラベル記録情報がその範囲に含まれるかどうかを判断することなどによって行われる。プロセッサ３４は、当該荷物が搬送コンベヤ５０の搬送対象でないと判定した場合（ステップＳ１２１５；Ｎｏ）、当該荷物が搬送コンベヤ５０の搬送対象でないことを示す投影画像を生成する（ステップＳ１２１６）。例えば、“×”を含む四角枠で、正常時と異なる色（例えば、赤色）の投影画像を生成する。プロセッサ３４は、荷物が搬送コンベヤ５０の搬送対象ではないことを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。但し、この処理は一例にすぎず、スレッドを立てて並列処理を行うようにしてもよい。

プロセッサ３４は、荷物が搬送コンベヤ５０の搬送対象であると判定した場合（ステップＳ１２１５；Ｙｅｓ）、エラー無しとして処理を続行するため、そのままメインルーチンに戻り、ステップＳ１２０から処理を再開する。但し、この処理は一例にすぎず、スレッドを立てて並列処理を行うようにしてもよい。

このように、プロセッサ３４は、「ラベルリーダ１０による荷物に貼付されたラベルのラベル記録情報（例えば、バーコード）の読み取りが正常に行われなかった場合」、「ラベルリーダ１０による荷物に貼付されたラベルのラベル記録情報の読み取りが正常に行われても、所定の条件（「荷物に貼り付けられているラベルが１つだけ？」、「仕分け先が本システムで使用する値の範囲内か？」、「他の荷物に使用されていないラベル記録情報か？」）を満たしていないエラーの発生を検出した場合」、例えば“？”を含む四角枠で、赤色の投影画像を生成し、「ラベルリーダ１０による荷物に貼付されたラベルのラベル記録情報の読み取りが正常に行われ、かつ上記所定の条件を満たしている場合でも、「荷物が搬送コンベヤ５０の搬送対象でない場合」、例えば、“×”を含む四角枠で、赤色の投影画像を生成する。

図６のメインルーチンにおいて、プロセッサ３４は、荷物に貼付されたラベルのラベル記録情報の読取結果に基づくエラー投影処理を行った後、一般エラー対象か否かを判定する（ステップＳ１２２）。ここで、一般エラーとは、例えば搬送コンベヤ５０の緊急停止ボタン（図示略）が押された場合や、搬送コンベヤ５０が異常発熱した場合などで発生するエラーのことである。

プロセッサ３４は、一般エラー対象であると判定した場合（ステップＳ１２２；Ｙｅｓ）、一般エラーを示す投影画像を生成する（ステップＳ１２３）。例えば、“Ｅｒｒ”を含む四角枠で、正常時と異なる色（例えば、赤色）の投影画像を生成する。プロセッサ３４は、一般エラーを示す投影画像を生成した後、ステップＳ１２０に戻る。

プロセッサ３４は、一般エラー対象でないと判定した場合（ステップＳ１２２；Ｎｏ）、仕分け先を示す投影画像を生成する（ステップＳ１２４）。仕分け先を示す投影画像の生成処理は、図８に示すように行われる。図８において、プロセッサ３４は、荷物に貼付されたラベルのラベル記録情報（例えば、バーコード）及びセンシング情報に基づき、荷物が特定領域（所定の仕分けエリア）を通過したか否かを判定する（ステップＳ１２４０）。ここで、特定領域は、作業者が荷物の仕分けを行うべきエリアとして定められた領域の一部であり、その座標は既知である。したがって、仕分けエリア距離画像と色画像などのセンシング情報を用いて荷物の座標を算出することで、荷物が仕分けエリアを通過したか否かを判定することができる。なお、本実施の形態では、特定領域を通過した直後であっても作業者が荷物を拾い上げることが可能な構成を想定しているので、特定領域は仕分けエリア全体より狭いことが望ましい。プロセッサ３４は、荷物が特定領域を通過していないと判定した場合（ステップＳ１２４０；Ｎｏ）、仕分け先（または仕分け場所）を示す投影画像を生成する（ステップＳ１２４１）。すなわち、荷物が特定領域を通過していないので、作業者Ｍによって荷物が正常に拾い上げられるように、仕分け先を示す白抜きの数字と所定の背景色からなる投影画像を生成する。例えば、仕分け先が「１」であれば、「白抜きの数字１」と「黄色の背景色」からなる投影画像を生成する。また、仕分け先が「２」であれば、「白抜きの数字２」と「緑色の背景色」からなる投影画像を生成する。また、仕分け先が「３」であれば、「白抜きの数字３」と「青色の背景色」からなる投影画像を生成する。プロセッサ３４は、荷物が特定領域を通過していないことを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。

プロセッサ３４は、荷物が特定領域を通過したと判定した場合（ステップＳ１２４０；Ｙｅｓ）、仕分け先を示す数字を含む四角枠で、エラーを示す色（例えば、赤色）とした投影画像を生成する（ステップＳ１２４２）。すなわち、荷物が特定領域を通過してしまったので、エラーが発生したことを作業者Ｍに認識させるための投影画像を生成する。例えば、仕分け先が「１」であれば、「数字１」と「四角枠」からなる赤色の投影画像を生成する。また、仕分け先が「２」であれば、「数字２」と「四角枠」からなる赤色の投影画像を生成する。また、仕分け先が「３」であれば、「数字３」と「四角枠」からなる赤色の投影画像を生成する。プロセッサ３４は、荷物が特定領域を通過したことを示す投影画像を生成した後、メインルーチンに戻り、ステップＳ１２０から処理を再開する。

このように、プロセッサ３４は、荷物が特定領域（所定の仕分けエリア）を通過していないと判定した場合、仕分け先を示す白抜きの数字と所定の背景色からなる投影画像を生成し、荷物が特定領域を通過したと判定した場合、仕分け先を示す数字を含む四角枠で、エラーを示す色（例えば、赤色）とした投影画像を生成する。なお、特定領域の通過を示す投影画像としては他の画像を用いてもよい。ただし、特定領域を通過した直後であればまだ作業者が荷物を拾い上げられる可能性があるため、仕分け先を示す情報（上記の例では数字）が含まれる投影画像を生成することが望ましい。これにより、特定領域の通過に気づいた作業者が急いで荷物を拾い上げた場合であっても、適切な仕分け先に荷物を仕分けることができる。

上述したように、本開示によれば、荷物の仕分けを指示する際に何らかのエラーが発生した場合、エラーの発生を示す投影画像を生成して、そのエラーの対象となる荷物に対して投影する。この構成により、荷物に着目している作業者に対して、エラーの発生をより確実に通知することができる。エラーの発生をアラームや音声などで通知する構成では、多数の荷物が搬送されている場合、どの荷物に対してエラーが発生したのかを特定することは容易ではない。また、作業者が言葉の通じない外国人等である場合など、音声等による通知ではエラーの発生自体が作業者に認識されないおそれがある。そこで、本開示では、エラーが発生している荷物にエラーを示す画像を生成して投影することで、作業者がエラーの発生を容易に認識できるようにしている。

また、本開示によれば、発生したエラーを解消するために作業者が行うべき作業ごとに異なる投影画像を生成して投影する。一例として、本開示によれば荷物の認識誤りを示す投影画像と、荷物が搬送コンベヤ５０の搬送対象でないこと（搬送コンベヤ誤り）を示す投影画像とでは、異なる画像が投影される。ここで、荷物の認識誤りに分類されるエラーは原因がどれであっても（ラベル記録情報を人力で読み取れば）作業者が容易に解消できるのに対し、搬送コンベヤ誤りはより上流で発生した誤りに由来するため作業者では解消できない。そのため、これらのエラーの間では作業者の取るべき対応が異なっており、投影画像もそれに応じて分けられている。図９に示すとおり、本開示においては、他のエラーを示す投影画像も同様の思想で分けられている。このようにすることで、作業者自身がエラーの原因の詳細を理解できなくとも、投影される画像の種類さえ把握していればエラーに対処することができるので、作業に習熟していない作業者に対してもエラーの処理を確実に行わせることができる。もちろん、より厳密にエラーの種類を区別したい場合には、エラーそれぞれに応じて異なる投影画像を生成しても構わないし、他の基準に基づいて同一の投影画像を投影するエラーをグループ分けしてもよい。

また、本開示によれば、ラベルリーダ１０による荷物に貼付されたラベルのラベル記録情報（例えば、バーコード）の読み取りが正常に行われなかった場合と、ラベル記録情報を正常に読めても、所定の条件を満たしていない場合と、ラベル記録情報を正常に読めて、且つ所定の条件を満たしていても、搬送される荷物が拾い上げられることなく特定領域を通過してしまった場合には、エラーの発生を示す投影画像を生成することにより、エラーの発生を作業者Ｍに知らせて認識させることができ、仕分け作業効率の向上に寄与できる。

なお、読取結果に基づくエラーの一部だけチェックしても良いし、判断の順序も問わない。

また、認識誤りと搬送コンベヤ誤りの判断は逆にしてもよい。

また、エラーの発生を示す投影画像として本開示に示した例と異なる画像を生成して投影してもよい。更に、認識誤りが発生した際に四角の中に「×」が含まれる投影画像を生成し、搬送コンベヤ誤りが発生した際に四角の中に「？」が含まれる投影画像を生成するなど、上記の開示で示した例と異なる対応関係でエラーと投影画像を生成して投影してもよい。

以上、図面を参照して本開示に係る投影指示装置、荷物仕分けシステムおよび投影指示方法の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

本開示において、エラーの発生の通知は、エラーを示す投影画像を生成して荷物に投影することのみによって行われていたが、これに限られるものではない。投影画像を生成して投影することに加え、音声やアラームなどによる通知を行っても良い。ただし、多くの荷物が搬送される環境では、エラーの発生の頻度も高まるため、全てのエラーについて音声等での通知を行うとかえって作業の効率が低下するおそれがある。特に、音声による通知を行う場合、指向性スピーカーなどの特殊な設備を設けなくては現場の作業者全員に対して通知が行われてしまうため、エラーと関連のない作業者を混乱させてしまうおそれがある。そのため、作業者が荷物を見過ごしている可能性の高いエラーである、特定領域を通過するエラーを示す投影画像を投影する場合のみ、音声等による通知を行うものとしてもよい。

本開示において、エラーを示す投影画像に赤色を用いることでエラーの発生を示していたが、これに限られるものではない。例えば、正常時には数字等を四角形で囲んだ投影画像を投影し、エラー時には数字等を三角形で囲んだ投影画像を投影するなど、投影画像の形を変えたりしてもよい。すなわち、作業者が、エラーを示す投影画像を見た作業者がエラーの発生を容易に認識できるのであれば、投影画像にどのような特性を持たせるかは問わない。

本開示において、特定領域を通過するエラーを示す投影画像は、ラベル記録情報から読み取った数字を用いて生成していたが、これに限られるものではない。ラベル記録情報の読み取りに失敗した場合には、仮の数字や他の絵など、他の画像を投影するなどとしてもよい。

本開示においては、例えばラベル記録情報が読み取れない荷物が拾い上げられることなく特定領域を通過した場合など、複数のエラーが重複して発生する場合が考えられる。このような場合には、いずれかの１つのエラーを示す投影画像を優先的に生成して他のエラーを示す投影画像を生成しないものとしても良いし、全てのエラーを示す投影画像を生成してもよい。いずれかのエラーを示す投影画像を優先的に生成する場合は、現在荷物が存在する仕分けエリアに係るエラーよりも他の仕分けエリアに係るエラーを優先してもよい。現在荷物が存在する仕分けエリアに係るエラーの例としては、当該仕分けエリアで解消できる可能性の高いラベル登録情報の読み取りエラーなどが考えられる。他の仕分けエリアに係るエラーの例としては、他の仕分けエリアでの仕分け作業に影響するエラー（例えば、下流の工程に影響する、特定領域を通過するエラー）もしくは、他の仕分けエリアでしか解消できないエラー（例えば、上流の工程に遡らなくては解消できない搬送コンベヤ誤りのエラー）が考えられる。また、全てのエラーを示す投影画像を投影する場合、投影される荷物の面積が十分に広くなくては、作業者が個々のエラーの発生を認識することが難しくなる。そこで、投影画像が投影される荷物の面（投影面）の広さに応じて、いずれかのエラーを示す投影画像のみ投影するか、全てのエラーを示す投影画像を投影するかを切り替えても良い。なお、複数のエラーを示す投影画像としては、単純にそれぞれのエラーを示す投影画像を並べたものとしてもよいし、それぞれのエラーを示す投影画像を統合した画像（例えば、一つの四角の中に、「×」と「？」と数字が含まれるなど）としてもよい。なお、この場合、投影面が狭い場合は、いずれかの１つのエラーを示す投影画像を優先的に選択する場合と同様の基準で、投影すべきエラーを１以上選択するものとしてもよい。さらに、投影パターンとしては、画像がブリンク（点滅）したり、アニメーションだったりしてもよい。

本開示は、荷物に貼付されたラベルのラベル記録情報の読み取りエラーや、例えば、搬送される荷物が拾い上げられることなく特定領域を通過するエラーを検出できる投影指示装置、荷物仕分けシステムおよび投影指示方法の提供に有用である。

１０ ラベルリーダ
２０ 画像センサ
２２ 距離画像センサ
２４ 色画像センサ
３０ 投影指示装置
３２ 入力部
３４ プロセッサ
３６ メモリ
３８ 出力部
４０ プロジェクタ
５０ 搬送コンベヤ
６０ 撮像投影装置
１００ 荷物仕分けシステム
Ｐ 荷物

Claims (11)

1. 荷物に貼付されたラベルに含まれる荷物特定情報の読取結果に基づき、前記荷物に投影する投影画像を生成する投影指示装置であって、
   プロセッサと、
   メモリと、を備え、
   前記プロセッサは、前記メモリと協働して、
   エラーの発生を検出し、
   前記エラーの発生を検出した場合、前記エラーの発生を示す投影画像を生成し、
   前記エラーの対象である荷物に前記投影画像の投影を指示する、
   投影指示装置。
2. 請求項１に記載の投影指示装置であって、
   前記プロセッサは、
   前記荷物特定情報の読取結果の誤りを示すエラーと、
   前記荷物特定情報の読取結果が正常な場合における他の異常によるエラーとで、異なる投影画像を生成する、
   投影指示装置。
3. 請求項２に記載の投影指示装置であって、
   前記荷物は、前記荷物特定情報ごとに所定の搬送路が定められており、
   前記プロセッサは、
   前記荷物特定情報の読取結果が正常な場合、前記荷物が、前記所定の搬送路で搬送されているか否かを判断し、
   前記荷物特定情報に対応付けられた搬送路と異なる搬送路で搬送されている場合、エラーの発生を示す投影画像を生成する、
   投影指示装置。
4. 請求項１から請求項３のいずれか一項に記載の投影指示装置であって、
   前記プロセッサは、前記荷物特定情報の読取結果及びセンシング情報に基づき、搬送される荷物が拾い上げられることなく所定の仕分けエリアを通過したことをエラーとして検出する、
   投影指示装置。
5. 請求項４に記載の投影指示装置であって、
   前記プロセッサは、前記搬送される荷物が拾い上げられることなく前記所定の仕分けエリアを通過した場合、前記エラーを示す投影画像として、前記搬送される荷物の仕分け先を示す情報を含んだ投影画像を生成する、
   投影指示装置。
6. 請求項４または請求項５に記載の投影指示装置であって、
   前記プロセッサは、前記搬送される荷物が拾い上げられることなく前記所定の仕分けエリアを通過した場合、更に、前記エラーを示す音声を発するよう指示する、
   投影指示装置。
7. 請求項１から請求項６のいずれか一項に記載の投影指示装置であって、
   前記荷物は、複数の仕分けエリアを搬送される荷物であり、
   前記プロセッサは、前記荷物が現在存在する仕分けエリアに係るエラーと、他の仕分けエリアに係るエラーとが同時に発生した場合、前記他の仕分けエリアに係るエラーを示す投影画像を優先して生成する、
   投影指示装置。
8. 請求項１から請求項７のいずれか一項に記載の投影指示装置であって、
   前記プロセッサは、複数のエラーが同時に発生した場合、前記投影画像が投影される荷物における投影面の面積に応じて、前記投影画像によって示すエラーの個数を決定する、
   投影指示装置。
9. 請求項１から請求項８のいずれか一項に記載の投影指示装置であって、
   前記プロセッサは、前記エラーの発生を検出した場合、前記エラーの発生を示す投影画像として、正常時とは異なる色を有する投影画像を生成する、
   投影指示装置。
10. 請求項１に記載の投影指示装置と、荷物に貼付されたラベルから前記荷物特定情報を読み取るラベルリーダと、前記荷物を含む画像を取得する画像センサと、投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステム。
11. 荷物に貼付されたラベルに含まれる荷物特定情報の読取結果に基づき、前記荷物に投影する投影画像を生成する投影指示方法であって、
    プロセッサがメモリと協働して、
    エラーの発生を検出し、
    前記エラーの発生を検出した場合、前記エラーの発生を示す投影画像を生成し、
    前記エラーの対象である荷物に前記投影画像の投影を指示する、
    投影指示方法。