JP7129616B2 - 投影指示装置、荷物仕分けシステムおよび投影指示方法 - Google Patents

Description

本開示は、荷物の仕分けに有用な投影指示装置、荷物仕分けシステムおよび投影指示方法に関する。

近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。

特許文献１は、移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に投射して画像を荷物上に表示するシステムを開示している。

米国特許第７０９０１３４号明細書

しかしながら、昨今荷物の流通量はますます増大するとともに、荷物の種類も様々なものとなっており、荷物をより効率的かつ正確に仕分ける技術が求められている。

本開示は、荷物の仕分けをより効率的かつ正確に行うための技術に関する。

本開示は、荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、前記プロセッサは、前記センシング情報に基づいて前記荷物の平面の中心位置を特定し、前記荷物の色画像の特徴量の値に対して、前記中心位置に近い位置ほど大きな重み付けを行う。
また、本開示は、荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、前記プロセッサは、前記センシング情報に基づいて前記荷物の高さ方向の変化量を特定し、前記荷物の色画像の特徴量の値に対して、前記高さ方向の変化量が小さいほど大きな重み付けを行う。
また、本開示は、荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、前記メモリは、追跡している荷物の色情報を記憶し、前記特徴量は、前記色情報の類似度であり、前記プロセッサは、前記メモリに記憶されている色情報と前記色画像から取得した色情報との類似度に基づいて、前記荷物が認識済みの荷物と同一の荷物であるか否かを判断し、前記荷物が認識済みの荷物と同一の荷物であると判断した場合、前記メモリに記憶される色情報を前記色画像から取得した色情報に更新する。

本開示は、上述の投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記距離画像および前記色画像を取得する画像センサと、前記投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステムである。

本開示は、本開示は、荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサがメモリと協働して、前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、前記プロセッサは、前記センシング情報基づいて前記荷物の平面の中心位置を特定し、前記荷物の色画像の特徴量の値に対して、前記中心位置に近い位置ほど大きな重み付けを行う。
また、本開示は、荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサがメモリと協働して、前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、前記プロセッサは、前記センシング情報に基づいて前記荷物の高さ方向の変化量を特定し、前記荷物の色画像の特徴量の値に対して、前記高さ方向の変化量が小さいほど大きな重み付けを行う。
また、本開示は、荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、プロセッサがメモリと協働して、前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、前記メモリは、追跡している荷物の色情報を記憶し、前記特徴量は、前記色情報の類似度であり、前記プロセッサは、前記メモリに記憶されている色情報と前記色画像から取得した色情報との類似度に基づいて、前記荷物が認識済みの荷物と同一の荷物であるか否かを判断し、前記荷物が認識済みの荷物と同一の荷物であると判断した場合、前記メモリに記憶される色情報を前記色画像から取得した色情報に更新する。

本開示によれば、荷物の仕分けをより効率的かつ正確に行うことができ、さらなる荷物の流通量の増大にも対応することができる。特に、荷物の隣接、重なり等の発生時においても、荷物の追跡精度が劣化するのを防止することができる。

図１は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。 図２は、実施の形態にかかる投影指示装置の構成を示すブロック図である。 図３Ａは、は荷物仕分けシステムが物流センターに設置され、稼働している状況を示す概念図である。 図３Ｂは、荷物の上面に数字を含む投影画像を投影した状態を示す図である。 図４は、実施の形態にかかる投影指示装置で生成される投影画像の一例を示す図である。 図５は、主として投影指示装置が行う動作の概要手順を示すフローチャートである。 図６Ａは、荷物の隣接や重なりの状態を示す概念図である。 図６Ｂは、荷物の上面の重み付け情報を示す概念図である。

以下、適宜図面を参照しながら、本開示に係る投影指示装置、荷物仕分けシステムおよび投影指示方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

以下、図１～図６を用いて本開示の実施の形態を説明する。

［構成］
図１は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図１に示す荷物仕分けシステム１００は、例えば物流センターに設置される。荷物仕分けシステム１００は、ラベルリーダ１０と、画像センサ２０と、投影指示装置３０と、プロジェクタ４０とを備える。荷物仕分けシステム１００は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業員の作業を支援するシステムである。荷物仕分けシステム１００は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図１に記載したものに限定されない。例えば、一台のラベルリーダ１０に複数の画像センサ２０と、投影指示装置３０と、プロジェクタ４０を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。

読取装置としてのラベルリーダ１０は、図示せぬレンズ、イメージセンサ等の各種の要素を含む装置である。ラベルリーダ１０を用いることで、搬送コンベヤにより搬送されてくる荷物に貼付されたラベルから当該荷物に関する各種の情報を記録したラベル記録情報を読み取ることができる。読み取られたラベル記録情報を用いることで、当該荷物を特定することが可能で有る。読み取られた情報によって荷物特定情報が定義づけられる。

画像センサ２０は、図示せぬレンズ、イメージセンサ等の各種の要素を含む撮像装置である。画像センサ２０は、一般的には撮像カメラとして構成される。撮像カメラは３次元カメラ、複数台の２次元カメラなどである。画像センサ２０は、距離画像センサ２２と色画像センサ２４とを含む。

距離画像センサ２２は、搬送コンベヤにより搬送されてくる荷物を撮像し、距離画像を生成する。生成された距離画像は、荷物の位置、荷物までの距離、荷物のサイズ等を示す情報として使用される。「距離画像」とは、撮像位置から各画素が示す位置（荷物の表面を含む）までの距離を示す距離情報を収容した画像のことをいう（つまり本開示において「画像」の語は距離画像を含む）。また、「距離画像」という文言には、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものも含まれる。すなわち「距離画像」は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造は問わない。本開示において距離画像センサ２２は荷物の位置を特定するために用いられる。よって距離画像センサ２２は、他のセンシングデバイス（超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ）が代替することもできる。

色画像センサ２４は、距離画像が生成された荷物を撮像し、色画像を生成する。「色画像」とは、荷物の表面の色を所定の階調で表現した画像のことをいい、「階調」にはＲＧＢの２５６階調のみならず、グレースケール等あらゆるものが含まれる。本開示において色画像センサ２４は、距離画像センサ２２が特定した荷物について、各荷物を追跡するために用いられる。色画像センサ２４も、他のセンシングデバイス（超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ）が代替することができる。

つまり本開示において「画像」の語は距離画像と色画像の双方を含む。本開示においては距離画像センサおよび色画像センサを含むセンシングデバイスとしての画像センサから出力される情報をセンシング情報と呼ぶ。本実施の形態においてはセンシングデバイスの一例として画像センサ２０（距離画像センサ２２および色画像センサ２４を含む）を用いて説明を行う。また本実施の形態においては、センシング情報の例として、距離画像センサ２２の出力である距離画像、色画像センサ２４の出力である色画像を用いて説明を行う。

投影指示装置３０は、荷物仕分けシステム１００における演算装置としての役割を果たす。図２に示すように、投影指示装置３０は、バスを介して接続された入力部３２、プロセッサ３４、メモリ３６、出力部３８を備える。入力部３２は、ラベルリーダ１０が読み込んだラベル記録情報から取得した荷物の特定が可能な荷物特定情報、距離画像センサ２２が生成した距離画像、色画像センサ２４が生成した色画像を受け取る。プロセッサ３４は一般的な演算装置によって構成され、荷物特定情報、距離画像および色画像に基づき、荷物に投影する投影画像を生成する。記憶装置としてのメモリ３６は、プロセッサ３４が各種処理に必要な制御プログラムの読み込み、データの退避等の操作を行う。すなわち、プロセッサ３４とメモリ３６は協働して投影指示装置３０による各種処理を制御する。出力部３８は、プロセッサ３４が生成した投影画像をプロジェクタ４０に出力する。なお、本開示において「プロセッサ」は単一のプロセッサのみを意味するものではない。「プロセッサ」は、複数の同一目的のプロセッサや、目的の異なるプロセッサ（例えば、汎用ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））が共同して処理を行う場合の動作主体を意味する語としても使用される。

プロジェクタ４０は一般的な投影装置により構成され、投影指示装置３０から受信した投影画像を含む投影光を荷物に投影し、荷物上に表示する。

荷物仕分けシステム１００は、ラベルリーダ１０と、画像センサ２０（距離画像センサ２２および色画像センサ２４）と、投影指示装置３０と、プロジェクタ４０とを有線通信または無線通信で繋ぎ合わすことにより構築できる。また、ラベルリーダ１０と、画像センサ２０と、投影指示装置３０と、プロジェクタ４０のうちいずれかの二台以上の装置を一体型の装置として構築することもできる。例えば、画像センサ２０とプロジェクタ４０とを合わせて、一体型の撮像投影装置として構築することもできる（図３Ａ参照）。

［システムの概要］
図３Ａは、荷物仕分けシステム１００が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Ｍが、搬送コンベヤ５０により矢印Ｘ方向に搬送されてくる各荷物Ｐに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて（ピックアップ）、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。

そこで本実施形態では、図３Ａに示すように、搬送コンベヤ５０の上方に配置されたラベルリーダ１０が、搬送コンベヤ５０により搬送されてくる各荷物Ｐに貼付されたラベルを読み取る。ラベルには、当該荷物に関する各種の情報を含むラベル記録情報が記載されている。ラベル記録情報は、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報を含む。ラベルの読み込みは、担当の作業者がラベル内のバーコードに、ラベルリーダ１０としてのバーコードリーダを手で当てて読み込むことで行っても良い。

さらに画像センサ２０が、搬送コンベヤ５０により搬送されてくる荷物Ｐの画像（距離画像および色画像）を撮像し、荷物Ｐの位置、荷物Ｐまでの距離、荷物Ｐのサイズ（荷物Ｐが直方体の場合は３辺の長さ）、荷物Ｐの色、荷物Ｐの模様等の情報を取得する。尚、ラベルリーダ１０、画像センサ２０の配置位置や、センシングデバイスの種類、処理の順序は特に図示した形態に限定されない。上述した様に、本例では、画像センサ２０とプロジェクタ４０が一体型の撮像投影装置６０として構築され、搬送コンベヤ５０の上方に配置されている。

図３Ａ、図３Ｂでは示されていない投影指示装置３０は、例えば搬送コンベヤ５０の近傍や、別の部屋に配置されたコンピュータにより構成され、ラベルリーダ１０が獲得した荷物を特定する情報と、画像センサ２０が生成した距離画像および色画像に基づき、荷物Ｐ（荷物Ｐが直方体の場合は例えば上面）に表示する投影画像を生成する。投影指示装置３０は投影画像を荷物Ｐに投影すべき投影指示をプロジェクタ４０に送る。

投影指示を受けた、画像投影装置としての、プロジェクタ４０は、投影指示装置３０が生成した投影画像を含む投影光を荷物Ｐに投影し、荷物Ｐ上に投影画像を表示する。ここで荷物Ｐに表示される投影画像は、例えば、当該荷物Ｐの配送先住所に対応した仕分け場所を示す色を有する丸数字の画像である（図３Ｂ参照）。ここで、丸数字は、例えば、仕分けられた荷物Ｐを運ぶトラックの番号（トラック自体の番号や駐車場番号など）や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応している。また、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューターの番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため搬送コンベヤ５０周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベヤ５０と搬送トラック等との間にシューターを挟み、搬送コンベヤ５０周辺ではシューターの番号を投影することで、搬送コンベヤ５０周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することが出来る。もちろん、状況に応じて、様々な種類の投影画像が表示される。数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Ｐをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印（搬送コンベヤ５０の搬送方向に対して右または左など）または文字（「左」「右」など）であってもよい。更に、表示の形態も丸数字に限られるものではなく、図４で示すような四角で囲んだ数字（“３”、“３５９”、“２４７３５”）など様々なものが考えられる。さらに、投影画像は、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸・三角・四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。また、投影画像は静止画像に限らず、アニメーションであっても構わない。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりすることなど考えられる。また、仕分け方向を反映したアニメーションを投影しても構わない。仕分け方向を反映したアニメーションの例としては、例えば、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影画像の全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示するなど、さまざまなものが考えられる。投影画像の一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させることなどが考えられる。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。なお、本開示において「画像投影装置」とは光線を直接荷物に投影するものに限定されない。本開示において「画像投影装置」には画像を表示可能な眼鏡も含む。つまり本開示において、荷物に投影光を投影する、荷物に画像を表示する、荷物に画像を投影する、などと表現した場合は、その表現は画像を表示可能な眼鏡を介して、擬似的に、荷物に投影光が投影されているかのように作業者に認識させることも含む。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物Ｐの像に、ここでの投影画像を重ねあわせてもよい。

図３Ａにおいて、搬送コンベヤ５０の脇には、荷物を拾い上げる担当の作業者Ｍ（他の作業者は省略）が立っており、それぞれの担当の領域に到達した荷物を、丸数字１、丸数字２、丸数字３等で示すように搬送コンベヤ５０から拾い上げる。

例えば荷物Ｐ１はラベルに「ＡＡＡ１１１」の荷物特定情報を持っており、「ＡＡＡ１１１」の荷物特定情報は領域Ａで仕分けの対象になる旨が特定されているとする。そこで、プロセッサ３４は、荷物Ｐ１が特定領域に到着したら、図３Ｂに示すように生成した投影画像をプロジェクタ４０に送信する。そして、プロジェクタ４０は投影画像を荷物Ｐ１に投影する。よって、当該領域の作業者は、自身が担当する特定領域に到着した自身が拾い上げるべき荷物Ｐ１に容易に着目することが可能となり、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。

本実施形態では、図３Ａに示すように１台のプロジェクタ４０に対して、複数の特定領域の投影の有無を切り替えさせてもよく、複数台のプロジェクタ４０に対して、それぞれ担当の特定領域における投影の有無を切り替えさせてもよい。

以下、実施形態の荷物仕分けシステム１００において、投影指示装置３０が行う荷物仕分けの動作の概要を説明する。

［動作の概要］
図５は、本実施形態の投影指示装置３０、特に投影指示装置３０のプロセッサ３４が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ１０による荷物のラベルのラベル記録情報の読み取り後、投影指示装置３０の入力部３２がラベルリーダ１０から、ラベル記録情報に対応した荷物特定情報を取得する（ステップＳ１）。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ３４は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのＩＤを付与し、ＩＤを付与した時刻に対応する時刻情報とともにメモリ３６に記録する（ステップＳ２）。メモリ３６に記録するＩＤは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置３０が新しいＩＤを生成して付与してもよい。

一方、ステップＳ１およびステップＳ２と並行して、画像センサ２０の距離画像センサ２２による荷物の距離画像の撮像後、投影指示装置３０の入力部３２が距離画像センサ２２からセンシング情報としての距離画像を取得する（ステップＳ２０）。プロセッサ３４は、当該距離画像に存在する荷物に対応するＩＤがメモリ３６に存在するか否かを判定する。

当該距離画像に存在する荷物に対応するＩＤがメモリ３６に存在するか否かを判定する手法の一例としては、次のような手順によることが挙げられる。すなわち、プロセッサ３４は、ラベルリーダ１０と距離画像センサ２２との間の距離（既知とする）、および搬送コンベヤ５０の速度から、荷物がラベルリーダ１０と距離画像センサ２２の間を移動するために要する時間を計算する。そして、距離画像を取得した時刻から当該時間を引くことで、距離画像に存在する荷物がラベルリーダ１０（およびプロセッサ３４）によりＩＤを付与された時刻が推定できる。そして、当該推定した時刻に近接して付与されたＩＤが、当該距離画像に存在する荷物に対応するＩＤであると推定できる。また、他の一例としては、ラベルリーダ１０近辺に他の距離画像センサを設置する手法が挙げられる。すなわち、ラベルリーダ１０がＩＤ（およびプロセッサ３４）を付与した際から、ラベルリーダ１０近辺に設置した他の距離画像センサを用いて当該ＩＤが付与された荷物を追跡することで、時刻毎に当該荷物（およびＩＤ）とラベルリーダ１０との距離を計測する。プロセッサ３４は計測された荷物（およびＩＤ）とラベルリーダ１０との距離と、ステップＳ２０で取得された距離画像における荷物の距離と、２つの距離画像センサとの距離（既知とする）から所定のステップＳ２０で取得された距離画像における荷物のＩＤを推定することができる。

このようにして、プロセッサ３４は当該距離画像に含まれる荷物に対応するＩＤがメモリ３６に存在するか否かを判定する（ステップＳ３０）。すなわち、ステップＳ２で述べたように、メモリ３６には、荷物特定情報、ＩＤ、ＩＤを付与した時刻に対応する時刻情報が予め記録されている。一方、プロセッサ３４は、例えば上述したように、距離画像を取得した時刻から荷物がラベルリーダ１０と距離画像センサ２２の間を移動するために要する時間を引くことで、距離画像に存在する荷物がラベルリーダ１０（およびプロセッサ３４）によりＩＤを付与された時刻が推定できる。プロセッサ３４は、予めメモリ３６に記録された時刻情報と推定した時刻とを比較し、これらの値が近い場合は（例えば時間差が所定の閾値時間以下の場合など）、距離画像に含まれる荷物に対応するＩＤがメモリ３６に存在すると判定することができる。メモリ３６に荷物に対応するＩＤが存在すると判定した場合（ステップＳ３０；Ｙｅｓ）、ステップＳ６０以降の処理に進む。

メモリ３６に荷物に対応するＩＤが存在しないと判定した場合（ステップＳ３０；Ｎｏ）、プロセッサ３４は、当該荷物にＩＤが付与されていないことを前提として、当該荷物の位置を改めて特定し（ステップＳ４０）、荷物にＩＤを付与する（ステップＳ５０）。

上述のステップと並行して、色画像センサ２４は、距離画像を取得した各荷物の色画像を生成する。そして、プロセッサ３４は、入力部３２が取得する色画像センサ２４からの色画像に基づき、搬送コンベヤ５０により搬送されて移動するＩＤ付きの荷物を追跡する（ステップＳ６０）。そして、プロセッサ３４は、同じく色画像に基づき、追跡していた荷物が作業者により拾い上げられたか否かを判定する（ステップＳ７０）。荷物が作業者により拾い上げられていないと判定した場合（ステップＳ７０；Ｎｏ）、プロセッサ３４は、荷物が、後述する特定領域（その荷物が拾い上げられるべき所定の仕分けエリア）に存在するか否かを判定する。そして、荷物が特定領域に存在する（到達した）と判定した場合（ステップＳ８０；Ｙｅｓ）、プロセッサ３４は投影画像を生成し、プロジェクタ４０に送信する（ステップＳ９０）荷物が特定領域に存在する（到達した）と判定しない場合（ステップＳ８０；Ｎｏ）、ステップＳ６０に戻り、プロセッサ３４は、荷物の追跡を続行する。

また、ステップＳ７０で、荷物が作業者により拾い上げられたと判定した場合（ステップＳ７０；Ｙｅｓ）、プロセッサ３４は、荷物の詳細情報をメモリ３６から読み出し（ステップＳ１００）、詳細情報を含む投影画像を生成し、出力部３８が生成した投影画像をプロジェクタ４０に出力する（ステップＳ９０）。投影指示装置３０から投影画像を取得したプロジェクタ４０は、当該投影画像を対応する荷物に投影する。

以上は、投影指示装置３０のプロセッサ３４等が行う動作手順の概略というべきものである。もちろん、動作手順は上述したものには限定されない。例えば、ステップＳ７０の判定等は省略することも可能である。また、ステップＳ７０の判定の実施には、作業者の手と荷物との接触判定や、色画像、距離画像等を利用することも可能である。次に、本開示の固有事情について説明する。

［重み付け情報の生成］
荷物を追跡する際、当該荷物が認識済みの荷物と同一の荷物であるかどうかを判定する必要がある。ここで、搬送される荷物の形状や大きさはまちまちであるため、本開示の投影指示装置３０は、所定の広さを持つ判定エリアを用いる。判定エリアには、前の時刻において荷物の色画像から抽出した色の情報が対応付けられている。本開示では、判定エリアに対応する色画像の画素と荷物の色画像との類似度等の特徴量に基づいて、荷物の同一性を評価する。例えば、特徴量として色の類似度を用いる場合、各荷物の上面に対応する色画像の領域を、判定エリアに対応付けられた色と比較しながら走査し、判定エリアに対応付けられた色と類似度の高い色を持つ領域が見つかれば同一の荷物であると判定する。なお、荷物の移動に伴って周辺環境が少しずつ変化していくため同一の荷物であっても色画像は変化していく。そのため、類似度の高い領域が見つかった場合は、判定エリアに対応付けられる色もその領域の色に更新される。

一般的に、図３Ａの荷物仕分けシステム１００では、複数の荷物が、順次、搬送コンベヤ５０により搬送されてくる。各荷物が互いに離れた状態である場合、投影指示装置３０にとって判定エリアが荷物に追従するように制御することは容易であり、誤った荷物の認識、追跡の発生も少ないと予想される。

しかしながら、図６Ａに示すように、複数の荷物Ｐ３、Ｐ４が隣接して搬送される事態が生じ得る。このような場合、画像センサ２０が、荷物Ｐ３、Ｐ４を一つの荷物として誤って認識する事態が生じ得る。この場合、荷物Ｐ３と荷物Ｐ４の色が似ていると、判定エリアは、荷物Ｐ３とＰ４を誤認識した結果である一つの荷物の色画像のうち、判定エリアが対応付けられている領域の色と類似した色を持つ領域に移動してしまう。すなわち、本来荷物Ｐ３を追跡するために設けられた判定エリアが、必ずしも荷物Ｐ３と対応付けられるとは限らず、荷物Ｐ４の色あるいは荷物Ｐ３とＰ４に跨った領域の色に対応付けられることがある。この状態で、荷物Ｐ３とＰ４が分離すると、もともと荷物Ｐ３に対して設定された判定エリアが荷物Ｐ４に引き継がれてしまうおそれがある。その結果、荷物Ｐ３を追跡する判定エリアはなくなり、荷物Ｐ４は荷物Ｐ３であると誤って認識された状態になるため、荷物Ｐ３、Ｐ４ともに正しく追跡されなくなってしまう。同様の問題は、荷物Ｐ３とＰ４が完全に隣接している場合に限られず、荷物Ｐ３、Ｐ４の距離が近く距離画像センサの精度では切り分けられない場合にも生じ得る。

また、図６Ａに示すように、作業者Ｍが荷物Ｐ５を持ち上げた瞬間に、荷物Ｐ５と荷物Ｐ６が重なって撮像され、画像センサ２０が、荷物Ｐ５、Ｐ６を一つの荷物として誤って認識する事態が生じ得る。この場合も荷物Ｐ６に対して設定されていた判定エリアが、荷物Ｐ５に対して引き継がれてしまう結果、荷物Ｐ６が見失われてしまったり、逆に荷物Ｐ５に対して設定されていた判定エリアが、荷物Ｐ６に対して引き継がれてしまう結果、荷物Ｐ５が見失われてしまったりするおそれがある。

そこで、本開示では、判定エリアが他の荷物に移りにくくなるよう判定に用いる値に対して重み付けを行う。

図６Ｂは、荷物Ｐの上面の重み付け情報を示す概念図である。プロセッサ３４は、メモリ３６と協働して、センシング情報に含まれる荷物Ｐの距離画像に基づき当該荷物Ｐを特定し、センシング情報に含まれる荷物Ｐの色画像に基づき当該荷物を追跡する。さらにプロセッサ３４は、上述したような誤った認識を抑制するため、距離画像を平面に投影した場合に得られる中心位置を特定し、当該平面において前記中心位置に近い位置ほど、前記色画像の特徴量の値にかける重みが大きくなるような重み付け情報を生成する。

すなわち、荷物の縁部は他の荷物と重なったりして荷物外の領域における状況・場所・時間による変化が大きいため、当該縁部の色情報は荷物の誤認識を招きやすいと考えられる。すなわち、所定の荷物の距離画像を平面に投影した場合に得られる中心位置に近い位置の色情報ほど、荷物の縁部の色情報よりも、当該荷物を正しく特定する特徴を表していると考えられる。よって、中心位置に近い位置の色情報を用いて当該荷物を追跡することにより、荷物外の領域の影響を受けにくくなり、より精度よく荷物を追跡することができると考えられる。そこでプロセッサ３４は、中心位置に近い位置の色画像の特徴量の値にかける重みが大きくなるような重み付け情報を生成する。

図６Ｂの例では、平面に投影した距離画像の中心位置Ｃが、特に荷物Ｐの上面Ｔの中心位置である。プロセッサ３４は、距離画像から平面（上面）の中心位置Ｃを特定し、中心位置Ｃから、同心円状に三つの領域Ｗ３、領域Ｗ２、領域Ｗ１が存在し、各領域に対して、色画像の特徴量の値にかける重みが大きくなるような重み付け情報を生成する。すなわち、各領域での重みの大きさは、領域Ｗ３での重み＞領域Ｗ２での重みＷ２＞領域Ｗ１での重みとなっている。

このように、平面（上面）の各領域に応じて、特に中心位置に近い位置の色情報の特徴量の値にかける重みが大きくなるような重み付け情報を生成する。言い換えると、（平面に投影した）荷物の距離画像の各領域に基づいて色画像の特徴量の値に対して重み付けを行うことにより、真に荷物を正しく識別し得る色情報の重み付けが大きくなる。そして、この重み付けを行った色画像の特徴量の値に基づき、精度よく荷物が特定され、精度よく荷物を追跡することが可能となる。

この制御を、判定エリアの評価値（Ｃｏｓｔ）を表す式で示すと以下の式（１）ようになる。

ここで、Ｃｏｓｔは、判定エリアにおける画素ｐの評価値であり、この値の判定エリアにおける合計値が高いほど、荷物の色は判定エリアに対応付けられた領域の色と類似していると評価される。なお、画素ｐは実際の画像上における画素の集合に対応するものとしてもよいし、実際の画像上における画素１つ１つに対応するものとしてもよい。すなわち、Ｃｏｓｔを画素の集合ごとに計算しても良いし、画素１つ１つについて計算しても良い。前者の場合は計算量を低減することができ、後者の場合は精密な評価を行うことができる。Ｃｐは、判定エリアの画素ｐに対応する色画像の画素が荷物の中心位置にどれだけ近いかを示す値であり、上述した重み付け情報に相当する。この値は、一例として、ガウシアン分布によって求められる。Ｌｐは、判定エリアの画素ｐに対応付けられた色画像の画素と、評価対象の画素との類似度を示す値であり、上述した特徴量の値に相当する。この値は、一例として、ＹＣｂＣｒ空間内のヒストグラムの類似度によって求められる。

このような評価値（重み付けを行った特徴量とも言える）を用いることで、荷物の平面（上面）の中心位置に近いほど色情報の特徴量に対する重み付けが大きくなるので、判定エリアが荷物の中心位置に追従する可能性が高くなる。その結果、複数の荷物が一つの荷物であると誤認識されたとしても、判定エリアはもともと追跡していた荷物の中心位置に近い位置に設定され、その後荷物が分離しても、別の荷物に判定エリアが移動してしまう可能性を低減することができる。

上述した様に、本開示によれば荷物の識別に役立つ重み付け情報を用いることにより、精度のよい荷物の追跡を可能としている。上述した図５の処理フローでは、重み付け情報の生成、付与は例えばステップＳ６０のタイミングで実施されるが、これはあくまで一例である。荷物へＩＤの付与、投影画像の投影等のタイミングや順序は任意であり、あくまで重み付け情報を生成し、付与することにより、誤認識への対応が可能となる。

また、上述したように、作業者Ｍが荷物Ｐ５を持ち上げることによっても同様の誤認識は発生する。そこで、Ｃｏｓｔの評価値に色の情報のみを反映させるのではなく、高さ変化の情報も反映させることでより正確に荷物追跡することができる。

色に加えて、高さの変化も踏まえた評価値は、以下の式（２）で表される。

ここで、βおよびαは、各評価値を正規化するために用いられる値であり、Ｄｅ（ｐ）は、判定エリアの画素ｐに対応する距離画像の画素の変化量を示す。αは高さ方向の変化量が小さいほど大きな値になるよう設定される。また、高さの変化が極端に大きい場合、同じ荷物の同じ画素である可能性は低くなるので、αの値を０に設定してもよい。

また、Ｄｅ（ｐ）は、具体的には、以下の式（３）で求められる。

ここで、ｄ_ｔ（ｐ）は、判定エリアの画素ｐに対応する距離画像の画素の時刻ｔにおける距離を示す。また、ｄ_ｔ－１（ｐ）は、判定エリアの画素ｐに対応する距離画像の画素の時刻ｔ－１における距離を示す。すなわち、Ｄｅ（ｐ）は、判定エリアの画素ｐに対応する距離画像の画素の変化量の絶対値である。

これにより、高さの変化（Ｄｅ（ｐ））が大きくなるほど、評価値（Ｃｏｓｔ）を上げるために求められる色の類似度（Ｃｐ×Ｌｐ）が上がる。言い換えると、プロセッサ３４は、荷物の色画像の特徴量の値に対して、高さ方向の変化量が小さいほど大きな重み付けを行う。したがって、荷物が持ち上げられた場合における誤認識を抑制することができる。

上述した様に、本開示によれば荷物の同一性の評価に高さの変化の情報を加味することで、精度のよい荷物の追跡を可能としている。

なお、例えば、以下の式（４）に示すとおり、色の類似度については重み付けを行わないまま高さの変化を考慮して評価値(Ｃｏｓｔ)を計算するものとしてもよい。

この場合も、荷物の持ち上げによって発生する誤認識を抑制することが出来る。

尚、上述した様に、荷物の移動に伴って周辺環境が少しずつ変化していくため同一の荷物であっても色画像は変化していく。そのため、類似度の高い領域が見つかった場合は、判定エリアに対応付けられる色もその領域の色に更新される。具体的には、メモリ３６が追跡している荷物の色情報を記憶し、プロセッサ３４が、メモリ３６に記憶されている色情報と色画像から取得した色情報との類似度に基づいて、荷物が認識済みの荷物と同一の荷物であるか否かを判断する。荷物が認識済みの荷物と同一の荷物であると判断した場合、プロセッサ３４は、メモリ３６に記憶される色情報を色画像から取得した色情報に更新する。

以上、図面を参照して本開示に係る投影指示装置、荷物仕分けシステムおよび投影指示方法の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

上記の実施の形態では、重みを大きくする、と記載したが、これは表現の一つに過ぎない。すなわち、同一の荷物であるか否かの判定結果に影響する程度を大きくする処理を「重みを大きくする」と表現しているに過ぎず、何らかの計算結果を大きくする処理には限られない。例えば、上述した各式の正負を反転すれば計算結果が小さくなるほど同一の荷物であると判定される確率は高まるが、これもまた上記の実施の形態で述べる「重みを大きくする」処理に含まれる。

本開示は、荷物の隣接、重なり等の発生時においても、荷物の追跡精度が劣化するのを防止することができる投影指示装置、荷物仕分けシステムおよび投影指示方法の提供に有用である。

１０ ラベルリーダ
２０ 画像センサ
２２ 距離画像センサ
２４ 色画像センサ
３０ 投影指示装置
３２ 入力部
３４ プロセッサ
３６ メモリ
３８ 出力部
４０ プロジェクタ
５０ 搬送コンベヤ
６０ 撮像投影装置
１００ 荷物仕分けシステム
Ｐ 荷物

Claims (8)

1. 荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置であって、
   プロセッサと、
   メモリと、を備え、
   前記プロセッサは、前記メモリと協働して、
   前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、
   前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、
   前記プロセッサは、
   前記センシング情報に基づいて前記荷物の平面の中心位置を特定し、
   前記荷物の色画像の特徴量の値に対して、前記中心位置に近い位置ほど大きな重み付けを行う、
   投影指示装置。
2. 請求項１に記載の投影指示装置であって、
   前記中心位置が、前記荷物の上面の中心位置である、
   投影指示装置。
3. 荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置であって、
   プロセッサと、
   メモリと、を備え、
   前記プロセッサは、前記メモリと協働して、
   前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、
   前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、
   前記プロセッサは、
   前記センシング情報に基づいて前記荷物の高さ方向の変化量を特定し、
   前記荷物の色画像の特徴量の値に対して、前記高さ方向の変化量が小さいほど大きな重み付けを行う、
   投影指示装置。
4. 荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示装置であって、
   プロセッサと、
   メモリと、を備え、
   前記プロセッサは、前記メモリと協働して、
   前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、
   前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、
   前記メモリは、追跡している荷物の色情報を記憶し、
   前記特徴量は、前記色情報の類似度であり、
   前記プロセッサは、前記メモリに記憶されている色情報と前記色画像から取得した色情報との類似度に基づいて、前記荷物が認識済みの荷物と同一の荷物であるか否かを判断し、
   前記荷物が認識済みの荷物と同一の荷物であると判断した場合、前記メモリに記憶される色情報を前記色画像から取得した色情報に更新する、
   投影指示装置。
5. 請求項１から４のいずれか一項に記載の投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記センシング情報を取得する画像センサと、前記投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステム。
6. 荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、
   プロセッサがメモリと協働して、
   前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、
   前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、
   前記プロセッサは、
   前記センシング情報に基づいて前記荷物の平面の中心位置を特定し、
   前記荷物の色画像の特徴量の値に対して、前記中心位置に近い位置ほど大きな重み付けを行う、
   投影指示方法。
7. 荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、
   プロセッサがメモリと協働して、
   前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、
   前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、
   前記プロセッサは、
   前記センシング情報に基づいて前記荷物の高さ方向の変化量を特定し、
   前記荷物の色画像の特徴量の値に対して、前記高さ方向の変化量が小さいほど大きな重み付けを行う、
   投影指示方法。
8. 荷物のセンシング情報に基づき、当該荷物に投影する投影画像を生成する投影指示方法であって、
   プロセッサがメモリと協働して、
   前記センシング情報に含まれる荷物の色画像の特徴量の値に対して重み付けを行い、
   前記重み付けを行った前記色画像の特徴量の値に基づき当該荷物を追跡し、
   前記メモリは、追跡している荷物の色情報を記憶し、
   前記特徴量は、前記色情報の類似度であり、
   前記プロセッサは、前記メモリに記憶されている色情報と前記色画像から取得した色情報との類似度に基づいて、前記荷物が認識済みの荷物と同一の荷物であるか否かを判断し、
   前記荷物が認識済みの荷物と同一の荷物であると判断した場合、前記メモリに記憶される色情報を前記色画像から取得した色情報に更新する、
   投影指示方法。

Images