JP7045621B2 - 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 - Google Patents
荷物認識装置、荷物仕分けシステムおよび荷物認識方法 Download PDFInfo
- Publication number
- JP7045621B2 JP7045621B2 JP2019517109A JP2019517109A JP7045621B2 JP 7045621 B2 JP7045621 B2 JP 7045621B2 JP 2019517109 A JP2019517109 A JP 2019517109A JP 2019517109 A JP2019517109 A JP 2019517109A JP 7045621 B2 JP7045621 B2 JP 7045621B2
- Authority
- JP
- Japan
- Prior art keywords
- luggage
- baggage
- image
- person
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C3/00—Sorting according to destination
- B07C3/10—Apparatus characterised by the means used for detection ofthe destination
- B07C3/14—Apparatus characterised by the means used for detection ofthe destination using light-responsive detecting means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C7/00—Sorting by hand only e.g. of mail
- B07C7/005—Computer assisted manual sorting, e.g. for mail
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Mechanical Engineering (AREA)
- Sorting Of Articles (AREA)
- Image Analysis (AREA)
Description
本開示は、荷物の仕分けに有用な荷物認識装置、荷物仕分けシステムおよび荷物認識方法に関する。
近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。
特許文献1は、移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に投射して画像を荷物上に表示するシステムを開示している。
しかしながら、昨今荷物の流通量はますます増大するとともに、荷物の種類も様々なものとなっており、荷物をより効率的かつ正確に仕分ける技術が求められている。
本開示は、荷物の仕分けをより効率的かつ正確に行うための技術に関する。
本開示は、荷物を含む画像に基づき、前記荷物を認識する荷物認識装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記画像内の認識対象空間において、人物の認識を行い、認識された前記人物の少なくとも一部を含む所定範囲内の空間を前記認識対象空間から差し引き、差し引いて得られた空間を新たな認識対象空間として、前記荷物を認識する。
本開示は、上述の荷物認識装置を含む投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記荷物を含む画像を取得する画像センサと、仕分け先を示す投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステムである。
本開示は、荷物を含む画像に基づき、前記荷物を認識する荷物認識方法であって、プロセッサがメモリと協働して、前記画像内の認識対象空間において、人物の認識を行い、認識された前記人物の少なくとも一部を含む所定範囲内の空間を前記認識対象空間から差し引き、差し引いて得られた空間を新たな認識対象空間として、前記荷物を認識する。
本開示によれば、荷物の仕分けをより効率的かつ正確に行うことができ、さらなる荷物の流通量の増大にも対応することができる。特に、荷物に対して人物が触れるなどして干渉しても、荷物の位置情報に誤りの発生や、誤認識の発生を抑えられ、より確実に荷物を認識することができ、ひいては荷物を精度よく追跡することが可能となる。
以下、適宜図面を参照しながら、本開示に係る荷物認識装置、荷物仕分けシステムおよび荷物認識方法を具体的に開示した実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
以下、図1~図7を用いて本開示の実施の形態を説明する。
[構成]
図1は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図1に示す荷物仕分けシステム100は、例えば物流センターに設置される。荷物仕分けシステム100は、ラベルリーダ10と、画像センサ20と、投影指示装置30と、プロジェクタ40とを備える。荷物仕分けシステム100は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業員の作業を支援するシステムである。荷物仕分けシステム100は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図1に記載したものに限定されない。例えば、一台のラベルリーダ10に複数の画像センサ20と、投影指示装置30と、プロジェクタ40を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。
図1は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図1に示す荷物仕分けシステム100は、例えば物流センターに設置される。荷物仕分けシステム100は、ラベルリーダ10と、画像センサ20と、投影指示装置30と、プロジェクタ40とを備える。荷物仕分けシステム100は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業員の作業を支援するシステムである。荷物仕分けシステム100は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図1に記載したものに限定されない。例えば、一台のラベルリーダ10に複数の画像センサ20と、投影指示装置30と、プロジェクタ40を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。
読取装置としてのラベルリーダ10は、図示せぬレンズ、イメージセンサ等の各種の要素を含む装置である。ラベルリーダ10を用いることで、搬送コンベヤにより搬送されてくる荷物に貼付されたラベルから当該荷物に関する各種の情報を記録したラベル記録情報を読み取ることができる。読み取られたラベル記録情報を用いることで、当該荷物を特定することが可能である。読み取られた情報によって荷物特定情報が定義づけられる。
画像センサ20は、図示せぬレンズ、イメージセンサ等の各種の要素を含む撮像装置である。画像センサ20は、一般的には撮像カメラとして構成される。撮像カメラは3次元カメラ、複数台の2次元カメラなどである。画像センサ20は、距離画像センサ22と色画像センサ24とを含む。
距離画像センサ22は、搬送コンベヤにより搬送されてくる荷物を撮像し、距離画像を生成する。生成された距離画像は、荷物の位置、荷物までの距離、荷物のサイズ等を示す情報として使用される。「距離画像」とは、撮像位置から各画素が示す位置(荷物の表面を含む)までの距離を示す距離情報を収容した画像のことをいう(つまり本開示において「画像」の語は距離画像を含む)。また、「距離画像」という文言には、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものも含まれる。すなわち「距離画像」は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造は問わない。本開示において距離画像センサ22は荷物の位置を特定するために用いられる。よって距離画像センサ22は、他のセンシングデバイス(超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ)が代替することもできる。
色画像センサ24は、距離画像が生成された荷物を撮像し、色画像を生成する。「色画像」とは、荷物の表面の色を所定の階調で表現した画像のことをいい、「階調」にはRGBの256階調のみならず、グレースケール等あらゆるものが含まれる。本開示において色画像センサ24は、距離画像センサ22が特定した荷物について、各荷物を追跡するために用いられる。色画像センサ24も、他のセンシングデバイス(超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ)が代替することができる。
つまり本開示において「画像」の語は距離画像と色画像の双方を含む。本開示においては距離画像センサおよび色画像センサを含むセンシングデバイスとしての画像センサから出力される情報をセンシング情報と呼ぶ。本実施の形態においてはセンシングデバイスの一例として画像センサ20(距離画像センサ22および色画像センサ24を含む)を用いて説明を行う。また本実施の形態においては、センシング情報の例として、距離画像センサ22の出力である距離画像、色画像センサ24の出力である色画像を用いて説明を行う。
投影指示装置30は、荷物仕分けシステム100における演算装置としての役割を果たす。図2に示すように、投影指示装置30は、バスを介して接続された入力部32、プロセッサ34、メモリ36、出力部38を備える。入力部32は、ラベルリーダ10が読み込んだラベル記録情報から取得した荷物の特定が可能な荷物特定情報、距離画像センサ22が生成した距離画像、色画像センサ24が生成した色画像を受け取る。プロセッサ34は一般的な演算装置によって構成され、荷物特定情報、距離画像および色画像に基づき、荷物に投影する投影画像を生成する。記憶装置としてのメモリ36は、プロセッサ34が各種処理に必要な制御プログラムの読み込み、データの退避等の操作を行う。すなわち、プロセッサ34とメモリ36は協働して投影指示装置30による各種処理を制御する。出力部38は、プロセッサ34が生成した投影画像をプロジェクタ40に出力する。なお、本開示において「プロセッサ」は単一のプロセッサのみを意味するものではない。「プロセッサ」は、複数の同一目的のプロセッサや、目的の異なるプロセッサ(例えば、汎用CPU(Central Processing Unit)とGPU(Graphic Processing Unit))が共同して処理を行う場合の動作主体を意味する語としても使用される。
プロジェクタ40は一般的な投影装置により構成され、投影指示装置30から受信した投影画像を含む投影光を荷物に投影し、荷物上に表示する。
荷物仕分けシステム100は、ラベルリーダ10と、画像センサ20(距離画像センサ22および色画像センサ24)と、投影指示装置30と、プロジェクタ40とを有線通信または無線通信で繋ぎ合わすことにより構築できる。また、ラベルリーダ10と、画像センサ20と、投影指示装置30と、プロジェクタ40のうちいずれかの二台以上の装置を一体型の装置として構築することもできる。例えば、画像センサ20とプロジェクタ40とを合わせて、一体型の撮像投影装置として構築することもできる(図3A参照)。
[システムの概要]
図3Aは、荷物仕分けシステム100が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Mが、搬送コンベヤ50により矢印X方向に搬送されてくる各荷物Pに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて(ピックアップ)、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。
図3Aは、荷物仕分けシステム100が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Mが、搬送コンベヤ50により矢印X方向に搬送されてくる各荷物Pに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて(ピックアップ)、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。
そこで本実施形態では、図3Aに示すように、搬送コンベヤ50の上方に配置されたラベルリーダ10が、搬送コンベヤ50により搬送されてくる各荷物Pに貼付されたラベルを読み取る。ラベルには、当該荷物に関する各種の情報を含むラベル記録情報が記載されている。ラベル記録情報は、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報を含む。ラベルの読み込みは、担当の作業者がラベル内のバーコードに、ラベルリーダ10としてのバーコードリーダを手で当てて読み込むことで行っても良い。
さらに画像センサ20が、搬送コンベヤ50により搬送されてくる荷物Pの画像(距離画像および色画像)を撮像し、荷物Pの位置、荷物Pまでの距離、荷物Pのサイズ(荷物Pが直方体の場合は3辺の長さ)、荷物Pの色、荷物Pの模様等の情報を取得する。尚、ラベルリーダ10、画像センサ20の配置位置や、センシングデバイスの種類、処理の順序は特に図示した形態に限定されない。上述した様に、本例では、画像センサ20とプロジェクタ40が一体型の撮像投影装置60として構築され、搬送コンベヤ50の上方に配置されている。
図3A、図3Bでは示されていない投影指示装置30は、例えば搬送コンベヤ50の近傍や、別の部屋に配置されたコンピュータにより構成され、ラベルリーダ10が獲得した荷物を特定する情報と、画像センサ20が生成した距離画像および色画像に基づき、荷物P(荷物Pが直方体の場合は例えば上面)に表示する投影画像を生成する。投影指示装置30は投影画像を荷物Pに投影すべき投影指示をプロジェクタ40に送る。
投影指示を受けた、画像投影装置としての、プロジェクタ40は、投影指示装置30が生成した投影画像を含む投影光を荷物Pに投影し、荷物P上に投影画像を表示する。ここで荷物Pに表示される投影画像は、例えば、当該荷物Pの配送先住所に対応した仕分け場所を示す色を有する丸数字の画像である(図3B参照)。ここで、丸数字は、例えば、仕分けられた荷物Pを運ぶトラックの番号(トラック自体の番号や駐車場番号など)や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応している。また、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューターの番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため搬送コンベヤ50周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベヤ50と搬送トラック等との間にシューターを挟み、搬送コンベヤ50周辺ではシューターの番号を投影することで、搬送コンベヤ50周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することが出来る。もちろん、状況に応じて、様々な種類の投影画像が表示される。数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Pをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印(搬送コンベヤ50の搬送方向に対して右または左など)または文字(「左」「右」など)であってもよい。更に、表示の形態も丸数字に限られるものではなく、図4で示すような四角で囲んだ数字(“3”、“359”、“24735”)など様々なものが考えられる。さらに、投影画像は、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸・三角・四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。また、投影画像は静止画像に限らず、アニメーションであっても構わない。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりすることなど考えられる。また、仕分け方向を反映したアニメーションを投影しても構わない。仕分け方向を反映したアニメーションの例としては、例えば、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影画像の全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示するなど、さまざまなものが考えられる。投影画像の一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させることなどが考えられる。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。なお、本開示において「画像投影装置」とは光線を直接荷物に投影するものに限定されない。本開示において「画像投影装置」には画像を表示可能な眼鏡も含む。つまり本開示において、荷物に投影光を投影する、荷物に画像を表示する、荷物に画像を投影する、などと表現した場合は、その表現は画像を表示可能な眼鏡を介して、擬似的に、荷物に投影光が投影されているかのように作業者に認識させることも含む。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物Pの像に、ここでの投影画像を重ねあわせてもよい。
図3Aにおいて、搬送コンベヤ50の脇には、荷物を拾い上げる担当の作業者M(他の作業者は省略)が立っており、それぞれの担当の領域に到達した荷物を、丸数字1、丸数字2、丸数字3等で示すように搬送コンベヤ50から拾い上げる。
例えば荷物P1はラベルに「AAA111」の荷物特定情報を持っており、「AAA111」の荷物特定情報は領域Aで仕分けの対象になる旨が特定されているとする。そこで、プロセッサ34は、荷物P1が特定領域に到着したら、図3Bに示すように生成した投影画像をプロジェクタ40に送信する。そして、プロジェクタ40は投影画像を荷物P1に投影する。よって、当該領域の作業者は、自身が担当する特定領域に到着した自身が拾い上げるべき荷物P1に容易に着目することが可能となり、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。
本実施形態では、図3Aに示すように1台のプロジェクタ40に対して、複数の特定領域の投影の有無を切り替えさせてもよく、複数台のプロジェクタ40に対して、それぞれ担当の特定領域における投影の有無を切り替えさせてもよい。
以下、実施形態の荷物仕分けシステム100において、投影指示装置30が行う荷物仕分けの動作の概要を説明する。
[動作の概要]
図5は、本実施形態の投影指示装置30、特に投影指示装置30のプロセッサ34が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ10による荷物のラベルのラベル記録情報の読み取り後、投影指示装置30の入力部32がラベルリーダ10から、ラベル記録情報に対応した荷物特定情報を取得する(ステップS1)。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ34は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのIDを付与し、IDを付与した時刻に対応する時刻情報とともにメモリ36に記録する(ステップS2)。メモリ36に記録するIDは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置30が新しいIDを生成して付与してもよい。
図5は、本実施形態の投影指示装置30、特に投影指示装置30のプロセッサ34が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ10による荷物のラベルのラベル記録情報の読み取り後、投影指示装置30の入力部32がラベルリーダ10から、ラベル記録情報に対応した荷物特定情報を取得する(ステップS1)。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ34は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのIDを付与し、IDを付与した時刻に対応する時刻情報とともにメモリ36に記録する(ステップS2)。メモリ36に記録するIDは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置30が新しいIDを生成して付与してもよい。
一方、ステップS1およびステップS2と並行して、画像センサ20の距離画像センサ22による荷物の距離画像の撮像後、投影指示装置30の入力部32が距離画像センサ22からセンシング情報としての距離画像を取得する(ステップS20)。プロセッサ34は、当該距離画像に存在する荷物に対応するIDがメモリ36に存在するか否かを判定する。
当該距離画像に存在する荷物に対応するIDがメモリ36に存在するか否かを判定する手法の一例としては、次のような手順によることが挙げられる。すなわち、プロセッサ34は、ラベルリーダ10と距離画像センサ22との間の距離(既知とする)、および搬送コンベヤ50の速度から、荷物がラベルリーダ10と距離画像センサ22の間を移動するために要する時間を計算する。そして、距離画像を取得した時刻から当該時間を引くことで、距離画像に存在する荷物がラベルリーダ10(およびプロセッサ34)によりIDを付与された時刻が推定できる。そして、当該推定した時刻に近接して付与されたIDが、当該距離画像に存在する荷物に対応するIDであると推定できる。また、他の一例としては、ラベルリーダ10近辺に他の距離画像センサを設置する手法が挙げられる。すなわち、ラベルリーダ10がID(およびプロセッサ34)を付与した時から、ラベルリーダ10近辺に設置した他の距離画像センサを用いて当該IDが付与された荷物を追跡することで、時刻毎に当該荷物(およびID)とラベルリーダ10との距離を計測する。プロセッサ34は計測された荷物(およびID)とラベルリーダ10との距離と、ステップS20で取得された距離画像における荷物の距離と、2つの距離画像センサとの距離(既知とする)から所定のステップS20で取得された距離画像における荷物のIDを推定することができる。
このようにして、プロセッサ34は当該距離画像に含まれる荷物に対応するIDがメモリ36に存在するか否かを判定する(ステップS30)。すなわち、ステップS2で述べたように、メモリ36には、荷物特定情報、ID、IDを付与した時刻に対応する時刻情報が予め記録されている。一方、プロセッサ34は、例えば上述したように、距離画像を取得した時刻から荷物がラベルリーダ10と距離画像センサ22の間を移動するために要する時間を引くことで、距離画像に存在する荷物がラベルリーダ10(およびプロセッサ34)によりIDを付与された時刻が推定できる。プロセッサ34は、予めメモリ36に記録された時刻情報と推定した時刻とを比較し、これらの値が近い場合は(例えば時間差が所定の閾値時間以下の場合など)、距離画像に含まれる荷物に対応するIDがメモリ36に存在すると判定することができる。メモリ36に荷物に対応するIDが存在すると判定した場合(ステップS30;Yes)、ステップS60以降の処理に進む。
メモリ36に荷物に対応するIDが存在しないと判定した場合(ステップS30;No)、プロセッサ34は、当該荷物にIDが付与されていないことを前提として、当該荷物の位置を改めて特定し(ステップS40)、荷物にIDを付与する(ステップS50)。
上述のステップと並行して、色画像センサ24は、距離画像を取得した各荷物の色画像を生成する。そして、プロセッサ34は、入力部32が取得する色画像センサ24からの色画像に基づき、搬送コンベヤ50により搬送されて移動するID付きの荷物を追跡する(ステップS60)。そして、プロセッサ34は、同じく色画像に基づき、追跡していた荷物が作業者により拾い上げられたか否かを判定する(ステップS70)。荷物が作業者により拾い上げられていないと判定した場合(ステップS70;No)、プロセッサ34は、荷物が、後述する特定領域(その荷物が拾い上げられるべき所定の仕分けエリア)に存在するか否かを判定する。そして、荷物が特定領域に存在する(到達した)と判定した場合(ステップS80;Yes)、プロセッサ34は投影画像を生成し、プロジェクタ40に送信する(ステップS90)。荷物が特定領域に存在する(到達した)と判定しない場合(ステップS80;No)、ステップS60に戻り、プロセッサ34は、荷物の追跡を続行する。
また、ステップS70で、荷物が作業者により拾い上げられたと判定した場合(ステップS70;Yes)、プロセッサ34は、荷物の詳細情報をメモリ36から読み出し(ステップS100)、詳細情報を含む投影画像を生成し、出力部38が生成した投影画像をプロジェクタ40に出力する(ステップS90)。投影指示装置30から投影画像を取得したプロジェクタ40は、当該投影画像を対応する荷物に投影する。
以上は、投影指示装置30のプロセッサ34等が行う動作手順の概略というべきものである。もちろん、動作手順は上述したものには限定されない。例えば、ステップS70の判定等は省略することも可能である。また、ステップS70の判定の実施には、作業者の手と荷物との接触判定や、色画像、距離画像等を利用することも可能である。以下、さらに各処理の詳細な手順について説明する。
[荷物に対して人物が干渉した場合の処理]
荷物を含む距離画像に基づき、荷物を認識する場合において、人物が荷物に触れるなどして該荷物に干渉すると、位置情報に誤りの発生や、誤認識を起こしてしまうことがある。例えば、人物が荷物に触れている場合、人物の腕も荷物の一部であると認識されてしまい、荷物の形等が誤認識されるおそれがある。このようになると、荷物の正確な追跡ができなくなる可能性が生じ得る。
荷物を含む距離画像に基づき、荷物を認識する場合において、人物が荷物に触れるなどして該荷物に干渉すると、位置情報に誤りの発生や、誤認識を起こしてしまうことがある。例えば、人物が荷物に触れている場合、人物の腕も荷物の一部であると認識されてしまい、荷物の形等が誤認識されるおそれがある。このようになると、荷物の正確な追跡ができなくなる可能性が生じ得る。
そこで、本開示では、図5のステップS60において、距離画像内の認識対象空間において人物の認識を行い、認識した人物の周囲の所定範囲内の空間を認識対象空間から差し引き、差し引いて得られた空間を新たな認識対象空間とすることで、荷物の認識を確実に行えるようにする。
すなわち、プロセッサ34は、センシング情報として、距離画像センサ22の出力である荷物を含む距離画像内の認識対象空間において、既存の画像認識技術を用いて人物の認識を行い、次いで、認識した人物の周囲の所定範囲内の空間を認識対象空間から差し引き、差し引いて得られた空間を新たな認識対象空間とし、この新たな認識対象空間にて荷物を認識する。
図6は、荷物に対して人物が干渉した場合における荷物の認識処理を説明するための図である。同図において、上流側に1つの搬送コンベヤBCaがあり、下流側に3つの搬送コンベヤBCb~BCdがある場合、搬送コンベヤBCaと3つの搬送コンベヤBCb~BCdの間に配置された人物Wk(作業者)が、上流側の搬送コンベヤBCaで搬送されてきた荷物Pを拾い上げて、搬送コンベヤBCb、搬送コンベヤBCc又は搬送コンベヤBCdのいずれか1つに載せる仕分け作業を行う。このような仕分け作業において、人物Wkが搬送コンベヤBCaで搬送されてきた荷物Pに触るなどして荷物Pに干渉したとすると、荷物情報に誤りが発生したり、誤認識が生じたりすることがあるが、そのような場合に、まず人物Wkを認識し、次いで、人物Wkの周囲の所定範囲Rsを決定し、決定した所定範囲Rs内の空間を認識対象空間から差し引く。これにより得られた空間を新たな認識対象空間とする。このように、人物Wkが荷物Pに触れるなどして荷物Pに干渉しても、荷物Pの位置情報に誤りの発生や、誤認識の発生を抑えられ、より確実に荷物Pを認識することができ、ひいては荷物を精度よく追跡することが可能となる。なお、人物Wkを認識する手法としては、さまざまなものが利用できる。例えば、人物Wkの存在する位置を大まかに認識できれば十分なのであれば、人物Wkの服などに取り付けられたタグやビーコン、特定の色または形状を持つ制服などを認識することによって人物Wkの位置を認識すればよい。一方、人物Wkの位置をより正確に認識する必要があるのであれば、パターンマッチングなどの他のアルゴリズムを使用することが考えられる。また、両方の手法を併用しても良い。範囲Rsを正確に決定するためには、人物Wkの位置を正確に認識することが望ましい。ただし、人物Wkの位置を正確に認識するアルゴリズムは、一般的に、人物Wkが遠い位置にいたり、あるいは、複数の人物Wkが密集していたりする状況では精度が下がる。そこで、両方の手法を併用することで、認識対象区間に存在する人物Wkをなるべく漏れなく、かつ、高精度に認識する構造を実現することができる。
図7は、上述の処理に対応したフローの一例である。ここで示すフローは、図5における概要手順のフローチャートの中で、ステップS60における処理のサブ処理(サブルーチン)である荷物認識処理を示す。すなわち、プロセッサ34は、まず距離画像センサ22から荷物を含む距離画像を取得する(ステップS401)。次いで、プロセッサ34は、取得した距離画像内の認識対象空間において、既存の画像認識技術を用いて人物Wkの認識を行う(ステップS402)。プロセッサ34は、人物Wkの認識を行った後、認識した人物Wkの周囲の所定範囲Rs内の空間を認識対象空間から差し引く(ステップS403)。そして、差し引いて得られた空間を新たな認識対象空間として、荷物Pを認識する(ステップS404)。プロセッサ34は、上記サブ処理を行って荷物Pを認識した後、該荷物Pを追跡する処理を行う。
上述したように、本開示によれば、人物Wkが搬送コンベヤで搬送されてきた荷物Pに触るなどして荷物Pに干渉しても、荷物Pの位置情報に誤りの発生や、誤認識の発生を抑えられ、より確実に荷物Pを認識することができ、ひいては荷物を精度よく追跡することが可能となる。
なお、人物の認識と、人物の周囲の所定範囲内の空間の認識に、距離画像を用いる以外、色画像を用いることも可能である。
以上、図面を参照して本開示に係る荷物認識装置、荷物仕分けシステムおよび荷物認識方法の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
例えば、以下のような変形例が考えられる。
本開示では、図6に示したような複数の搬送コンベヤの中央部分に人物Wkが存在する状況を想定しているが、これに限られるものではない。図3に示したような一本の搬送コンベヤの近傍に人物Wkが存在する場合にも本開示を適用することができる。図3のような状況であっても荷物を拾い上げようとした人物が荷物だと誤認識される事態が発生するため、本開示の手法は有用である。
本開示では、距離画像の認識対象空間から人物Wkを除外したが、これに限られるものではない。例えば、色画像の認識対象空間から人物Wkを除外してもよい。人の衣服と荷物の色が類似している場合、距離画像の認識結果のみならず、色画像の認識結果においても荷物の形状と人の形状とが一体であると誤認識されてしまうおそれがある。本開示では、色画像に基づいて荷物を追跡しているので、このような誤認識が発生すると荷物の追跡ミスが発生する。そこで、色画像からも人物Wkを除外することによって、このような追跡ミスを抑止することができる。
本開示では、図6に示したように、認識対象空間から除外する範囲Rsとして人物Wkを囲む円柱状のものを使用したが、これに限られるものではない。認識対象空間から人物Wkが除外されるのであれば、範囲Rsの大きさや形は図6と異なるものであってもよい。また、荷物と人物Wkとの誤認識を防げればよいので、人物Wk全体を除外する必要はなく、例えば、荷物に接触する腕のみを除外するなどとしても良い。また、範囲Rsの大きさや形を、人物Wkの数、および、認識対象空間内に存在すると推測される荷物の数の少なくとも一方に応じて切り替えるものとしてもよい。すなわち、人物Wkの数が少なかったり荷物の数が少なかったりする場合、人物Wkを認識対象空間から確実に除外すべく広めの範囲Rsを設定する方が有益である。一方、人物Wkの数が多かったり荷物の数が多かったりする場合、除外される範囲Rsが荷物の存在する位置と重複し、荷物の追跡自体が失敗してしまうおそれがある。そのため、人物Wkの数が多かったり荷物の数が多かったりする場合は、範囲Rsをなるべく人物Wkの形状そのものに近い形にしたり、狭めの範囲にしたりすることが有益である。なお、認識空間内に存在する荷物の数は、直前のタイミングで認識に成功した荷物の数などから推測できる。
本開示では、認識した人物Wkを認識対象空間から除外する目的で使用したが、これに限られるものではない。例えば、図6のような構造において、人物Wkが拾い上げた荷物が適切な搬送コンベヤに移動したかどうかを判断する用途などに使用してもよい。本開示では、人物Wkを含む範囲Rsを認識できるので、この範囲Rsに重複している荷物を特定することで、人物Wkが拾い上げた荷物を特定することもできる。また、荷物の追跡に成功していれば、各荷物の移動先として正しい搬送コンベヤがどれであるかを判断することもできる。したがって、これらの仕組みを利用することにより、人物Wkが拾い上げた荷物を適切な搬送コンベヤに移動したかどうかを判断することができる。この場合、荷物仕分けシステムは、荷物が誤った搬送コンベヤに移動されていれば、警告を音声または投影画像などの手段で認識した人物Wkに通知するものとしてもよい。上記では、図6に基づき荷物の移動先が搬送コンベヤである例を説明したが、この仕組みは、シューターや搬送トラックなど他の移動先に荷物を移動させる例にも応用できる。
本開示は、人物が搬送コンベヤで搬送されてきた荷物に触るなどして該荷物に干渉しても、該荷物を確実に認識することができる荷物認識装置、荷物仕分けシステムおよび荷物認識方法の提供に有用である。
10 ラベルリーダ
20 画像センサ
22 距離画像センサ
24 色画像センサ
30 投影指示装置
32 入力部
34 プロセッサ
36 メモリ
38 出力部
40 プロジェクタ
50 搬送コンベヤ
60 撮像投影装置
100 荷物仕分けシステム
P 荷物
20 画像センサ
22 距離画像センサ
24 色画像センサ
30 投影指示装置
32 入力部
34 プロセッサ
36 メモリ
38 出力部
40 プロジェクタ
50 搬送コンベヤ
60 撮像投影装置
100 荷物仕分けシステム
P 荷物
Claims (9)
- 荷物を含む画像に基づき、前記荷物を認識する荷物認識装置であって、
プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
前記画像内の認識対象空間において、人物の認識を行い、
認識された前記人物の少なくとも一部を含む所定範囲内の空間を前記認識対象空間から差し引き、
差し引いて得られた空間を新たな認識対象空間として、前記荷物を認識する、
荷物認識装置。 - 請求項1に記載の荷物認識装置であって、
前記プロセッサは、
認識された前記人物の全体を含む空間を前記認識対象空間から差し引く、
荷物認識装置。 - 請求項1または2に記載の荷物認識装置であって、
前記プロセッサは、
認識された前記人物の数に応じて、各人物に対応する前記認識対象空間から差し引く範囲の大きさまたは形の少なくとも一方を切り替える、
荷物認識装置。 - 請求項1から3のいずれか一項に記載の荷物認識装置であって、
前記プロセッサは、
前記認識対象空間に存在する荷物の数を推定し、推定した荷物の数に応じて、前記認識対象空間から差し引く範囲の大きさまたは形の少なくとも一方を切り替える、
荷物認識装置。 - 請求項1から4のいずれか一項に記載の荷物認識装置であって、
前記プロセッサは、
前記認識対象空間から差し引く範囲と認識した荷物とが重複した場合、前記荷物の正
しい仕分け先を特定し、
前記荷物が正しい仕分け先に仕分けされていなければ警告を行う、
荷物認識装置。 - 請求項1に記載の荷物認識装置であって、
前記画像は、距離画像である、
荷物認識装置。 - 請求項1に記載の荷物認識装置であって、
前記画像は、色画像である、
荷物認識装置。 - 請求項1に記載の荷物認識装置を含む投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記荷物を含む画像を取得する画像センサと、仕分け先を示す投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステム。
- 荷物を含む画像に基づき、前記荷物を認識する荷物認識方法であって、
プロセッサがメモリと協働して、
前記画像内の認識対象空間において、人物の認識を行い、
認識された前記人物の少なくとも一部を含む所定範囲内の空間を前記認識対象空間から差し引き、
差し引いて得られた空間を新たな認識対象空間として、前記荷物を認識する、
荷物認識方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017187200 | 2017-09-27 | ||
JP2017187200 | 2017-09-27 | ||
PCT/JP2018/025736 WO2019064803A1 (ja) | 2017-09-27 | 2018-07-06 | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019064803A1 JPWO2019064803A1 (ja) | 2020-09-03 |
JP7045621B2 true JP7045621B2 (ja) | 2022-04-01 |
Family
ID=65900979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019517109A Active JP7045621B2 (ja) | 2017-09-27 | 2018-07-06 | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11348333B2 (ja) |
EP (1) | EP3689792B1 (ja) |
JP (1) | JP7045621B2 (ja) |
WO (1) | WO2019064803A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230245021A1 (en) * | 2022-01-28 | 2023-08-03 | At&T Intellectual Property I, L.P. | Methods, systems and devices for determining a number of customers entering a premises utilizing computer vision and a group of zones within the premises |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015145982A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体 |
JP2016150849A (ja) | 2015-02-19 | 2016-08-22 | パナソニックIpマネジメント株式会社 | 物品配送システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02162479A (ja) * | 1988-12-15 | 1990-06-22 | Ricoh Co Ltd | 動画像の背景領域抽出方法 |
JP3436025B2 (ja) * | 1995-12-27 | 2003-08-11 | ミノルタ株式会社 | 読取り画像の修正方法及び画像読取り装置 |
WO2004079546A2 (en) * | 2003-03-04 | 2004-09-16 | United Parcel Service Of America, Inc. | System for projecting a handling instruction onto a moving item or parcel |
US7561717B2 (en) * | 2004-07-09 | 2009-07-14 | United Parcel Service Of America, Inc. | System and method for displaying item information |
US9646369B2 (en) * | 2014-03-11 | 2017-05-09 | United Parcel Service Of America, Inc. | Concepts for sorting items using a display |
US10471478B2 (en) * | 2017-04-28 | 2019-11-12 | United Parcel Service Of America, Inc. | Conveyor belt assembly for identifying an asset sort location and methods of utilizing the same |
-
2018
- 2018-07-06 WO PCT/JP2018/025736 patent/WO2019064803A1/ja unknown
- 2018-07-06 US US16/648,968 patent/US11348333B2/en active Active
- 2018-07-06 JP JP2019517109A patent/JP7045621B2/ja active Active
- 2018-07-06 EP EP18862052.0A patent/EP3689792B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015145982A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体 |
JP2016150849A (ja) | 2015-02-19 | 2016-08-22 | パナソニックIpマネジメント株式会社 | 物品配送システム |
Also Published As
Publication number | Publication date |
---|---|
US11348333B2 (en) | 2022-05-31 |
EP3689792B1 (en) | 2022-04-20 |
EP3689792A1 (en) | 2020-08-05 |
US20200285850A1 (en) | 2020-09-10 |
JPWO2019064803A1 (ja) | 2020-09-03 |
WO2019064803A1 (ja) | 2019-04-04 |
EP3689792A4 (en) | 2020-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200282429A1 (en) | Package sorting system, projected instruction device, and package sorting method | |
US11369999B2 (en) | Parcel determination device, parcel sorting system, and parcel determination method | |
US11120286B2 (en) | Projection indication device, parcel sorting system, and projection indication method | |
JPWO2019064805A1 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7129617B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7045621B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
JP7129616B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7194884B2 (ja) | 荷物仕分けシステム、投影指示装置、投影指示方法 | |
JP7126065B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
JP7129614B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220214 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7045621 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |