JP7129614B2 - 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 - Google Patents

荷物認識装置、荷物仕分けシステムおよび荷物認識方法 Download PDF

Info

Publication number
JP7129614B2
JP7129614B2 JP2019517102A JP2019517102A JP7129614B2 JP 7129614 B2 JP7129614 B2 JP 7129614B2 JP 2019517102 A JP2019517102 A JP 2019517102A JP 2019517102 A JP2019517102 A JP 2019517102A JP 7129614 B2 JP7129614 B2 JP 7129614B2
Authority
JP
Japan
Prior art keywords
image
color
projection
package
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019517102A
Other languages
English (en)
Other versions
JPWO2019064804A1 (ja
Inventor
隆昭 守山
隆明 出良
紹二 大坪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2019064804A1 publication Critical patent/JPWO2019064804A1/ja
Application granted granted Critical
Publication of JP7129614B2 publication Critical patent/JP7129614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00Sorting according to destination
    • B07C3/10Apparatus characterised by the means used for detection ofthe destination
    • B07C3/14Apparatus characterised by the means used for detection ofthe destination using light-responsive detecting means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00Sorting according to destination
    • B07C3/18Devices or arrangements for indicating destination, e.g. by code marks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C7/00Sorting by hand only e.g. of mail
    • B07C7/005Computer assisted manual sorting, e.g. for mail
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • B65G1/04Storage devices mechanical
    • B65G1/137Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/52Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02Articles
    • B65G2201/0285Postal items, e.g. letters, parcels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • B65G2203/0216Codes or marks on the article
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Sorting Of Articles (AREA)
  • Projection Apparatus (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Description

本開示は、荷物の仕分けに有用な荷物認識装置、荷物仕分けシステムおよび荷物認識方法に関する。
近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。
特許文献1は、移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に投射して画像を荷物上に表示するシステムを開示している。
米国特許第7090134号明細書
しかしながら、昨今荷物の流通量はますます増大するとともに、荷物の種類も様々なものとなっており、荷物をより効率的かつ正確に仕分ける技術が求められている。
本開示は、荷物の仕分けをより効率的かつ正確に行うための技術に関する。
本開示は、互いに異なる色を含む投影画像が投影される複数の荷物を含む色画像に基づき、前記複数の荷物それぞれを認識する荷物認識装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記複数の荷物それぞれに投影される投影画像の色を示す情報を取得し、前記情報に基づき、前記色画像における、前記投影画像が投影された前記複数の荷物の画像投影面の色から、前記複数の荷物それぞれに投影される前記投影画像の色を差し引き、差し引いて得られた色を認識対象の色として、前記荷物を認識する。
また、本開示は、投影画像が投影される荷物を含む荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、一時的に前記投影画像の投影を停止するよう指示し、前記投影が停止されている間に取得された前記色画像から前記荷物の画像投影面の位置を認識する。
本開示は、上述の荷物認識装置を含む投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記荷物を含む色画像を取得する色画像センサと、仕分け先を示す投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステムである。
本開示は、互いに異なる色を含む投影画像が投影される複数の荷物を含む色画像に基づき、前記複数の荷物それぞれを認識する荷物認識方法であって、プロセッサがメモリと協働して、前記複数の荷物それぞれに投影される投影画像の色を示す情報を取得し、前記情報に基づき、前記色画像における、前記投影画像が投影された前記複数の荷物それぞれの画像投影面の色から、前記複数の荷物それぞれに投影される前記投影画像の色を差し引き、差し引いて得られた色を認識対象の色として、前記荷物を認識する。
また、本開示は、投影画像が投影される荷物を含む荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、プロセッサがメモリと協働して、一時的に前記投影画像の投影を停止するよう指示し、前記投影が停止されている間に取得された前記色画像から前記荷物の画像投影面の位置を認識する。
本開示によれば、荷物の仕分けをより効率的かつ正確に行うことができ、さらなる荷物の流通量の増大にも対応することができる。特に、荷物の色の違いと投影画像の色の違いによって画像投影面の色が同じになってしまう少なくとも2つの荷物があった場合でも、それらの荷物を確実に認識することができ、ひいては荷物を精度よく追跡することが可能となる。
図1は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。 図2は、実施の形態にかかる投影指示装置の構成を示すブロック図である。 図3Aは、荷物仕分けシステムが物流センターに設置され、稼働している状況を示す概念図である。 図3Bは、荷物の上面に数字を含む投影画像を投影した状態を示す図である。 図4は、実施の形態にかかる投影指示装置で生成される投影画像の一例を示す図である。 図5は、主として投影指示装置が行う動作の概要手順を示すフローチャートである。 図6は、荷物の認識処理を示すフローチャートである。
以下、適宜図面を参照しながら、本開示に係る荷物認識装置、荷物仕分けシステムおよび荷物認識方法を具体的に開示した実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
以下、図1~図6を用いて本開示の実施の形態を説明する。
[構成]
図1は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図1に示す荷物仕分けシステム100は、例えば物流センターに設置される。荷物仕分けシステム100は、ラベルリーダ10と、画像センサ20と、投影指示装置30と、プロジェクタ40とを備える。荷物仕分けシステム100は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業員の作業を支援するシステムである。荷物仕分けシステム100は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図1に記載したものに限定されない。例えば、一台のラベルリーダ10に複数の画像センサ20と、投影指示装置30と、プロジェクタ40を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。
読取装置としてのラベルリーダ10は、図示せぬレンズ、イメージセンサ等の各種の要素を含む装置である。ラベルリーダ10を用いることで、搬送コンベヤにより搬送されてくる荷物に貼付されたラベルから当該荷物に関する各種の情報を記録したラベル記録情報を読み取ることができる。読み取られたラベル記録情報を用いることで、当該荷物を特定することが可能である。読み取られた情報によって荷物特定情報が定義づけられる。
画像センサ20は、図示せぬレンズ、イメージセンサ等の各種の要素を含む撮像装置である。画像センサ20は、一般的には撮像カメラとして構成される。撮像カメラは3次元カメラ、複数台の2次元カメラなどである。画像センサ20は、距離画像センサ22と色画像センサ24とを含む。
距離画像センサ22は、搬送コンベヤにより搬送されてくる荷物を撮像し、距離画像を生成する。生成された距離画像は、荷物の位置、荷物までの距離、荷物のサイズ等を示す情報として使用される。「距離画像」とは、撮像位置から各画素が示す位置(荷物の表面を含む)までの距離を示す距離情報を収容した画像のことをいう(つまり本開示において「画像」の語は距離画像を含む)。また、「距離画像」という文言には、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものも含まれる。すなわち「距離画像」は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造は問わない。本開示において距離画像センサ22は荷物の位置を特定するために用いられる。よって距離画像センサ22は、他のセンシングデバイス(超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ)が代替することもできる。
色画像センサ24は、距離画像が生成された荷物を撮像し、色画像を生成する。「色画像」とは、荷物の表面の色を所定の階調で表現した画像のことをいい、「階調」にはRGBの256階調のみならず、グレースケール等あらゆるものが含まれる。本開示において色画像センサ24は、距離画像センサ22が特定した荷物について、各荷物を追跡するために用いられる。色画像センサ24も、他のセンシングデバイス(超音波センサ、赤外線センサ、ステレオカメラ、単眼ビデオカメラ)が代替することができる。
つまり本開示において「画像」の語は距離画像と色画像の双方を含む。本開示においては距離画像センサおよび色画像センサを含むセンシングデバイスとしての画像センサから出力される情報をセンシング情報と呼ぶ。本実施の形態においてはセンシングデバイスの一例として画像センサ20(距離画像センサ22および色画像センサ24を含む)を用いて説明を行う。また本実施の形態においては、センシング情報の例として、距離画像センサ22の出力である距離画像、色画像センサ24の出力である色画像を用いて説明を行う。
投影指示装置30は、荷物仕分けシステム100における演算装置としての役割を果たす。図2に示すように、投影指示装置30は、バスを介して接続された入力部32、プロセッサ34、メモリ36、出力部38を備える。入力部32は、ラベルリーダ10が読み込んだラベル記録情報から取得した荷物の特定が可能な荷物特定情報、距離画像センサ22が生成した距離画像、色画像センサ24が生成した色画像を受け取る。プロセッサ34は一般的な演算装置によって構成され、荷物特定情報、距離画像および色画像に基づき、荷物に投影する投影画像を生成する。記憶装置としてのメモリ36は、プロセッサ34が各種処理に必要な制御プログラムの読み込み、データの退避等の操作を行う。すなわち、プロセッサ34とメモリ36は協働して投影指示装置30による各種処理を制御する。出力部38は、プロセッサ34が生成した投影画像をプロジェクタ40に出力する。なお、本開示において「プロセッサ」は単一のプロセッサのみを意味するものではない。「プロセッサ」は、複数の同一目的のプロセッサや、目的の異なるプロセッサ(例えば、汎用CPU(Central Processing Unit)とGPU(Graphic Processing Unit))が共同して処理を行う場合の動作主体を意味する語としても使用される。
プロジェクタ40は一般的な投影装置により構成され、投影指示装置30から受信した投影画像を含む投影光を荷物に投影し、荷物上に表示する。
荷物仕分けシステム100は、ラベルリーダ10と、画像センサ20(距離画像センサ22および色画像センサ24)と、投影指示装置30と、プロジェクタ40とを有線通信または無線通信で繋ぎ合わすことにより構築できる。また、ラベルリーダ10と、画像センサ20と、投影指示装置30と、プロジェクタ40のうちいずれかの二台以上の装置を一体型の装置として構築することもできる。例えば、画像センサ20とプロジェクタ40とを合わせて、一体型の撮像投影装置として構築することもできる(図3A参照)。
[システムの概要]
図3Aは、荷物仕分けシステム100が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Mが、搬送コンベヤ50により矢印X方向に搬送されてくる各荷物Pに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて(ピックアップ)、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。
そこで本実施形態では、図3Aに示すように、搬送コンベヤ50の上方に配置されたラベルリーダ10が、搬送コンベヤ50により搬送されてくる各荷物Pに貼付されたラベルを読み取る。ラベルには、当該荷物に関する各種の情報を含むラベル記録情報が記載されている。ラベル記録情報は、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報を含む。ラベルの読み込みは、担当の作業者がラベル内のバーコードに、ラベルリーダ10としてのバーコードリーダを手で当てて読み込むことで行っても良い。
さらに画像センサ20が、搬送コンベヤ50により搬送されてくる荷物Pの画像(距離画像および色画像)を撮像し、荷物Pの位置、荷物Pまでの距離、荷物Pのサイズ(荷物Pが直方体の場合は3辺の長さ)、荷物Pの色、荷物Pの模様等の情報を取得する。尚、ラベルリーダ10、画像センサ20の配置位置や、センシングデバイスの種類、処理の順序は特に図示した形態に限定されない。上述した様に、本例では、画像センサ20とプロジェクタ40が一体型の撮像投影装置60として構築され、搬送コンベヤ50の上方に配置されている。
図3では示されていない投影指示装置30は、例えば搬送コンベヤ50の近傍や、別の部屋に配置されたコンピュータにより構成され、ラベルリーダ10が獲得した荷物を特定する情報と、画像センサ20が生成した距離画像および色画像に基づき、荷物P(荷物Pが直方体の場合は例えば上面)に表示する投影画像を生成する。投影指示装置30は投影画像を荷物Pに投影すべき投影指示をプロジェクタ40に送る。
投影指示を受けた、画像投影装置としての、プロジェクタ40は、投影指示装置30が生成した投影画像を含む投影光を荷物Pに投影し、荷物P上に投影画像を表示する。ここで荷物Pに表示される投影画像は、例えば、当該荷物Pの配送先住所に対応した仕分け場所を示す色を有する丸数字の画像である(図3B参照)。ここで、丸数字は、例えば、仕分けられた荷物Pを運ぶトラックの番号(トラック自体の番号や駐車場番号など)や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応している。また、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューターの番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため搬送コンベヤ50周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベヤ50と搬送トラック等との間にシューターを挟み、搬送コンベヤ50周辺ではシューターの番号を投影することで、搬送コンベヤ50周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することが出来る。もちろん、状況に応じて、様々な種類の投影画像が表示される。数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Pをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印(搬送コンベヤ50の搬送方向に対して右または左など)または文字(「左」「右」など)であってもよい。更に、表示の形態も丸数字に限られるものではなく、図4で示すような四角で囲んだ数字(“3”、“359”、“24735”)など様々なものが考えられる。さらに、投影画像は、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸・三角・四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。また、投影画像は静止画像に限らず、アニメーションであっても構わない。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりすることなど考えられる。また、仕分け方向を反映したアニメーションを投影しても構わない。仕分け方向を反映したアニメーションの例としては、例えば、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影画像の全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示するなど、さまざまなものが考えられる。投影画像の一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させることなどが考えられる。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。なお、本開示において「画像投影装置」とは光線を直接荷物に投影するものに限定されない。本開示において「画像投影装置」には画像を表示可能な眼鏡も含む。つまり本開示において、荷物に投影光を投影する、荷物に画像を表示する、荷物に画像を投影する、などと表現した場合は、その表現は画像を表示可能な眼鏡を介して、擬似的に、荷物に投影光が投影されているかのように作業者に認識させることも含む。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物Pの像に、ここでの投影画像を重ねあわせてもよい。
図3Aにおいて、搬送コンベヤ50の脇には、荷物を拾い上げる担当の作業者M(他の作業者は省略)が立っており、それぞれの担当の領域に到達した荷物を、丸数字1、丸数字2、丸数字3等で示すように搬送コンベヤ50から拾い上げる。
例えば荷物P1はラベルに「AAA111」の荷物特定情報を持っており、「AAA111」の荷物特定情報は領域Aで仕分けの対象になる旨が特定されているとする。そこで、プロセッサ34は、荷物P1が特定領域に到着したら、図3Bに示すように生成した投影画像をプロジェクタ40に送信する。そして、プロジェクタ40は投影画像を荷物P1に投影する。よって、当該領域の作業者は、自身が担当する特定領域に到着した自身が拾い上げるべき荷物P1に容易に着目することが可能となり、結果的に荷物の仕分けをより効率的かつ正確に行うことが可能となる。
本実施形態では、図3Aに示すように1台のプロジェクタ40に対して、複数の特定領域の投影の有無を切り替えさせてもよく、複数台のプロジェクタ40に対して、それぞれ担当の特定領域における投影の有無を切り替えさせてもよい。
以下、実施形態の荷物仕分けシステム100において、投影指示装置30が行う荷物仕分けの動作の概要を説明する。
[動作の概要]
図5は、本実施形態の投影指示装置30、特に投影指示装置30のプロセッサ34が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ10による荷物のラベルのラベル記録情報の読み取り後、投影指示装置30の入力部32がラベルリーダ10から、ラベル記録情報に対応した荷物特定情報を取得する(ステップS1)。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ34は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのIDを付与し、IDを付与した時刻に対応する時刻情報とともにメモリ36に記録する(ステップS2)。メモリ36に記録するIDは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置30が新しいIDを生成して付与してもよい。
一方、ステップS1およびステップS2と並行して、画像センサ20の距離画像センサ22による荷物の距離画像の撮像後、投影指示装置30の入力部32が距離画像センサ22からセンシング情報としての距離画像を取得する(ステップS20)。プロセッサ34は、当該距離画像に存在する荷物に対応するIDがメモリ36に存在するか否かを判定する。
当該距離画像に存在する荷物に対応するIDがメモリ36に存在するか否かを判定する手法の一例としては、次のような手順によることが挙げられる。すなわち、プロセッサ34は、ラベルリーダ10と距離画像センサ22との間の距離(既知とする)、および搬送コンベヤ50の速度から、荷物がラベルリーダ10と距離画像センサ22の間を移動するために要する時間を計算する。そして、距離画像を取得した時刻から当該時間を引くことで、距離画像に存在する荷物がラベルリーダ10(およびプロセッサ34)によりIDを付与された時刻が推定できる。そして、当該推定した時刻に近接して付与されたIDが、当該距離画像に存在する荷物に対応するIDであると推定できる。また、他の一例としては、ラベルリーダ10近辺に他の距離画像センサを設置する手法が挙げられる。すなわち、ラベルリーダ10がID(およびプロセッサ34)を付与した時から、ラベルリーダ10近辺に設置した他の距離画像センサを用いて当該IDが付与された荷物を追跡することで、時刻毎に当該荷物(およびID)とラベルリーダ10との距離を計測する。プロセッサ34は計測された荷物(およびID)とラベルリーダ10との距離と、ステップS20で取得された距離画像における荷物の距離と、2つの距離画像センサとの距離(既知とする)から所定のステップS20で取得された距離画像における荷物のIDを推定することができる。
このようにして、プロセッサ34は当該距離画像に含まれる荷物に対応するIDがメモリ36に存在するか否かを判定する(ステップS30)。すなわち、ステップS2で述べたように、メモリ36には、荷物特定情報、ID、IDを付与した時刻に対応する時刻情報が予め記録されている。一方、プロセッサ34は、例えば上述したように、距離画像を取得した時刻から荷物がラベルリーダ10と距離画像センサ22の間を移動するために要する時間を引くことで、距離画像に存在する荷物がラベルリーダ10(およびプロセッサ34)によりIDを付与された時刻が推定できる。プロセッサ34は、予めメモリ36に記録された時刻情報と推定した時刻とを比較し、これらの値が近い場合は(例えば時間差が所定の閾値時間以下の場合など)、距離画像に含まれる荷物に対応するIDがメモリ36に存在すると判定することができる。メモリ36に荷物に対応するIDが存在すると判定した場合(ステップS30;Yes)、ステップS60以降の処理に進む。
メモリ36に荷物に対応するIDが存在しないと判定した場合(ステップS30;No)、プロセッサ34は、当該荷物にIDが付与されていないことを前提として、当該荷物の位置を改めて特定し(ステップS40)、荷物にIDを付与する(ステップS50)。
上述のステップと並行して、色画像センサ24は、距離画像を取得した各荷物の色画像を生成する。そして、プロセッサ34は、入力部32が取得する色画像センサ24からの色画像に基づき、搬送コンベヤ50により搬送されて移動するID付きの荷物を追跡する(ステップS60)。そして、プロセッサ34は、同じく色画像に基づき、追跡していた荷物が作業者により拾い上げられたか否かを判定する(ステップS70)。荷物が作業者により拾い上げられていないと判定した場合(ステップS70;No)、プロセッサ34は、荷物が、後述する特定領域(その荷物が拾い上げられるべき所定の仕分けエリア)に存在するか否かを判定する。そして、荷物が特定領域に存在する(到達した)と判定した場合(ステップS80;Yes)、プロセッサ34は投影画像を生成し、プロジェクタ40に送信する(ステップS90)。荷物が特定領域に存在する(到達した)と判定しない場合(ステップS80;No)、ステップS60に戻り、プロセッサ34は、荷物の追跡を続行する。
また、ステップS70で、荷物が作業者により拾い上げられたと判定した場合(ステップS70;Yes)、プロセッサ34は、荷物の詳細情報をメモリ36から読み出し(ステップS100)、詳細情報を含む投影画像を生成し、出力部38が生成した投影画像をプロジェクタ40に出力する(ステップS90)。投影指示装置30から投影画像を取得したプロジェクタ40は、当該投影画像を対応する荷物に投影する。
以上は、投影指示装置30のプロセッサ34等が行う動作手順の概略というべきものである。もちろん、動作手順は上述したものには限定されない。例えば、ステップS70の判定等は省略することも可能である。また、ステップS70の判定の実施には、作業者の手と荷物との接触判定や、色画像、距離画像等を利用することも可能である。以下、さらに各処理の詳細な手順について説明する。
[荷物の認識に用いる認識対象色の生成]
距離画像を取得した荷物の色画像を用いて荷物の認識・追従を行う場合において、複数の荷物それぞれの色が違っていても、荷物に投影する投影色によっては、画像投影面の色が同じになってしまうことがある。この場合、それらの荷物を認識することが困難になり、荷物の追跡精度が劣化してしまう。例えば、立方体状で上面(天面)の色が「赤色」の荷物Paに対して「青色」の投影画像を投影した場合、荷物Paの画像投影面の色が「紫色」になり、同様のことを荷物Paと同様の形状で上面(天面)の色が「青色」の荷物Pbに対して「赤色」の投影画像を投影した場合、荷物Paの場合と同様に、荷物Pbの画像投影面の色が「紫色」になる。すなわち、投影後の色が、荷物Paと荷物Pb共に「紫色」になる。このようになると、荷物Paと荷物Pbの認識が困難となり、追跡ができなくなる可能性が生じ得る。
そこで、本開示では、図5のステップS60において、色画像における、投影画像が投影された荷物の画像投影面の色から投影画像の色を差し引き、差し引いて得られた色を認識対象の色とすることで、荷物の認識を確実に行えるようにして、荷物の追跡を可能なものにする。
すなわち、プロセッサ34は、センシング情報に含まれる荷物の色画像における、投影画像が投影された荷物の画像投影面の色から投影画像の色を差し引く。次いで、差し引いて得られた色を認識対象の色とする。例えば、上述したように、立方体状で上面の色が「赤色」の荷物Paに対して「青色」の投影画像を投影した場合、荷物Paの画像投影面の色が「紫色」になるが、投影後の色である「紫色」から投影色である「青色」を差し引くことで「赤色」が得られ、この「赤色」が新たな認識対象の色となる。また、荷物Paと同様の形状で上面の色が「青色」の荷物Pbに対して「赤色」の投影画像を投影した場合、荷物Pbの画像投影面の色が「紫色」になるが、投影後の色である「紫色」から投影色である「赤色」を差し引くことで「青色」が得られ、この「青色」が新たな認識対象の色となる。このように、荷物Paの認識対象の色は「赤色」となり、荷物Pbの認識対象の色は「青色」となるので、荷物Pa,Pbを確実に認識することができる。
なお、プロセッサ34が画像投影面の色から投影色を差し引くためには、色画像における荷物Pa,Pbの画像投影面の位置と、各荷物に投影される投影画像との対応関係を知る必要がある。ここで、各荷物の画像投影面の位置は、例えば、前の時刻において追跡している荷物の位置から現時刻における各荷物の画像投影面の位置を推測することで知ることができる。上述の通り、投影画像が投影開始後の状態では、投影画像の色と荷物の色が混ざるため、追跡ミスが発生しやすくなるが、少なくとも各荷物が正しく認識され、投影画像が投影される前の時点であれば画像投影面の正しい位置は認識できる。そこで、その時点で各荷物の位置を認識し、以降のタイミングにおいては投影画像の色を差し引いて追跡することにより、画像投影面の位置を正しく追跡し続けることができる。また、各荷物に対して投影する投影画像は投影指示装置30にて生成するため、荷物と投影画像との対応関係は投影指示装置30から取得することができる。なお、本開示は、色画像から投影画像の色を差し引く構造であるため、プロセッサ34は、少なくとも投影画像の色の情報を投影指示装置30から取得すればよい。ただし、投影画像が模様や文字など複雑な内容を含んでいる場合は、投影画像そのものの情報を取得して差し引く方が追跡の精度が向上する場合もある。
荷物の色は様々であり、また投影画像の色も様々であるため、荷物の色と投影画像の色の組み合わせによっては、画像投影面の色が同じになる荷物が複数存在することがあり得るが、荷物の画像投影面の色から投影画像の色を差し引く処理を行うことで、各荷物を確実に認識することができる。
図6は、上述の処理に対応したフローの一例である。ここで示すフローは、図5における概要手順のフローチャートの中で、ステップS60における処理のサブ処理(サブルーチン)である荷物認識処理を示す。すなわち、プロセッサ34は、まず色画像センサ24から荷物を含む色画像を取得する(ステップS301)。次いで、プロセッサ34は、荷物に投影画像が投影されている状況下で、色画像における、投影画像が投影された荷物の画像投影面の色から投影画像の色を差し引く(ステップS302)。例えば、上述したように、「赤色」の荷物Paに対して「青色」の投影画像が投影された場合には、画像投影面の「紫色」から「青色」を差し引き、「青色」の荷物Pbに対して「赤色」の投影画像が投影された場合には、画像投影面の「紫色」から「赤色」を差し引く。
プロセッサ34は、荷物における画像投影面の色から投影画像の色を差し引いた後、差し引いて得られた色を認識対象の色として、荷物を認識する(ステップS303)。例えば、上述したように、荷物Paにおいては「赤色」を認識対象の色として認識し、荷物Pbにおいては「青色」を認識対象の色として認識する。
プロセッサ34は、上記サブ処理を行って荷物を認識した後、該荷物を追跡する処理を行う。
上述したように、本開示によれば、荷物の色の違いと投影画像の色の違いによって画像投影面の色が同じになってしまう少なくとも2つの荷物があった場合でも、それらの荷物を確実に認識することができ、ひいては荷物を精度よく追跡することが可能となる。
なお、投影画像が投影された荷物の画像投影面の色は、色画像センサ24で捉えたときに、周辺の環境光(明るさ等)により左右される場合がある。この場合、環境光に応じて、投影色のRGBに係数を掛けて、それを投影画像が投影された荷物の画像投影面の色から差し引くようにしてもよい。
また、投影画像が投影された荷物の画像投影面の色は、色画像センサ24で捉えたときに、荷物の光の反射率により左右される場合がある。極端な例として、荷物の画像投影面が鏡面である場合、投影色がそのまま色画像センサ24に捉えられる形になる。この反射率は荷物の画像投影面の素材によって変わってくるものであり、例えば物流拠点などでは、段ボール素材のものが多いので、それに合わせた係数を投影色のRGBに掛けて、投影画像が投影された荷物の画像投影面の色から差し引くようにしてもよい。
以上、図面を参照して本開示に係る荷物認識装置、荷物仕分けシステムおよび荷物認識方法の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
本開示では、各荷物の画像投影面の位置は、前時刻における追跡結果から推測するものとしたが、この構成では、一度追跡ミスが発生すると、それ以降、追跡ミスが発生し続けてしまうおそれがある。そこで、例えば、荷物認識装置からの指示により、一時的に投影を停止することによって正しい荷物の位置を再認識する構成にしても良い。この場合、投影を定期的に停止しても構わないし、追跡できている荷物の数が所定の閾値を下回るなど追跡ミスが発生している可能性が高いと判断される場合に停止するなどとしてもよい。なお、投影が停止されている間は作業者に対して荷物の仕分け方向を指示することができなくなるが、荷物の位置の再認識に要する時間は数フレームで十分であるため、仕分け作業に大きな影響が出る可能性は低い。
また、色画像に基づく追跡のみではなく距離画像に基づく追跡を併用してもよい。投影画像と荷物の色とが混ざることによる追跡ミスは色画像に基づく追跡を行うことで発生するため、投影画像の色と荷物の色との関係は距離画像に基づく追跡には影響しない。なお、距離画像単独による追跡は、色画像による追跡よりも精度が落ちるが、色画像による追跡を補完する用途であれば十分に実用的である。例えば、投影画像の色と荷物の色とが混ざることによって複数の荷物が同じ色として認識されるおそれがあっても、荷物の3次元形状が異なっていれば距離画像によって、それぞれの荷物を区別することができる。なお、一度荷物を認識できれば、以降は、本開示の手法により、投影画像の色を色画像から差し引くことによってそれぞれの荷物を追跡することができるので、それ以降のタイミングで距離画像による追跡ミスが発生してもシステム全体の精度への影響は少ない。
本開示は、荷物の色の違いと投影画像の色の違いによって画像投影面の色が同じになってしまう少なくとも2つの荷物があった場合でも、それらの荷物を確実に認識することができる荷物認識装置、荷物仕分けシステムおよび荷物認識方法の提供に有用である。
10 ラベルリーダ
20 画像センサ
22 距離画像センサ
24 色画像センサ
30 投影指示装置
32 入力部
34 プロセッサ
36 メモリ
38 出力部
40 プロジェクタ
50 搬送コンベヤ
60 撮像投影装置
100 荷物仕分けシステム
P 荷物

Claims (9)

  1. 互いに異なる色を含む投影画像が投影される複数の荷物を含む色画像に基づき、前記複数の荷物それぞれを認識する荷物認識装置であって、
    プロセッサと、
    メモリと、を備え、
    前記プロセッサは、前記メモリと協働して、
    前記複数の荷物それぞれに投影される投影画像の色を示す情報を取得し、
    前記情報に基づき、前記色画像における、前記投影画像が投影された前記複数の荷物それぞれの画像投影面の色から、前記複数の荷物それぞれに投影される投影画像の色を差し引き、
    差し引いて得られた色を認識対象の色として、前記複数の荷物それぞれを認識する、
    荷物認識装置。
  2. 請求項1に記載の荷物認識装置であって、
    前記荷物に前記投影画像の投影を指示する投影指示装置から、前記複数の荷物それぞれに投影される投影画像の色を示す情報を取得する
    荷物認識装置。
  3. 請求項1または2に記載の荷物認識装置であって、
    前記プロセッサは、前記色画像における前記複数の荷物それぞれの画像投影面の位置を、過去の追跡結果から推測する、
    荷物認識装置。
  4. 投影画像が投影される荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、
    プロセッサと、
    メモリと、を備え、
    前記プロセッサは、前記メモリと協働して、
    時的に前記投影画像の投影を停止するよう指示し、
    前記投影が停止されている間に取得された前記色画像から前記荷物の画像投影面の位置を認識する、
    荷物認識装置。
  5. 請求項1から4のいずれか一項に記載の荷物認識装置であって、
    前記プロセッサは、距離画像に基づいて前記荷物の画像投影面の位置を認識する、
    荷物認識装置。
  6. 請求項1から5のいずれか一項に記載の荷物認識装置であって、
    前記投影画像は、前記荷物の仕分け先を示す情報を含む投影画像である、
    荷物認識装置。
  7. 請求項1から6のいずれかに記載の荷物認識装置を含む投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記荷物を含む色画像を取得する色画像センサと、仕分け先を示す投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステム。
  8. 互いに異なる色を含む投影画像が投影される複数の荷物を含む色画像に基づき、前記複数の荷物それぞれを認識する荷物認識方法であって、
    プロセッサがメモリと協働して、
    前記複数の荷物それぞれに投影される投影画像の色を示す情報を取得し、
    前記情報に基づき、前記色画像における、前記投影画像が投影された前記複数の荷物それぞれの画像投影面の色から前記投影画像の色を差し引き、
    差し引いて得られた色を認識対象の色として、前記複数の荷物それぞれを認識する、
    荷物認識方法。
  9. 投影画像が投影される荷物を含む荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、
    プロセッサがメモリと協働して、
    一時的に前記投影画像の投影を停止するよう指示し、
    前記投影が停止されている間に取得された前記色画像から前記荷物の画像投影面の位置を認識する、
    荷物認識方法。
JP2019517102A 2017-09-27 2018-07-06 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 Active JP7129614B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017187201 2017-09-27
JP2017187201 2017-09-27
PCT/JP2018/025737 WO2019064804A1 (ja) 2017-09-27 2018-07-06 荷物認識装置、荷物仕分けシステムおよび荷物認識方法

Publications (2)

Publication Number Publication Date
JPWO2019064804A1 JPWO2019064804A1 (ja) 2020-09-03
JP7129614B2 true JP7129614B2 (ja) 2022-09-02

Family

ID=65900785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019517102A Active JP7129614B2 (ja) 2017-09-27 2018-07-06 荷物認識装置、荷物仕分けシステムおよび荷物認識方法

Country Status (4)

Country Link
US (1) US11763482B2 (ja)
EP (1) EP3689789B1 (ja)
JP (1) JP7129614B2 (ja)
WO (1) WO2019064804A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114289331B (zh) * 2021-10-20 2024-07-09 浙江菜鸟供应链管理有限公司 数据处理方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145982A1 (ja) 2014-03-28 2015-10-01 日本電気株式会社 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体
JP2016169080A (ja) 2015-03-12 2016-09-23 パナソニックIpマネジメント株式会社 照明機能を有する検索システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210682A (ja) 1994-01-18 1995-08-11 Citizen Watch Co Ltd 色認識装置
SG45100A1 (en) * 1994-03-07 1998-01-16 Ibm Improvements in image processing
US20030028284A1 (en) * 2000-05-23 2003-02-06 Munroe Chirnomas Article identification
US7090134B2 (en) 2003-03-04 2006-08-15 United Parcel Service Of America, Inc. System for projecting a handling instruction onto a moving item or parcel
US20050252596A1 (en) * 2004-05-17 2005-11-17 United Parcel Service Of America, Inc. Systems and methods for sorting in a package delivery system
JP5648298B2 (ja) * 2010-03-15 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5631369B2 (ja) * 2012-01-31 2014-11-26 東芝テック株式会社 情報検出装置および情報検出プログラム
US9123214B2 (en) * 2013-12-16 2015-09-01 Teraoka Seiko Co., Ltd. Commodity sales data processing device
US10349023B2 (en) * 2014-07-01 2019-07-09 Sony Corporation Image processing apparatus and method
US10218949B2 (en) 2015-07-08 2019-02-26 Sony Corporation Information processing apparatus, information processing method, and program
JP6367171B2 (ja) * 2015-11-16 2018-08-01 株式会社東芝 配達支援システム、配達支援装置、及び配達支援プログラム
JP6888349B2 (ja) * 2017-03-16 2021-06-16 日本電気株式会社 集積管理装置、集積管理方法、プログラム、集積管理システム
CN114708135A (zh) * 2022-03-18 2022-07-05 北京达佳互联信息技术有限公司 图像处理方法、装置、设备、存储介质和计算机程序产品

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145982A1 (ja) 2014-03-28 2015-10-01 日本電気株式会社 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体
JP2016169080A (ja) 2015-03-12 2016-09-23 パナソニックIpマネジメント株式会社 照明機能を有する検索システム

Also Published As

Publication number Publication date
US20200258252A1 (en) 2020-08-13
US11763482B2 (en) 2023-09-19
EP3689789A4 (en) 2020-12-02
JPWO2019064804A1 (ja) 2020-09-03
EP3689789B1 (en) 2022-04-13
WO2019064804A1 (ja) 2019-04-04
EP3689789A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
US20200282429A1 (en) Package sorting system, projected instruction device, and package sorting method
JP2017171448A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP7174898B2 (ja) 荷物判定装置、荷物仕分けシステムおよび荷物判定方法
JP2017171443A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP7129617B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP7126066B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
US20200290093A1 (en) Projection instruction device, package sorting system, and projection instruction method
JP7129616B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP7129614B2 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
JP7126065B2 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
JP7194884B2 (ja) 荷物仕分けシステム、投影指示装置、投影指示方法
JP7045621B2 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
JP2017171447A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP2020114778A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP2017171446A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220725

R151 Written notification of patent or utility model registration

Ref document number: 7129614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151