JP7129614B2 - 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 - Google Patents
荷物認識装置、荷物仕分けシステムおよび荷物認識方法 Download PDFInfo
- Publication number
- JP7129614B2 JP7129614B2 JP2019517102A JP2019517102A JP7129614B2 JP 7129614 B2 JP7129614 B2 JP 7129614B2 JP 2019517102 A JP2019517102 A JP 2019517102A JP 2019517102 A JP2019517102 A JP 2019517102A JP 7129614 B2 JP7129614 B2 JP 7129614B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- projection
- package
- projected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 239000003086 colorant Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010024796 Logorrhoea Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C3/00—Sorting according to destination
- B07C3/10—Apparatus characterised by the means used for detection ofthe destination
- B07C3/14—Apparatus characterised by the means used for detection ofthe destination using light-responsive detecting means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C3/00—Sorting according to destination
- B07C3/18—Devices or arrangements for indicating destination, e.g. by code marks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C7/00—Sorting by hand only e.g. of mail
- B07C7/005—Computer assisted manual sorting, e.g. for mail
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/52—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
- B65G2201/0285—Postal items, e.g. letters, parcels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/02—Control or detection
- B65G2203/0208—Control or detection relating to the transported articles
- B65G2203/0216—Codes or marks on the article
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Sorting Of Articles (AREA)
- Projection Apparatus (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
Description
また、本開示は、投影画像が投影される荷物を含む荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、一時的に前記投影画像の投影を停止するよう指示し、前記投影が停止されている間に取得された前記色画像から前記荷物の画像投影面の位置を認識する。
また、本開示は、投影画像が投影される荷物を含む荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、プロセッサがメモリと協働して、一時的に前記投影画像の投影を停止するよう指示し、前記投影が停止されている間に取得された前記色画像から前記荷物の画像投影面の位置を認識する。
図1は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図1に示す荷物仕分けシステム100は、例えば物流センターに設置される。荷物仕分けシステム100は、ラベルリーダ10と、画像センサ20と、投影指示装置30と、プロジェクタ40とを備える。荷物仕分けシステム100は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業員の作業を支援するシステムである。荷物仕分けシステム100は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図1に記載したものに限定されない。例えば、一台のラベルリーダ10に複数の画像センサ20と、投影指示装置30と、プロジェクタ40を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。
図3Aは、荷物仕分けシステム100が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Mが、搬送コンベヤ50により矢印X方向に搬送されてくる各荷物Pに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて(ピックアップ)、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。
図5は、本実施形態の投影指示装置30、特に投影指示装置30のプロセッサ34が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ10による荷物のラベルのラベル記録情報の読み取り後、投影指示装置30の入力部32がラベルリーダ10から、ラベル記録情報に対応した荷物特定情報を取得する(ステップS1)。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ34は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのIDを付与し、IDを付与した時刻に対応する時刻情報とともにメモリ36に記録する(ステップS2)。メモリ36に記録するIDは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置30が新しいIDを生成して付与してもよい。
距離画像を取得した荷物の色画像を用いて荷物の認識・追従を行う場合において、複数の荷物それぞれの色が違っていても、荷物に投影する投影色によっては、画像投影面の色が同じになってしまうことがある。この場合、それらの荷物を認識することが困難になり、荷物の追跡精度が劣化してしまう。例えば、立方体状で上面(天面)の色が「赤色」の荷物Paに対して「青色」の投影画像を投影した場合、荷物Paの画像投影面の色が「紫色」になり、同様のことを荷物Paと同様の形状で上面(天面)の色が「青色」の荷物Pbに対して「赤色」の投影画像を投影した場合、荷物Paの場合と同様に、荷物Pbの画像投影面の色が「紫色」になる。すなわち、投影後の色が、荷物Paと荷物Pb共に「紫色」になる。このようになると、荷物Paと荷物Pbの認識が困難となり、追跡ができなくなる可能性が生じ得る。
20 画像センサ
22 距離画像センサ
24 色画像センサ
30 投影指示装置
32 入力部
34 プロセッサ
36 メモリ
38 出力部
40 プロジェクタ
50 搬送コンベヤ
60 撮像投影装置
100 荷物仕分けシステム
P 荷物
Claims (9)
- 互いに異なる色を含む投影画像が投影される複数の荷物を含む色画像に基づき、前記複数の荷物それぞれを認識する荷物認識装置であって、
プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
前記複数の荷物それぞれに投影される投影画像の色を示す情報を取得し、
前記情報に基づき、前記色画像における、前記投影画像が投影された前記複数の荷物それぞれの画像投影面の色から、前記複数の荷物それぞれに投影される投影画像の色を差し引き、
差し引いて得られた色を認識対象の色として、前記複数の荷物それぞれを認識する、
荷物認識装置。 - 請求項1に記載の荷物認識装置であって、
前記荷物に前記投影画像の投影を指示する投影指示装置から、前記複数の荷物それぞれに投影される投影画像の色を示す情報を取得する、
荷物認識装置。 - 請求項1または2に記載の荷物認識装置であって、
前記プロセッサは、前記色画像における前記複数の荷物それぞれの画像投影面の位置を、過去の追跡結果から推測する、
荷物認識装置。 - 投影画像が投影される荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、
プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
一時的に前記投影画像の投影を停止するよう指示し、
前記投影が停止されている間に取得された前記色画像から前記荷物の画像投影面の位置を認識する、
荷物認識装置。 - 請求項1から4のいずれか一項に記載の荷物認識装置であって、
前記プロセッサは、距離画像に基づいて前記荷物の画像投影面の位置を認識する、
荷物認識装置。 - 請求項1から5のいずれか一項に記載の荷物認識装置であって、
前記投影画像は、前記荷物の仕分け先を示す情報を含む投影画像である、
荷物認識装置。 - 請求項1から6のいずれかに記載の荷物認識装置を含む投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記荷物を含む色画像を取得する色画像センサと、仕分け先を示す投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステム。
- 互いに異なる色を含む投影画像が投影される複数の荷物を含む色画像に基づき、前記複数の荷物それぞれを認識する荷物認識方法であって、
プロセッサがメモリと協働して、
前記複数の荷物それぞれに投影される投影画像の色を示す情報を取得し、
前記情報に基づき、前記色画像における、前記投影画像が投影された前記複数の荷物それぞれの画像投影面の色から前記投影画像の色を差し引き、
差し引いて得られた色を認識対象の色として、前記複数の荷物それぞれを認識する、
荷物認識方法。 - 投影画像が投影される荷物を含む荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、
プロセッサがメモリと協働して、
一時的に前記投影画像の投影を停止するよう指示し、
前記投影が停止されている間に取得された前記色画像から前記荷物の画像投影面の位置を認識する、
荷物認識方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017187201 | 2017-09-27 | ||
JP2017187201 | 2017-09-27 | ||
PCT/JP2018/025737 WO2019064804A1 (ja) | 2017-09-27 | 2018-07-06 | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019064804A1 JPWO2019064804A1 (ja) | 2020-09-03 |
JP7129614B2 true JP7129614B2 (ja) | 2022-09-02 |
Family
ID=65900785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019517102A Active JP7129614B2 (ja) | 2017-09-27 | 2018-07-06 | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11763482B2 (ja) |
EP (1) | EP3689789B1 (ja) |
JP (1) | JP7129614B2 (ja) |
WO (1) | WO2019064804A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114289331B (zh) * | 2021-10-20 | 2024-07-09 | 浙江菜鸟供应链管理有限公司 | 数据处理方法、装置、电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015145982A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体 |
JP2016169080A (ja) | 2015-03-12 | 2016-09-23 | パナソニックIpマネジメント株式会社 | 照明機能を有する検索システム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07210682A (ja) | 1994-01-18 | 1995-08-11 | Citizen Watch Co Ltd | 色認識装置 |
SG45100A1 (en) * | 1994-03-07 | 1998-01-16 | Ibm | Improvements in image processing |
US20030028284A1 (en) * | 2000-05-23 | 2003-02-06 | Munroe Chirnomas | Article identification |
US7090134B2 (en) | 2003-03-04 | 2006-08-15 | United Parcel Service Of America, Inc. | System for projecting a handling instruction onto a moving item or parcel |
US20050252596A1 (en) * | 2004-05-17 | 2005-11-17 | United Parcel Service Of America, Inc. | Systems and methods for sorting in a package delivery system |
JP5648298B2 (ja) * | 2010-03-15 | 2015-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP5631369B2 (ja) * | 2012-01-31 | 2014-11-26 | 東芝テック株式会社 | 情報検出装置および情報検出プログラム |
US9123214B2 (en) * | 2013-12-16 | 2015-09-01 | Teraoka Seiko Co., Ltd. | Commodity sales data processing device |
US10349023B2 (en) * | 2014-07-01 | 2019-07-09 | Sony Corporation | Image processing apparatus and method |
US10218949B2 (en) | 2015-07-08 | 2019-02-26 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP6367171B2 (ja) * | 2015-11-16 | 2018-08-01 | 株式会社東芝 | 配達支援システム、配達支援装置、及び配達支援プログラム |
JP6888349B2 (ja) * | 2017-03-16 | 2021-06-16 | 日本電気株式会社 | 集積管理装置、集積管理方法、プログラム、集積管理システム |
CN114708135A (zh) * | 2022-03-18 | 2022-07-05 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、设备、存储介质和计算机程序产品 |
-
2018
- 2018-07-06 EP EP18860440.9A patent/EP3689789B1/en active Active
- 2018-07-06 US US16/648,961 patent/US11763482B2/en active Active
- 2018-07-06 JP JP2019517102A patent/JP7129614B2/ja active Active
- 2018-07-06 WO PCT/JP2018/025737 patent/WO2019064804A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015145982A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体 |
JP2016169080A (ja) | 2015-03-12 | 2016-09-23 | パナソニックIpマネジメント株式会社 | 照明機能を有する検索システム |
Also Published As
Publication number | Publication date |
---|---|
US20200258252A1 (en) | 2020-08-13 |
US11763482B2 (en) | 2023-09-19 |
EP3689789A4 (en) | 2020-12-02 |
JPWO2019064804A1 (ja) | 2020-09-03 |
EP3689789B1 (en) | 2022-04-13 |
WO2019064804A1 (ja) | 2019-04-04 |
EP3689789A1 (en) | 2020-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200282429A1 (en) | Package sorting system, projected instruction device, and package sorting method | |
JP2017171448A (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7174898B2 (ja) | 荷物判定装置、荷物仕分けシステムおよび荷物判定方法 | |
JP2017171443A (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7129617B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7126066B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
US20200290093A1 (en) | Projection instruction device, package sorting system, and projection instruction method | |
JP7129616B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7129614B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
JP7126065B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
JP7194884B2 (ja) | 荷物仕分けシステム、投影指示装置、投影指示方法 | |
JP7045621B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
JP2017171447A (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP2020114778A (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP2017171446A (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220725 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7129614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |