JP7129617B2 - 投影指示装置、荷物仕分けシステムおよび投影指示方法 - Google Patents
投影指示装置、荷物仕分けシステムおよび投影指示方法 Download PDFInfo
- Publication number
- JP7129617B2 JP7129617B2 JP2019526671A JP2019526671A JP7129617B2 JP 7129617 B2 JP7129617 B2 JP 7129617B2 JP 2019526671 A JP2019526671 A JP 2019526671A JP 2019526671 A JP2019526671 A JP 2019526671A JP 7129617 B2 JP7129617 B2 JP 7129617B2
- Authority
- JP
- Japan
- Prior art keywords
- package
- image
- projection
- packages
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 4
- 230000002542 deteriorative effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 206010024796 Logorrhoea Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C7/00—Sorting by hand only e.g. of mail
- B07C7/005—Computer assisted manual sorting, e.g. for mail
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Controls And Circuits For Display Device (AREA)
- Warehouses Or Storage Devices (AREA)
Description
図1は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図1に示す荷物仕分けシステム100は、例えば物流センターに設置される。荷物仕分けシステム100は、ラベルリーダ10と、画像センサ20と、投影指示装置30と、プロジェクタ40とを備える。荷物仕分けシステム100は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業員の作業を支援するシステムである。荷物仕分けシステム100は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図1に記載したものに限定されない。例えば、一台のラベルリーダ10に複数の画像センサ20と、投影指示装置30と、プロジェクタ40を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。
図3Aは、荷物仕分けシステム100が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Mが、搬送コンベヤ50により矢印X方向に搬送されてくる各荷物Pに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて(ピックアップ)、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。
図5は、本実施形態の投影指示装置30、特に投影指示装置30のプロセッサ34が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ10による荷物のラベルのラベル記録情報の読み取り後、投影指示装置30の入力部32がラベルリーダ10から、ラベル記録情報に対応した荷物特定情報を取得する(ステップS1)。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ34は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのIDを付与し、IDを付与した時刻に対応する時刻情報とともにメモリ36に記録する(ステップS2)。メモリ36に記録するIDは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置30が新しいIDを生成して付与してもよい。
従来より、デジタルカメラの分野では、いわゆる白飛びの問題が知られている。撮影対象内における明るい撮影領域では、デジタルカメラの階調が再現できる範囲を超えると、生成画像の階調が失われ、生成画像が白色になってしまうことがある。この問題が、投影指示装置30、荷物仕分けシステム100にても生じ得る。例えば図5の例では、ステップS90で述べたように、投影指示装置30から投影画像を取得したプロジェクタ40が、当該投影画像を対応する荷物に投影する。この際、投影光により荷物が明るく照らされると、荷物の投影された領域の明るさが色画像センサ24により捉えられる明るさを超えてしまうことが生じ得る。そして、色画像に上述した白色領域が発生し(白飛びの発生)、本来の荷物の色が表現できなくなり、荷物の特定が困難となり、さらには荷物の追従ができなくなる可能性が生じ得る。
20 画像センサ
22 距離画像センサ
24 色画像センサ
30 投影指示装置
32 入力部
34 プロセッサ
36 メモリ
38 出力部
40 プロジェクタ
50 搬送コンベヤ
60 撮像投影装置
100 荷物仕分けシステム
P 荷物
Claims (9)
- 複数の荷物のセンシング情報に基づいて前記複数の荷物それぞれを追跡し、当該荷物に投影する投影画像を生成する投影指示装置であって、
プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
前記複数の荷物それぞれについて、投影画像が投影された荷物の色画像が、本来の階調ではない白色で表現された白色領域を含むか否かを判定し、
前記複数の荷物のうち前記白色領域を含むと判定された荷物を、前記センシング情報に含まれる当該荷物の距離画像に基づいて追跡し、
前記複数の荷物のうち前記白色領域を含まないと判定された荷物を、前記センシング情報に含まれる当該荷物の色画像に基づき、かつ、当該荷物の距離画像に基づかずに追跡する、
投影指示装置。 - 前記プロセッサは、前記白色領域を含むと判定された荷物についても、前記荷物を識別することが可能であれば、前記色画像に基づく荷物の追跡を継続する、
請求項1に記載の投影指示装置。 - 前記プロセッサは、前記白色領域を含むと判定された荷物についても前記色画像に基づく荷物の追跡を継続する場合、前記色画像に基づく当該荷物の追跡結果の信頼度を、前記白色領域が含まれていない場合の当該荷物の追跡結果の信頼度より下げて、前記荷物の追跡を行う、
請求項2に記載の投影指示装置。 - 前記プロセッサは、前記白色領域を含むと判定された荷物についても前記色画像に基づく荷物の追跡を継続する場合、前記荷物の色画像に含まれる前記白色領域の比率に応じて、前記色画像に基づく追跡結果と前記距離画像に基づく追跡結果のどちらにしたがって前記荷物を追跡するかを決定する、
請求項2に記載の投影指示装置。 - 前記プロセッサは、前記荷物の色画像と前記投影画像とを合成することにより、前記投影画像が投影された荷物の色画像が白色領域を含むか否かを、前記投影画像を当該荷物に投影する前に判断する、
請求項1に記載の投影指示装置。 - 前記プロセッサは、前記投影画像を前記荷物に投影する前に前記荷物の色画像が白色領域を含むと判断した場合、前記荷物の色画像に対応する前記距離画像の領域と前記荷物を識別する情報とを対応付けて管理する、
請求項5に記載の投影指示装置。 - 前記プロセッサは、前記白色領域を含むと判定された荷物を、当該荷物の距離画像のみに基づき、前記荷物を追跡する、
請求項1に記載の投影指示装置。 - 請求項1から7のいずれか1項に記載の投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記距離画像および前記色画像を取得する画像センサと、前記投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステム。
- 複数の荷物のセンシング情報に基づいて前記複数の荷物それぞれを追跡し、当該荷物に投影する投影画像を生成する投影指示方法であって、
プロセッサがメモリと協働して、
前記複数の荷物それぞれについて、投影画像が投影された荷物の色画像が、本来の階調ではない白色で表現された白色領域を含むか否かを判定し、
前記複数の荷物のうち前記白色領域を含むと判定された荷物を、前記センシング情報に含まれる当該荷物の距離画像に基づいて追跡し、
前記複数の荷物のうち前記白色領域を含まないと判定された荷物を、前記センシング情報に含まれる当該荷物の色画像に基づき、かつ、当該荷物の距離画像に基づかずに追跡する、
投影指示方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017129576 | 2017-06-30 | ||
JP2017129576 | 2017-06-30 | ||
PCT/JP2018/018945 WO2019003688A1 (ja) | 2017-06-30 | 2018-05-16 | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019003688A1 JPWO2019003688A1 (ja) | 2020-04-23 |
JP7129617B2 true JP7129617B2 (ja) | 2022-09-02 |
Family
ID=64742995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019526671A Active JP7129617B2 (ja) | 2017-06-30 | 2018-05-16 | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11250578B2 (ja) |
EP (1) | EP3647234B1 (ja) |
JP (1) | JP7129617B2 (ja) |
CN (1) | CN110785362B (ja) |
WO (1) | WO2019003688A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020175085A1 (ja) * | 2019-02-26 | 2020-09-03 | コニカミノルタ株式会社 | 画像処理装置、及び画像処理方法 |
CN110781824B (zh) * | 2019-10-25 | 2023-03-14 | 阿波罗智联(北京)科技有限公司 | 目标检测及跟踪方法、装置、电子设备及存储介质 |
CN115112508B (zh) * | 2022-08-29 | 2023-01-24 | 民航成都物流技术有限公司 | 民航机场托运行李软硬包识别装置和方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006349924A (ja) | 2005-06-15 | 2006-12-28 | Seiko Epson Corp | 画像表示装置及び画像表示方法 |
WO2015145982A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5920056A (en) * | 1997-01-23 | 1999-07-06 | United Parcel Service Of America, Inc. | Optically-guided indicia reader system for assisting in positioning a parcel on a conveyor |
US5923017A (en) * | 1997-01-23 | 1999-07-13 | United Parcel Service Of America | Moving-light indicia reader system |
US7063256B2 (en) * | 2003-03-04 | 2006-06-20 | United Parcel Service Of America | Item tracking and processing systems and methods |
US7090134B2 (en) | 2003-03-04 | 2006-08-15 | United Parcel Service Of America, Inc. | System for projecting a handling instruction onto a moving item or parcel |
US8825200B2 (en) * | 2007-11-07 | 2014-09-02 | Siemens Industry, Inc. | Method and system for tracking of items |
CA2841721C (en) * | 2013-02-07 | 2021-02-09 | Kirk Serjeantson | Package vision sort system and method |
JP6411204B2 (ja) * | 2014-12-22 | 2018-10-24 | トーヨーカネツソリューションズ株式会社 | プロジェクタ利用ピッキング装置 |
WO2016142997A1 (ja) * | 2015-03-06 | 2016-09-15 | 株式会社日立物流 | 作業支援システム、端末装置及びサーバ装置 |
US10148918B1 (en) * | 2015-04-06 | 2018-12-04 | Position Imaging, Inc. | Modular shelving systems for package tracking |
CN106358027A (zh) * | 2016-08-25 | 2017-01-25 | 深圳吉祥星科技股份有限公司 | 一种投影装置、投影方法及投影系统 |
US11481567B2 (en) * | 2018-12-21 | 2022-10-25 | Hand Held Products, Inc. | Methods and systems of package processing in a material handling environment |
-
2018
- 2018-05-16 JP JP2019526671A patent/JP7129617B2/ja active Active
- 2018-05-16 EP EP18823103.9A patent/EP3647234B1/en active Active
- 2018-05-16 US US16/624,678 patent/US11250578B2/en active Active
- 2018-05-16 WO PCT/JP2018/018945 patent/WO2019003688A1/ja active Application Filing
- 2018-05-16 CN CN201880042438.2A patent/CN110785362B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006349924A (ja) | 2005-06-15 | 2006-12-28 | Seiko Epson Corp | 画像表示装置及び画像表示方法 |
WO2015145982A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN110785362A (zh) | 2020-02-11 |
WO2019003688A1 (ja) | 2019-01-03 |
EP3647234B1 (en) | 2023-02-22 |
US11250578B2 (en) | 2022-02-15 |
CN110785362B (zh) | 2021-08-17 |
EP3647234A4 (en) | 2020-10-14 |
EP3647234A1 (en) | 2020-05-06 |
US20200111221A1 (en) | 2020-04-09 |
JPWO2019003688A1 (ja) | 2020-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3689793A1 (en) | Package sorting system, projected instruction device, and package sorting method | |
US20190084009A1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
JP7129617B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
EP3434622A1 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
US20190084008A1 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
EP3434623B1 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
EP3689791A1 (en) | Projection instruction device, package sorting system, and projection instruction method | |
JP7126066B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7129616B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7129614B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
EP3434625B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
JP7126065B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
US11348333B2 (en) | Package recognition device, package sorting system and package recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220725 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7129617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |