JP7067410B2 - ラベル読取システム - Google Patents

ラベル読取システム Download PDF

Info

Publication number
JP7067410B2
JP7067410B2 JP2018194049A JP2018194049A JP7067410B2 JP 7067410 B2 JP7067410 B2 JP 7067410B2 JP 2018194049 A JP2018194049 A JP 2018194049A JP 2018194049 A JP2018194049 A JP 2018194049A JP 7067410 B2 JP7067410 B2 JP 7067410B2
Authority
JP
Japan
Prior art keywords
label
information
code
image
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018194049A
Other languages
English (en)
Other versions
JP2020064334A (ja
Inventor
大治 曽根
勝彦 長澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018194049A priority Critical patent/JP7067410B2/ja
Priority to US16/574,272 priority patent/US10984207B2/en
Priority to CN201910946753.4A priority patent/CN111046983B/zh
Publication of JP2020064334A publication Critical patent/JP2020064334A/ja
Application granted granted Critical
Publication of JP7067410B2 publication Critical patent/JP7067410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G06K7/10871Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels randomly oriented data-fields, code-marks therefore, e.g. concentric circles-code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Warehouses Or Storage Devices (AREA)

Description

本発明はラベル読取システムに係る。特に、本発明は、搬送車両によって搬送されている複数の荷物それぞれに付与されたラベルを読み取るためのシステムに関する。
従来、工場(例えば自動車の生産工場)に納入される複数の荷物(例えば部品を収容した部品箱)には、その収容した部品の種類や個数等の情報が書き込まれたラベルが付与されている。このラベルには、例えばバーコードやQRコード(登録商標)が描かれており、荷物が納入された際に、このバーコードやQRコードをスキャナ等によって読み取ることで前記情報を取得し、部品が適正に納入されたか否かを検査している。これにより、部品の欠品等を未然に防止することができる。
特許文献1には、パレット上に載置された複数の荷物(以下、この荷物の載置形態をスキッドと呼ぶ)それぞれに、部品の種類や個数等の情報が書き込まれたICタグを付与しておき、前記スキッドをトラックやフォークリフト等の搬送車両で搬送しながらタグリーダのゲートに通過させ、該タグリーダによって各荷物それぞれのICタグの情報を取得することが開示されている。
特開2006-27773号公報
前述したようにスキッドを搬送しながら複数の荷物それぞれのラベルを読み取るようにした場合、全ての荷物のラベルを適正に読み取って情報を取得することができる保証はない。また、搬送車両によって一度に搬送する荷物の数は常に同数である可能性は低い。このため、複数の荷物のラベルを読み取った場合に、その情報の数(ラベルを読み取ることによって情報が適正に取得された荷物の数)が、搬送されている全ての荷物の数に一致しているか否かを適正に判断することはできない。例えば情報が適正に取得された荷物の数が48個であった場合に、実際に搬送されている荷物の数が48個であるのか、若しくは、例えば50個の荷物が搬送されているがそのうち2個の荷物の情報を適正に取得することができなかったのかを判別することはできない。更に、情報が適正に取得されなかった荷物が存在する場合に、その荷物は荷山(スキッドにおける荷山)のうちの何れの荷物であるかを特定することもできない。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、情報が適正に取得されなかった荷物の数およびその荷物の特定を可能にするラベル読取システムを提供することにある。
前記の目的を達成するための本発明の解決手段は、搬送車両に載置された複数の荷物における前記搬送車両の走行方向に沿う方向に延在する面にそれぞれ付与されたラベルを、前記搬送車両をラベル読取エリアに通過させて読み取るラベル読取システムを前提とする。そして、このラベル読取システムは、前記ラベル読取エリアに設置され、前記複数の荷物それぞれに付与された前記ラベルのうちの一部のラベルの撮影が可能なラベル撮影手段を複数備え、前記複数の荷物が前記ラベル読取エリアを通過した際にこれら複数の荷物の全てのラベルを撮影可能な構成とされたラベル撮影手段群と、前記ラベル撮影手段群の前記複数のラベル撮影手段によって撮影された複数の画像の情報から、前記搬送車両に載置されている複数の荷物に対して、ラベルの情報が適正に取得された旨の情報またはラベルの情報が適正に取得されなかった旨の情報を割り当て、該割り当てた各荷物の情報を、前記複数の荷物を表示した画像上において該当する荷物に重ねて表示するラベル情報集約表示手段とを備えていることを特徴とする。
ここでいう「複数の荷物の全てのラベル」とは、撮影手段群の各ラベル撮影手段によって撮影される側(例えばスキッドの一方の側面側)に位置する複数の荷物にそれぞれ付与されたラベルをいう。
この特定事項により、複数の荷物を載置した搬送車両がラベル読取エリアを通過すると、各荷物に付与されたラベルをラベル撮影手段群の各ラベル撮影手段が撮影する。そして、前記複数の荷物がラベル読取エリアを通過した際には、これら複数の荷物の全てのラベルが撮影されることになる。そして、この場合、ラベルの情報が適正に取得された荷物と、ラベルの情報を適正に取得することができなかった荷物とが存在する可能性がある。そして、ラベル情報集約表示手段は、複数のラベル撮影手段によって撮影された複数の画像の情報から、複数の荷物に対して、ラベルの情報が適正に取得された旨の情報またはラベルの情報が適正に取得されなかった旨の情報を割り当て、該割り当てた各荷物の情報を、前記複数の荷物を表示した画像上において該当する荷物に重ねて表示する。これにより、作業者は、この複数の荷物を表示した画像を目視することで、ラベルの情報が適正に取得されなかった荷物を容易に認識することができる。
また、前記搬送車両に載置された複数の荷物を1つの画像として撮影する荷山撮影手段を備えさせ、前記ラベル情報集約表示手段が、前記荷山撮影手段が撮影した複数の荷物を表示した画像上において、前記ラベルの情報が適正に取得された旨の情報または前記ラベルの情報が適正に取得されなかった旨の情報を割り当てた各荷物の情報を、該当する荷物に重ねて表示する構成となっていることが好ましい。
これによれば、複数のラベル撮影手段それぞれによって、各ラベルを高い精度で読み取ることを可能にしながらも、荷山撮影手段によって、複数の荷物を表示した画像を容易に取得することができる。つまり、各ラベルを読み取ってその情報を取得するための手段と、複数の荷物を表示した画像を取得するための手段とを個別に設けることで(手段の機能分けを図ることによって)ラベル読取システムの実用性を高めることができる。
また、前記ラベル情報集約表示手段は、前記ラベル撮影手段群の前記各ラベル撮影手段によって撮影された各荷物の画像を座標上に並べてそれら各荷物におけるラベルの情報表示箇所の座標点を、前記荷山撮影手段によって撮影された複数の荷物を表示する画像上における各荷物のラベルの情報表示箇所の座標点に変換する座標点変換処理を行うことにより、前記ラベルの情報が適正に取得された旨の情報または前記ラベルの情報が適正に取得されなかった旨の情報を、前記複数の荷物を表示した画像上に重ねて表示する構成となっていることが好ましい。
このような座標点変換処理を行うことにより、複数の荷物を表示した画像上に、ラベルの情報が適正に取得された旨の情報またはラベルの情報が適正に取得されなかった旨の情報を重ねて表示する処理の簡素化を図ることができ、これによってもラベル読取システムの実用性を高めることができる。
この場合に、前記搬送車両には、その走行方向に沿う方向に亘って複数の荷物が載置されており、該搬送車両の走行に伴って前記ラベル撮影手段における撮影範囲に前記複数の荷物が順次移動してくることによって、該ラベル撮影手段が、前記複数の荷物それぞれに付与された前記ラベルを順次撮影するようになっており、前記座標点変換処理は、前記搬送車両の走行速度をパラメータの一つとする演算式によって、前記各ラベル撮影手段によって撮影された各荷物におけるラベルの情報表示箇所の座標点を、前記荷山撮影手段によって撮影された複数の荷物を表示する画像上における各荷物のラベルの情報表示箇所の座標点に変換するものであることが好ましい。
これによれば、一つのラベル撮影手段によって、搬送車両の走行方向に沿う方向に亘って載置された複数の荷物それぞれに付与されたラベルを読み取ることができる。また、搬送車両の走行速度をパラメータの一つとする座標点変換処理によって各荷物のラベルの情報表示箇所の座標点を変換することが可能になる。
また、前記ラベル撮影手段群における前記各ラベル撮影手段は、鉛直方向に沿って複数が配設されており、それぞれのラベル撮影手段における撮影視野は鉛直方向で互いに異なっており、最下部に位置しているラベル撮影手段は、段積みされた複数の荷物における少なくとも最下段の荷物に付与されたラベルの撮影を行う一方、最上部に位置しているラベル撮影手段は、段積みされた複数の荷物における少なくとも最上段の荷物に付与されたラベルの撮影を行う構成とされていることが好ましい。
これによれば、段積みされた複数の荷物に対し、その最下段の荷物に付与されたラベルおよび最上段の荷物に付与されたラベルを含む全てのラベルの撮影を何れかのラベル撮影手段によって良好に行うことができる。
また、前記ラベル情報集約表示手段は、前記ラベル撮影手段群の前記複数のラベル撮影手段によって撮影された複数の画像を、同一ラベルを互いに重ね合わせることで、同一ラベルが画像上で重複しないような画像の合成処理を行って、複数の荷物を表示した画像を作成し、当該画像上において、前記ラベルの情報が適正に取得された旨の情報または前記ラベルの情報が適正に取得されなかった旨の情報を割り当てた各荷物の情報を、該当する荷物に重ねて表示する構成となっていてもよい。
これによれば、前述した座標点変換処理を必要とすることなく、ラベルの情報が適正に取得されなかった荷物を認識可能とする画像(ラベルの情報が適正に取得された旨の情報またはラベルの情報が適正に取得されなかった旨の情報を割り当てた各荷物の情報を重ねて表示した画像)を作成するための処理の簡素化を図ることができる。
本発明では、ラベル撮影手段群の複数のラベル撮影手段によって撮影された複数の画像の情報から、搬送車両に載置されている複数の荷物に対して、ラベルの情報が適正に取得された旨の情報またはラベルの情報が適正に取得されなかった旨の情報を割り当て、該割り当てた各荷物の情報を、前記複数の荷物を表示した画像上において該当する荷物に重ねて表示するようにしている。このため、作業者は、この複数の荷物を表示した画像を目視することで、ラベルの情報が適正に取得されなかった荷物を容易に認識することができる。
第1実施形態に係るラベル読取システムの概略構成を示す図である。 一方側のQRコード撮影ユニットにおける各カメラの鉛直方向での撮影範囲を説明するための図である。 パレット上における複数の部品箱の載置形態の一例を示す図である。 QRコード撮影ユニットの各カメラそれぞれによって撮影された画像を撮影順に示す図である。 QRコード撮影ユニットの各カメラそれぞれによって撮影された画像をx-y座標上に並べて示す図である。 荷山撮影ユニットのカメラによって撮影された荷山全体の画像を示す図である。 フォークリフトが各距離センサの前を通過している状態を示す図である。 各距離センサによるフォークリフト検知タイミングを示す図である。 読取不良ラベル特定処理の手順を示すフローチャート図である。 読取不良ラベル特定処理によって得られた読取不良ラベル特定画像を示す図である。 第2実施形態においてQRコード撮影ユニットにおける1台のカメラによって撮影された画像を撮影順に示す図である。 撮影順がN回目の画像とN+α回目の画像とを並べて示す図である。 QRコード1辺のピクセル数と1画素の長さとの関係を示す図である。 第3実施形態においてフォークリフトに付与された複数のQRコードおよびその周辺部を示す図である。 フォークリフトに付与された第1および第2のQRコードを撮影した画像を示す図である。 第3実施形態においてフォークリフトの速度を算出する手順を説明するための図である。 第4実施形態において得られた読取不良ラベル特定画像を示す図である。
以下、本発明の実施の形態を図面に基づいて説明する。本実施形態は、自動車の生産工場において、納入された複数の荷物(部品を収容した部品箱)に付与されているラベル上のQRコード(登録商標)を読み取るシステムとして本発明を適用した場合について説明する。
より具体的に、部品は、仕入先または物流中継地からトラックによって生産工場の構内に納入される。納入される部品の荷姿は、その部品が収容された複数の部品箱をパレット上に載置したスキッドの形態になっている(図3を参照)。本実施形態に係るラベル読取システムは、このスキッドSkを、フォークリフト10(図1を参照)によって搬送しながら、各部品箱2,2,…の側面に付与されているラベルLa,La,…上のQRコード(本発明でいうラベルの情報表示箇所)QRC,QRC,…を読み取ることで、各部品箱2,2,…それぞれに収容されている部品の種類や個数等の情報を取得し、部品が適正に納入されたか否かを検査するためのものである。そして、検査終了後のスキッドSkは、生産工場内に設置されたスキッドシュータ等に向けてフォークリフト(搬送車両)10によって搬送されることになる。
以下、各実施形態について説明する。
(第1実施形態)
先ず、第1実施形態について説明する。本実施形態に係るラベル読取システム1は、フォークリフト10によって搬送されている複数の部品箱(荷物)2,2,…を、ラベル読取エリアAに通過させることで、各部品箱2,2,…それぞれに付与されているラベルLa,La,…上のQRコードQRC,QRC,…を読み取るシステムである。なお、このQRコードQRC,QRC,…を表示するラベルLa,La,…は、各部品箱2,2,…におけるフォークリフト10の走行方向に沿う方向に延在する面(側面)にそれぞれ付与されている。
-ラベル読取システムの構成-
図1は本実施形態に係るラベル読取システム1の概略構成を示す図である。この図1に示すように、ラベル読取システム1は、前記ラベル読取エリアAに設置されたQRコード撮影装置3、荷山撮影装置4、撮影制御装置5、通過センサ6、第1距離センサ71、第2距離センサ72、情報処理端末8、モニタ装置9等を備えている。
QRコード撮影装置3は、ラベル読取エリアAにおいて、所定間隔を存して設置された一対のQRコード撮影ユニット31,32を備えている。これらQRコード撮影ユニット31,32同士の間の空間がフォークリフト10の通過空間であり、この通過空間の床面を含んで図中の左右方向に延在する床面がフォークリフト10が走行する走行経路F1(図1において一点鎖線で囲んだ経路)となる。従って、一対のQRコード撮影ユニット31,32同士の間の間隔寸法は、フォークリフト10およびスキッドSkの幅寸法(走行経路F1の延在方向に直交する水平方向の寸法)よりも大きく設定されている。ここでは、フォークリフト10の走行方向の下流側(図1における右側)を向いた場合において右側(図1における手前側)に位置するQRコード撮影ユニットを第1QRコード撮影ユニット31と呼び、左側(図1における奥側)に位置するQRコード撮影ユニットを第2QRコード撮影ユニット32と呼ぶこととする。
これらQRコード撮影ユニット31,32は、共に床面(走行経路F1の両側の床面)F2に立設された支柱33,34と、該支柱33,34の鉛直方向の複数箇所(本実施形態では4箇所)に等間隔で配設されたカメラ35a~35d,36a~36dとを備えている。各カメラ35a~35d,36a~36dは、走行経路F1の内側を撮影するように配設されており、それぞれが鉛直方向の所定の範囲を撮影するようになっている。各カメラ35a~35d,36a~36dが撮影した画像の情報は前記情報処理端末8に送信されることになる。つまり、各カメラ35a~35d,36a~36dによって各ラベルLa,La,…上のQRコードQRC,QRC,…が適正に読み取られたか否かの情報が、各QRコードQRC,QRC,…毎に情報処理端末8に送信されることになる。なお、各カメラ35a~35d,36a~36dの台数は前述したものには限定されない。
これらカメラ35a~35d,36a~36dの台数は、ラベル読取エリアAを通過するスキッドSk,Skの高さ寸法に応じ、該スキッドSk,Skにおける全ての部品箱(高さ方向の全ての部品箱)2,2,…のラベルLa,La,…を撮影可能とするように設定されている。例えば本実施形態では、図1に示すようにスキッドSk,Skが上下2段に重ねられてラベル読取エリアAを通過するものとなっているので、両スキッドSk,Skにおける全ての部品箱(高さ方向の全ての部品箱)2,2,…のラベルLa,La,…を撮影可能とする台数のカメラ35a~35d,36a~36dが配設されている。このため、前記カメラ35a~35d,36a~36dそれぞれが本発明でいうラベル撮影手段(複数の荷物それぞれに付与されたラベルのうちの一部のラベルの撮影が可能なラベル撮影手段)となっている。また、各QRコード撮影ユニット31,32それぞれが本発明でいうラベル撮影手段群(複数の荷物がラベル読取エリアを通過した際にこれら複数の荷物の全てのラベルを撮影可能な構成とされたラベル撮影手段群)となっている。
図2は一方側のQRコード撮影ユニット(第1QRコード撮影ユニット)31における各カメラ35a~35dの鉛直方向での撮影範囲を説明するための図である。この図2に示すように、各カメラ35a~35dはそれぞれ鉛直方向に所定の視野角を有している。つまり、カメラ35a~35dから離れるほど、撮影範囲(図2における一点鎖線で示した範囲を参照)は拡大することになり、図2における位置Liよりも右側(カメラ35a~35dに近い側)では各カメラ35a~35dの撮影範囲は重ならない一方、位置Liよりも左側(カメラ35a~35dから遠い側)では各カメラ35a~35dの撮影範囲は重なっている。そして、図2における位置Liiでは各カメラ35a~35dの撮影範囲の重なり高さ(重なっている範囲)は前記QRコードQRCの高さ寸法Qに略一致する。つまり、この位置Liiよりも左側でラベルLa(ラベルLa上のQRコードQRC)が通過すれば1台のカメラ35a(35b,35c,35d)で1個のQRコードQRCの全体(高さ方向の全体)を撮影することができる。また、図2における位置Liiiはカメラ35a~35dのピントが合う限界位置(位置Liiiよりも左側ではカメラ35a~35dのピントが合わない)となっている。なお、他方側のQRコード撮影ユニット(第2QRコード撮影ユニット)32も同様の構成となっている。
なお、本実施形態では、各カメラ35a~35d,36a~36dのうち、最も低い位置に配設されたものを第1カメラ35a,36a、下から2番目に配設されたものを第2カメラ35b,36b、下から3番目に配設されたものを第3カメラ35c,36c、最も高い位置に配設されたものを第4カメラ35d,36dとそれぞれ呼ぶこととする。
荷山撮影装置4は、前記走行経路F1の延在方向における前記QRコード撮影装置3の配設位置よりも上流側(フォークリフト10の走行方向の上流側(図1における左側))に配設されている。また、この荷山撮影装置4は、走行経路F1を挟んで両側(走行経路F1の延在方向に直交する水平方向の両側)に設置された一対の荷山撮影ユニット(荷山撮影手段)41,42を備えている。これら荷山撮影ユニット41,42同士の間の間隔寸法も、フォークリフト10およびスキッドSkの幅寸法(走行経路F1の延在方向に直交する水平方向の寸法)よりも大きく設定されている。また、これら荷山撮影ユニット41,42は、スキッドSk,Skにおける荷山の全体を撮影可能(全ての部品箱2,2,…を1つの画像として撮影可能)とするように、後述するカメラ45,46の撮影視野内にスキッドSk,Skにおける荷山の全体(全ての部品箱2,2,…)が入るように、走行経路F1から所定距離だけ離れた位置に設置されている。例えば本実施形態では、図1に示すようにスキッドSk,Skが上下2段に重ねられて搬送されるものとなっているので、両スキッドSk,Skにおける全ての部品箱2,2,…(荷山の全体)がカメラ45,46の撮影視野内に入るように、走行経路F1から所定距離だけ離れた位置に各荷山撮影ユニット41,42は設置されている。ここでは、フォークリフト10の走行方向の下流側(図1における右側)を向いた場合において右側(図1における手前側)に位置する荷山撮影ユニットを第1荷山撮影ユニット41と呼び、左側(図1における奥側)に位置する荷山撮影ユニットを第2荷山撮影ユニット42と呼ぶこととする。
これら荷山撮影ユニット41,42は、共に床面(走行経路F1の両側の床面)F2に立設された支柱43,44と、該支柱43,44の上端部に配設されたカメラ45,46とを備えている。各カメラ45,46は、走行経路F1の内側を撮影するように配設されており、前述したように、それぞれがスキッドSk,Skにおける荷山の全体を撮影するようになっている。つまり、第1荷山撮影ユニット41のカメラ45は、荷山において図1における手前側の全体(手前側の側面の全体;手前側の側面の全てのラベルLa,La,…)を撮影する。また、第2荷山撮影ユニット42のカメラ46は、荷山において図1における奥側の全体(奥側の側面の全体;奥側の側面の全てのラベルLa,La,…)を撮影する。
なお、この荷山撮影ユニット41,42のカメラ45,46は、荷山の全体を撮影することから、各ラベルLa,La,…それぞれのQRコードQRC,QRC,…を読み取る(QRコードQRC,QRC,…の情報を取得する)ことはできず、単に荷山の全体の画像を取得する手段としての機能を有するものとなっている。
各カメラ45,46が撮影した画像の情報は前記情報処理端末8に送信されることになる。
撮影制御装置5は、前記通過センサ6に接続されており、通過センサ6からの出力に従って、各撮影ユニット31,32,41,42に作動指令信号を送信する。この撮影制御装置5は、図示していないが、一般的に公知のCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えている。ROMは、各撮影ユニット31,32,41,42における撮影動作を制御するための制御プログラム等が記憶されている。CPUは、ROMに記憶された制御プログラムに基づいて演算処理を実行する。RAMは、CPUでの演算結果等を一時的に記憶するメモリである。
通過センサ6は、前記走行経路F1の延在方向における前記QRコード撮影装置3の配設位置と前記荷山撮影装置4の配設位置との間(QRコード撮影装置3の配設位置よりも上流側で且つ荷山撮影装置4の配設位置よりも下流側)に配設されており、走行経路F1でのフォークリフト10の通過を検知するものである。この通過センサ6は、光学的にフォークリフト10の通過を検知するものであって、走行経路F1に向かう投受光器を備えており、フォークリフト10に備えられた反射板による反射光の有無を検知することでフォークリフト10の通過を検知するようになっている。また、この通過センサ6は、フォークリフト10の通過を検知した際に、通過検知信号を前記撮影制御装置5に送信するようになっている。
第1距離センサ71は、前記QRコード撮影装置3の配設位置よりも所定距離だけ下流側(走行経路F1におけるフォークリフト10の走行方向の下流側)に配設されており、走行経路F1でのフォークリフト10の通過を検知するものである。この第1距離センサ71も、光学的にフォークリフト10の通過を検知するものであって、走行経路F1に向かう投受光器を備えており、フォークリフト10に備えられた反射板による反射光の有無を検知することでフォークリフト10の通過を検知するようになっている。また、この第1距離センサ71は、フォークリフト10の通過を検知した際に、通過検知信号を前記情報処理端末8に送信するようになっている。
また、第2距離センサ72は、前記QRコード撮影装置3の配設位置よりも所定距離だけ下流側(走行経路F1におけるフォークリフト10の走行方向の下流側)であって、且つ前記第1距離センサ71の配設位置よりも所定距離だけ下流側(走行経路F1におけるフォークリフト10の走行方向の下流側)に配設されており、第1距離センサ71の配設位置を通過した後の走行経路F1でのフォークリフト10の通過を検知するものである。この第2距離センサ72も、光学的にフォークリフト10の通過を検知するものであって前述した第1距離センサ71と同様の構成となっている。また、この第2距離センサ72も、フォークリフト10の通過を検知した際に、通過検知信号を前記情報処理端末8に送信するようになっている。
また、これら距離センサ71,72は、該距離センサ71,72からラベルLaまでの距離(以下、撮影距離という場合もある)も計測可能となっている。つまり、前記投受光器が光を投光してから反射光を受光するまでの時間に基づいて、その反射物(例えばラベルLa)までの距離を計測するようになっている。これにより、走行経路F1の延在方向に直交する水平方向でのフォークリフト10の走行位置(後述する深度)を検知することができる。
情報処理端末8は、公知のCPU、ROM、RAM等を備えており、前記QRコード撮影装置3の各カメラ35a~35d,36a~36dから送信された画像の情報(QRコードQRCの画像の情報)、荷山撮影装置4の各カメラ45,46から送信された画像の情報(荷山全体の画像の情報)、各距離センサ71,72からの出力信号(通過検知信号等)を受信する。
そして、この情報処理端末8は、QRコード撮影装置3の各カメラ35a~35d,36a~36dから受信した画像の情報によりQRコードQRC,QRC,…の情報を取得する。そして、この情報処理端末8は、このQRコードQRC,QRC,…の情報から各部品箱2,2,…それぞれに収容されている部品の種類や個数等の情報を取得する。つまり、情報処理端末8には、予め部品の発注情報が格納されており、前記QRコードQRCが適正に読み取られた部品箱2の部品に対しては、その発注情報と、前記QRコードQRCから取得した部品箱2の情報とを照合し、その部品箱2が適正に納入されたものであるか否かを判断する。
また、この情報処理端末8は、取得した情報を利用して後述する読取不良ラベル特定処理(本実施形態において特徴とする処理)を実行し、QRコードQRCが適正に読み取られなかったラベル(読取不良ラベル)の数および該読取不良ラベルの位置(荷山における位置)を特定することができる画像(読取不良ラベル特定画像)を作成してモニタ装置9に送信する。このため、この情報処理端末8のROMには、後述する読取不良ラベル特定処理を実行するための制御プログラム等が記憶されており、CPUは、このROMに記憶された制御プログラムに基づいて読取不良ラベル特定処理を実行する。
モニタ装置9は、前記情報処理端末8からの出力を受け、その結果を画面に表示する。具体的には、前記読取不良ラベル特定処理によって作成された画像(読取不良ラベル特定画像)の情報を情報処理端末8から受信し、その画像を表示する。また、モニタ装置9は、作業者(管理者)によって表示が確認されている。
-読取不良ラベル特定処理-
次に、本実施形態の特徴である読取不良ラベル特定処理について説明する。
そもそも、スキッドSkを搬送しながら複数の部品箱2,2,…それぞれの情報(QRコードQRCの情報)を取得するシステムにあっては、全ての部品箱2,2,…のラベルLa,La,…を適正に読み取って情報を取得することができる保証はない。また、フォークリフト10によって一度に搬送する部品箱2,2,…の数は常に同数である可能性は低い。このため、従来技術にあっては、複数の部品箱それぞれのラベルを読み取った場合に、その情報の数(ラベルを読み取ることによって情報が適正に取得された部品箱の数)が、搬送されている全ての部品箱の数に一致しているか否かを適正に判断することはできなかった。例えば情報が適正に取得された部品箱の数が48個であった場合に、実際に搬送されている部品箱の数が48個であるのか、若しくは、例えば50個の部品箱が搬送されているがそのうち2個の部品箱の情報を取得することができなかったのかを判別することはできなかった。更に、情報が適正に取得されなかった部品箱が存在する場合に、その部品箱は荷山のうちの何れの部品箱であるかを特定することもできなかった。
本実施形態に係る読取不良ラベル特定処理は、この点に鑑みてなされたものであり、情報が適正に取得されなかった部品箱2の数およびその部品箱2の特定を可能にするものとなっている。具体的に、この読取不良ラベル特定処理は、前記QRコード撮影装置3の各カメラ35a~35d,36a~36dから送信された画像の情報(QRコードQRCの画像の情報)、荷山撮影装置4の各カメラ45,46から送信された画像の情報(荷山全体の画像の情報)、各距離センサ71,72からの出力信号(通過検知信号)に基づいて、スキッドSk,Skの荷山のうち情報(QRコードQRCの情報)が適正に取得されなかった部品箱2の数およびその部品箱2の位置の特定を可能にするものとなっている。
この読取不良ラベル特定処理の概略について説明すると、QRコード撮影装置3の各カメラ35a~35d,36a~36dから送信された各画像上それぞれにおけるQRコードQRCの中心位置を当該画像上の座標点(以下、この座標点をQRコード座標点と呼ぶ)として規定し、この各QRコード座標点を、荷山撮影装置4の各カメラ45,46から送信された画像(荷山全体の画像)上において対応する(同じQRコードQRCにおける)当該画像上の座標点(QRコードQRCの中心位置であって、以下、この座標点を荷山座標点と呼ぶ)に変換する座標点変換処理(本発明でいう、各ラベル撮影手段によって撮影された各荷物の画像を座標上に並べてそれら各荷物におけるラベルの情報表示箇所の座標点を、荷山撮影手段によって撮影された複数の荷物を表示する画像上における各荷物のラベルの情報表示箇所の座標点に変換する座標点変換処理)を行う。
つまり、前記各QRコード座標点に対しては、そのQRコード座標点に位置するQRコードQRCが適正に読み取られたか否かが判定できているので、この各QRコード座標点を荷山座標点に変換することで、荷山全体の画像上において、適正に読み取られたQRコードQRCの座標点と、適正に読み取ることができなかったQRコードQRCの座標点とを特定することができ、適正に読み取られたQRコードQRCの座標点の情報(本実施形態では「○」印)を荷山全体の画像上に重ね合わせて表示することが可能となる。つまり、荷山全体の画像(読取不良ラベル特定画像)上において、適正に読み取られたQRコードQRCの座標点(荷山座標点)での表示と、適正に読み取ることができなかったQRコードQRCの座標点(荷山座標点)での表示とを互いに異なる表示形態にすることができる。この動作が本発明でいう「複数のラベル撮影手段によって撮影された複数の画像の情報から、搬送車両に載置されている複数の荷物に対して、ラベルの情報が適正に取得された旨の情報またはラベルの情報が適正に取得されなかった旨の情報を割り当て、該割り当てた各荷物の情報を、複数の荷物を表示した画像上において該当する荷物に重ねて表示する」動作に相当し、本発明でいうラベル情報集約表示手段の動作に相当する。
読取不良ラベル特定処理では、このような画像処理を行うことにより、作業者が荷山全体の画像(読取不良ラベル特定画像)を目視することで、QRコードQRCを適正に読み取ることができなかった(QRコードQRCの情報が適正に取得されなかった)部品箱2の数およびその部品箱2の位置を把握することができるようにしている。
次に、QRコード座標点を荷山座標点に変換する処理手順について具体的に説明する。ここでは、図1において手前側に位置する面(荷山の側面)におけるQRコード座標点を荷山座標点に変換する処理手順について説明する。なお、図1において奥側に位置する面(荷山の側面)におけるQRコード座標点を荷山座標点に変換する処理手順も同様に行われる。
図4は、第1QRコード撮影ユニット31の各カメラ35a~35dそれぞれによって撮影された画像(各カメラ35a~35dそれぞれから情報処理端末8に送信された画像)を撮影順に示す図である。この図4の最上段は第1カメラ(最も低い位置に配設されたカメラ)35aによって撮影された画像(以下、撮影画像という場合もある)を撮影順(撮影順に左から右に亘って)に並べている。2段目は第2カメラ(下から2番目に配設されたカメラ)35bによって撮影された画像を撮影順に並べている。3段目は第3カメラ(下から3番目に配設されたカメラ)35cによって撮影された画像を撮影順に並べている。最下段は第4カメラ(最も高い位置に配設されたカメラ)35dによって撮影された画像を撮影順に並べている。ここでは、各カメラ35a~35dそれぞれが4回の撮影を行うことによってスキッドSk,Sk全体に亘ってラベルLa,La,…のQRコードQRC,QRC,…を撮影するものとして説明する。
また、ここでは、第1カメラ35aによって撮影された各画像のうち、1枚目の画像(第1回目の撮影によって得られた画像)を第1カメラ第1画像(図中に符号I1を付した画像)と呼び、2枚目の画像(第2回目の撮影によって得られた画像)を第1カメラ第2画像(図中に符号I2を付した画像)と呼び、3枚目の画像(第3回目の撮影によって得られた画像)を第1カメラ第3画像(図中に符号I3を付した画像)と呼び、4枚目の画像(第4回目の撮影によって得られた画像)を第1カメラ第4画像(図中に符号I4を付した画像)と呼ぶこととする。また、第2カメラ35bによって撮影された各画像のうち、1枚目の画像を第2カメラ第1画像(図中に符号II1を付した画像)と呼び、2枚目の画像を第2カメラ第2画像(図中に符号II2を付した画像)と呼び、3枚目の画像を第2カメラ第3画像(図中に符号II3を付した画像)と呼び、4枚目の画像を第2カメラ第4画像(図中に符号II4を付した画像)と呼ぶこととする。また、第3カメラ35cおよび第4カメラ35dそれぞれによって撮影された各画像においても同様に呼ぶこととする。これらの画像についても図4では符号III1~IV4を付している。つまり、これら符号はローマ数字部分がカメラ番号を、アラビア数字部分が撮影番号(何枚目の撮影画像であるか)を表している。
図5は、第1QRコード撮影ユニット31の各カメラ35a~35dそれぞれによって撮影され該各カメラ35a~35dから送信された画像を仮想のx-y座標上に並べて示す図である。このx-y座標では、実際のスキッドSk,Skの形態に合わせて、第1カメラ35aによって撮影された画像を最下段にして撮影順に右側から左側に亘って並べ、第2カメラ35bによって撮影された画像を下から2番目にして撮影順に右側から左側に亘って並べ、第3カメラ35cによって撮影された画像を下から3番目にして撮影順に右側から左側に亘って並べ、第4カメラ35dによって撮影された画像を最上段にして撮影順に右側から左側に亘って並べている。つまり、最下段にあっては、右側から左側に亘って第1カメラ第1画像I1、第1カメラ第2画像I2、第1カメラ第3画像I3、第1カメラ第4画像I4が順に並べられている。また、下から2番目にあっては、右側から左側に亘って第2カメラ第1画像II1、第2カメラ第2画像II2、第2カメラ第3画像II3、第2カメラ第4画像II4が順に並べられている。その他の画像III1~IV4についても同様に並べられている。
そして、x-y座標において、第1カメラ35aによって撮影された画像のうち最後に撮影された画像(第1カメラ第4画像I4)の左下端を当該x-y座標の原点oとし、各QRコードQRCの中心位置に当該x-y座標の座標点(前記QRコード座標点)を割り当てている。
例えば、第1カメラ第4画像I4には上下2つの部品箱2(21,22)のQRコードQRC1,QRC2が表示されており、下側の部品箱(以下、第1部品箱という)21のQRコードQRC1の中心位置をx-y座標におけるQRコード座標点(a1,b1)として割り当てる。また、上側の部品箱(以下、第2部品箱という)22のQRコードQRC2の中心位置をx-y座標におけるQRコード座標点(a1,b2)として割り当てる。また、第1カメラ第3画像I3にも上下2つの部品箱2(23,24)のQRコードQRC3,QRC4が表示されており、下側の部品箱(以下、第3部品箱という)23のQRコードQRC3の中心位置をx-y座標におけるQRコード座標点(a2,b1)として割り当てる。また、上側の部品箱(以下、第4部品箱という)24のQRコードQRC4の中心位置をx-y座標におけるQRコード座標点(a2,b2)として割り当てる。また、第1カメラ第2画像I2にも上下2つの部品箱2(25,26)のQRコードQRC5,QRC6が表示されており、下側の部品箱(以下、第5部品箱という)25のQRコードQRC5の中心位置をx-y座標におけるQRコード座標点(a3,b1)として割り当てる。また、上側の部品箱(以下、第6部品箱という)26のQRコードQRC6の中心位置をx-y座標におけるQRコード座標点(a3,b2)として割り当てる。その他の画像においても同様に、QRコードQRCの中心位置をx-y座標におけるQRコード座標点(a1,b3)~(a3,b8)として割り当てる。つまり、これらQRコード座標点はx座標aの添え字部分がx軸方向において何番目(y軸から何番目)のQRコードであるかを表しており、y座標bの添え字部分がy軸方向において何番目(x軸から何番目)のQRコードであるかを表している。以下では、このQRコード座標点の一般座標点としては(an,bm)とする。この場合、nは整数であって、図5における左側のものから右側のものに亘って1~3の数字が割り当てられ、mも整数であって、図5における下側のものから上側のものに亘って1~8の数字が割り当てられることになる。
図6は、第1荷山撮影ユニット41のカメラ45によって撮影され該カメラ45から送信された荷山全体の画像を示す図である。この図6にあっては、この画像の左下端をX-Y座標の原点Oとし、各QRコードQRCの中心位置に当該X-Y座標の座標点(前記荷山座標点)を割り当てている。ここでは、前述した図5のx-y座標と区別するために大文字のX,Yで座標を表し、大文字のOで原点を表している。
例えば、前記第1部品箱21のQRコードQRC1の中心位置をX-Y座標における荷山座標点(A1,B1)として割り当てる。また、前記第2部品箱22のQRコードQRC2の中心位置をX-Y座標における荷山座標点(A1,B2)として割り当てる。また、前記第3部品箱23のQRコードQRC3の中心位置をX-Y座標における荷山座標点(A2,B1)として割り当てる。また、前記第4部品箱24のQRコードQRC4の中心位置をX-Y座標における荷山座標点(A2,B2)として割り当てる。また、前記第5部品箱25のQRコードQRC5の中心位置をX-Y座標における荷山座標点(A3,B1)として割り当てる。また、前記第6部品箱26のQRコードQRC6の中心位置をX-Y座標における荷山座標点(A3,B2)として割り当てる。その他の部品箱2のQRコードQRCにおいても同様に、X-Y座標における荷山座標点(A1,B3)~(A3,B8)として割り当てる。つまり、これら荷山座標点はX座標Aの添え字部分がX軸方向において何番目(Y軸から何番目)のQRコードであるかを表しており、Y座標Bの添え字部分がY軸方向において何番目(X軸から何番目)のQRコードであるかを表している。以下では、このQRコード座標点の一般座標点としては(An,Bm)とする。この場合、nは整数であって、図6における左側のものから右側のものに亘って1~3の数字が割り当てられ、mも整数であって、図6における下側のものから上側のものに亘って1~8の数字が割り当てられることになる。
前記x-y座標(図5)におけるQRコードQRCの中心位置であるQRコード座標点(an,bm)を前記X-Y座標(図6)におけるQRコードQRCの中心位置である荷山座標点(An,Bm)に変換する処理は、例えば、x-y座標におけるQRコード座標点(a1,b1)をX-Y座標における荷山座標点(A1,B1)に変換する。また、x-y座標におけるQRコード座標点(a2,b1)をX-Y座標における荷山座標点(A2,B1)に変換する。その他の座標点においても、x-y座標におけるQRコード座標点(an,bm)をX-Y座標における荷山座標点(An,Bm)に変換する。これにより、変換前の各QRコード座標点(an,bm)と変換後の各荷山座標点(An,Bm)との間には、適正に読み取られたQRコードQRCである旨の情報または適正に読み取ることができなかったQRコードQRCである旨の情報がそれぞれ関連付けられることになる。
そして、x-y座標におけるQRコード座標点をX-Y座標における荷山座標点に変換する手法としては、以下の式(1)、(2)を使用する。
式(1)は座標点をx軸方向(X軸方向)で変換するための式であり、式(2)は座標点をy軸方向(Y軸方向)で変換するための式である。また、式(1)が本発明でいう「搬送車両の走行速度をパラメータの一つとする演算式」に相当する。
An=an・k1+p・k2+v・t(Np)・k2/S …(1)
Bm=bm・k1+q・k2+H(M-1)・k2/S …(2)
ここで、Anは変換後の荷山座標点におけるX座標であって原点Oからのpixel数であり、anは変換前のQRコード座標点におけるx座標であって原点oからのpixel数である。また、pはX-Y座標におけるX軸方向の原点オフセット量(座標点変換のための原点オフセット量)であって単位はpixelであり、vはフォークリフト10の速度(走行速度)であって単位はmm/秒であり、tは撮影間隔(撮影時間間隔)であって単位は秒である。また、Npは撮影回数に対応する変数であって、図1において手前側に位置する面(荷山の側面)を対象とする(第1荷山撮影ユニット41のカメラ45によって撮影される面を対象とする)場合には(Nmax-N)となる。Nは撮影の順番であって、Nmaxはその最大値(本実施形態では4)である。また、図1において奥側に位置する面(荷山の側面)を対象とする(第2荷山撮影ユニット42のカメラ46によって撮影される面を対象とする)場合には(N-1)となる。また、Sは撮影時の深度における1画素の長さ(1画素内に写っている物体の実際の長さであって、単位はmm/pixel)である。また、Bmは変換後の荷山座標点におけるY座標であって原点Oからのpixel数であり、bmは変換前のQRコード座標点におけるy座標であって原点oからのpixel数である。また、qはX-Y座標におけるY軸方向の原点オフセット量(座標点変換のための原点オフセット量)であって単位はpixelであり、Hはカメラ35a~35dの取付ピッチであって単位はmmであり、Mはカメラ番号(下側に位置するカメラ35a~35dほど小さい番号)である。また、k1およびk2はフォークリフト10の通過位置(走行経路F1の延在方向に直交する水平方向での通過位置;ラベルLaとカメラ35a~35dとの間の距離に相関があるもの)に応じた変換係数であって、k1はx-y座標(第1QRコード撮影ユニット31での撮影)に係わる変換係数であり、k2はX-Y座標(第1荷山撮影ユニット41での撮影)に係わる変換係数である。
なお、各式(1)、(2)におけるp,q,t,Np,H,Mは予め設定または計測された値であって、各カメラ35a~35d,45,46の諸元や制御によって決定されるものである。
前述した式(1)、(2)によって荷山座標点(An,Bm)を求めるためには、フォークリフト10の速度v、および、変換係数k1,k2を算出する必要がある。以下、これらの算出手法について説明する。
<フォークリフトの速度の算出>
フォークリフト10の速度vは以下のようにして算出される。
図7に示すようにフォークリフト10がラベル読取エリアAを通過する際、先ず、フォークリフト10は第1距離センサ71の前を通過(第1距離センサ71からの光を反射)した後、所定時間後に第2距離センサ72の前を通過(第2距離センサ72からの光を反射)することになる。
図8は、各距離センサ71,72によるフォークリフト検知タイミングを示す図である。この図8では、タイミングT1で第1距離センサ71から通過検知信号が出力されている(出力がOFFからONに変化している)。つまり、タイミングT1で、フォークリフト10が第1距離センサ71の前を通過し始める。また、タイミングT2で第2距離センサ72から通過検知信号が出力されている(出力がOFFからONに変化している)。つまり、タイミングT2で、フォークリフト10が第2距離センサ72の前を通過し始める。そして、これらタイミングの時間差はTとなっている。今、第1距離センサ71と第2距離センサ72との間隔寸法(ピッチ)をD[mm]とした場合、フォークリフト10の速度v[mm/秒]は以下の式(3)によって算出することができる。前記間隔寸法Dは予め規定された値である。
v=D/T …(3)
<変換係数の算出>
変換係数は以下のようにして算出される。
本実施形態では、フォークリフト10が走行経路F1においてその延在方向に直交する水平方向の中央位置を走行した場合に深度が零となるものとする(図7を参照)。また、本実施形態では、フォークリフト10が第1QRコード撮影ユニット31寄りの位置(前記中央位置よりも第1QRコード撮影ユニット31寄りの位置)を通過した場合に深度が負の値となり、フォークリフト10が第2QRコード撮影ユニット32寄りの位置(前記中央位置よりも第2QRコード撮影ユニット32寄りの位置)を通過した場合に深度が正の値となるものとする。
つまり、第1QRコード撮影ユニット31の各カメラ35a~35dによって撮影を行う場合に、フォークリフト10の通過位置が第1QRコード撮影ユニット31に近いほど(深度が負の値であってその絶対値が大きいほど)、撮影された画像としては大きく写ることになる。つまり、画像の1画素における実際の長さ(1画素内に写っている物体の実際の長さ)は短いものとなる。逆に、フォークリフト10の通過位置が第1QRコード撮影ユニット31から遠いほど(深度が正の値であってその絶対値が大きいほど)、撮影された画像としては小さく写ることになる。つまり、画像の1画素における実際の長さは長いものとなる。この点を考慮し、変換係数kは、以下の式(4)によって算出される。
k=S/S0 …(4)
ここで、Sは前述したように撮影時の深度における1画素の長さであって、単位はmm/pixel)であり、S0は深度が零の場合の1画素の長さ[mm/pixel]である。この式(4)によれば、フォークリフト10が走行経路F1においてその延在方向に直交する水平方向の中央位置を走行した場合には、撮影時の深度における1画素の長さSと深度が零の場合の1画素の長さS0とが等しくなり、変換係数kは1となる。前記撮影時の深度における1画素の長さSは、前記各距離センサ71,72で得られた前記撮影距離に基づいて所定の演算式またはマップから求めることができる。
また、フォークリフト10が第1QRコード撮影ユニット31寄りの位置を通過した場合に深度が負の値となり、撮影時の深度における1画素の長さSは、深度が零の場合の1画素の長さS0よりも短くなって、変換係数kは1よりも小さくなる。この場合の変換係数kは、深度の絶対値が大きいほど(フォークリフト10の走行位置が第1QRコード撮影ユニット31に近いほど)小さくなる。逆に、フォークリフト10が第2QRコード撮影ユニット32寄りの位置を通過した場合(第1QRコード撮影ユニット31から離れた位置を通過した場合)に深度が正の値となり、撮影時の深度における1画素の長さSは、深度が零の場合の1画素の長さS0よりも長くなって、変換係数kは1よりも大きくなる。この場合の変換係数kは、深度の絶対値が大きいほど(フォークリフト10の走行位置が第1QRコード撮影ユニット31から遠いほど)大きくなる。
また、前述した式(1)、(2)における原点オフセット量p,qは、前記深度が零である際の原点オフセット量であって、予め設定された値である。つまり、深度が零であった場合には、式(1)における右辺の第2項はpとなり、式(2)における右辺の第2項はqとなる。
以上のようにして、フォークリフト10の速度vおよび深度に応じた変換係数k(x-y座標に係わる変換係数k1、X-Y座標に係わる変換係数k2)が求められ、前記式(1)、(2)に適用されて、x-y座標におけるQRコード座標点(an,bm)から変換されたX-Y座標における荷山座標点(An,Bm)が算出できることになる。これにより、前述したように、変換前の各QRコード座標点(an,bm)と変換後の各荷山座標点(An,Bm)との間には、適正に読み取られたQRコードQRCである旨の情報または適正に読み取ることができなかったQRコードQRCである旨の情報がそれぞれ関連付けられることになる。そして、各QRコード座標点(an,bm)に対しては、そのQRコード座標点(an,bm)に位置するQRコードQRCが適正に読み取られたか否かが判定できているので、この各QRコード座標点(an,bm)を荷山座標点(An,Bm)に変換することで、荷山全体の画像上において、適正に読み取られたQRコードQRCの座標点と、適正に読み取ることができなかったQRコードQRCの座標点とを特定することができ、適正に読み取られたQRコードQRCの座標点の情報(本実施形態では「○」印)を荷山全体の画像上に重ね合わせて表示する読取不良ラベル特定画像を作成する。つまり、適正に読み取られたQRコードQRCの座標点での表示と、適正に読み取ることができなかったQRコードQRCの座標点での表示とを互いに異なる表示形態にした読取不良ラベル特定画像を作成し、この読取不良ラベル特定画像をモニタ装置9に表示することになる。
次に、前述の如く構成されたラベル読取システム1による読取不良ラベル特定処理の手順について図9のフローチャートを参照しながら説明する。
先ず、図1に示すように、スキッドSk,Skがフォークリフト10に載置されて搬送されている状態で、フォークリフト10が前記走行経路F1上を走行するように運転者が運転する。本実施形態では、フォークリフト10が走行経路F1を後退移動することで、スキッドSk,Skをラベル読取エリアAに向けて搬送する。
そして、フォークリフト10が走行経路F1において通過センサ6の配設位置(通過センサ6の前側)を通過すると、該通過センサ6がフォークリフト10の通過を検知する(図9のフローチャートにおいてステップST1でYES判定される)。これにより、撮影制御装置5は通過センサ6から通過検知信号を受信する。
この通過検知信号を受信した撮影制御装置5は、各撮影ユニット31,32,41,42に作動指令信号を送信する。この作動指令信号を受信した各撮影ユニット31,32,41,42は、各カメラ35a~35d,36a~36d,45,46による撮影を開始する(ステップST2)。つまり、QRコード撮影ユニット31,32の各カメラ35a~35d,36a~36dは、スキッドSk,Skの各部品箱2,2,…に付与されているラベルLa,La,…上のQRコードQRC,QRC,…を撮影する(撮影された画像については図4および図5を参照)。また、荷山撮影ユニット41,42の各カメラ45,46は、スキッドSk,Skの全体を撮影する(撮影された画像については図6を参照)。これら撮影された画像の情報は情報処理端末8に送信される。
情報処理端末8は、QRコード撮影ユニット31,32の各カメラ35a~35d,36a~36dから受信した画像の情報から前記各QRコード座標点を取得する(ステップST3)。また、情報処理端末8は、前記各距離センサ71,72から受けた通過検知信号に基づいてフォークリフト10の速度vを算出すると共に、撮影距離(ラベルLaから各カメラ35a~35d,36a~36d)までの距離を取得する(ステップST4)。
また、情報処理端末8は、前記式(1)、(2)で用いられる座標変換パラメータ(前記の値k1,k2,p,q,t,Np,H,M,S)を算出する(ステップST5)。
その後、情報処理端末8は、前記式(1)、(2)を用いて、x-y座標におけるQRコード座標点をX-Y座標における荷山座標点に変換する(ステップST6)。これにより、QRコード座標点(an,bm)から荷山座標点(An,Bm)が算出される。つまり、各QRコード座標点(an,bm)に対しては、そのQRコード座標点(an,bm)に位置するQRコードQRCが適正に読み取られたか否かが判定できているので、この各QRコード座標点(an,bm)を荷山座標点(An,Bm)に変換することで、荷山全体の画像上において、適正に読み取られたQRコードQRCの座標点と、適正に読み取ることができなかったQRコードQRCの座標点とを特定することができる。
その後、情報処理端末8は、変換後のQRコードQRCの座標点(荷山座標点(An,Bm))に対し、その座標点に対応するQRコードQRCが適正に読み取られたものであるのか、または適正に読み取ることができなかったものであるのかを特定することができる読取不良ラベル特定画像を作成する(ステップST7)。図10は、この読取不良ラベル特定画像である。この読取不良ラベル特定画像では、QRコードQRCが適正に読み取られたラベルLaに対しては「○」印を重ねて表示し、QRコードQRCを適正に読み取ることができなかったものに対しては「○」印を表示しないものとしている。この図10では、下から2段目の中央の部品箱(前述した第4部品箱)24、および、上から2段目の右端の部品箱2Aには「○」印が表示されておらず、これら部品箱24,2Aは、QRコードQRCを適正に読み取ることができなかったものである。
そして、情報処理端末8は、この読取不良ラベル特定画像の情報をモニタ装置9に送信し、該モニタ装置9に読取不良ラベル特定画像を表示させる(ステップST8)。
これにより、作業者は読取不良ラベル特定画像を目視することで、QRコードQRCを適正に読み取ることができなかった部品箱2の数およびその部品箱2の位置を把握することができることになる。
-実施形態の効果-
以上説明したように、本実施形態では、QRコード撮影装置3の複数のカメラ35a~35d,36a~36dによって撮影された複数の画像の情報から、フォークリフト10に載置されている複数の部品箱2,2,…に対して、ラベルLa,La,…の情報(QRコードQRC,QRC,…の情報)が適正に取得された旨の情報またはラベルLa,La,…の情報が適正に取得されなかった旨の情報を割り当て、該割り当てた各部品箱2,2,…の情報を、複数の部品箱2,2,…を表示した画像上において該当する部品箱2,2,…に重ねて表示するようにしている。このため、作業者は、この複数の部品箱2,2,…を表示した画像(読取不良ラベル特定画像)を目視することで、ラベルLa,La,…の情報が適正に取得されなかった部品箱2,2,…を容易に認識することができる。
このようにしてラベルLa,La,…の情報が適正に取得されなかった部品箱2,2,…が存在する場合、作業者は、例えば手動によって当該部品箱2,2,…に対するラベル読み取り作業を実施することになる。
また、本実施形態では、QRコード撮影装置3および荷山撮影装置4を備えさせ、QRコード撮影装置3の複数のカメラ35a~35d,36a~36dそれぞれによって、各ラベルLa,La,…を高い精度で読み取ることを可能にしながらも、荷山撮影装置4のカメラ45,46によって、複数の部品箱2,2,…を表示した画像を容易に取得することができるようにしている。つまり、各ラベルLa,La,…を読み取ってその情報を取得するための手段と、複数の部品箱2,2,…を表示した画像を取得するための手段とを個別に設けることで(撮影装置3,4の機能分けを図ることによって)ラベル読取システム1の実用性を高めることができる。
(第2実施形態)
次に、第2実施形態について説明する。本実施形態は、フォークリフト10の速度v、および、撮影時の深度における1画素の長さ(以下、単に1画素の長さという場合もある)Sの算出手法が前記第1実施形態のものと異なっている。その他の構成および処理(読取不良ラベル特定処理等)は前記第1実施形態のものと同様であるので、ここでは、フォークリフト10の速度vの算出手法、および、撮影時の深度における1画素の長さSの算出手法についてのみ説明する。
<フォークリフトの速度の算出>
本実施形態におけるフォークリフト10の速度vは以下のようにして算出される。
図11は、本実施形態においてQRコード撮影ユニットにおける1台のカメラ(例えば第1QRコード撮影ユニット31の第1カメラ35a)によって撮影された画像を撮影順に示す図である。この図11では、第1カメラ35aによって撮影された画像を撮影順(撮影時間順に左から右に亘って)に並べている。具体的に、左側の画像は第1カメラ35aによって撮影されたN番目の(N回目に撮影された)画像であり、中央の画像は第1カメラ35aによって撮影されたN+1番目の(N+1回目に撮影された)画像であり、右側の画像は第1カメラ35aによって撮影されたN+α番目の(N+α回目に撮影された)画像である。そして、N+1番目の画像の撮影タイミングはN番目の画像の撮影タイミングのt秒後であり、N+α番目の画像の撮影タイミングはN番目の画像の撮影タイミングのt×α秒後となっている。また、図12は、撮影順がN番目(N回目)の画像とN+α番目(N+α回目)の画像とを並べて示す図である。この図12に示すように、これらの図を比較した場合、同一のQRコードQRCがL[pixel]だけ移動している。
このように、同一のQRコードQRCが所定時間毎(t秒毎)に相対的に移動した画像を取得しておくことで、以下の式(5)によってフォークリフト10の速度v[mm/秒]を算出することができる。
v=L・S/t・α …(5)
ここで、LはN回目に撮影された画像におけるQRコードQRCの位置からN+α回目に撮影された画像における該QRコードQRCの位置までの移動量であって単位はpixelであり、Sは前述したように撮影時の深度における1画素の長さであって単位はmm/pixelである。
<撮影時の深度における1画素の長さの算出>
本実施形態における撮影時の深度における1画素の長さSは以下のようにして算出される。
前記1画素の長さS[mm/pixel]は、QRコードQRCの1辺の長さQ[mm]と、画像処理で得られたQRコードQRCの1辺のピクセル数Pn[pixel]を用いることで以下の式(6)により算出される。
S=Q/Pn …(6)
この場合における1画素の長さSとQRコードQRCの1辺のピクセル数Pnとの関係は図13に示すようになる。このため、この図13をマップ化して前記情報処理端末8のROMに記憶させておき、このマップを参照することで1画素の長さSを求めるようにすることもできる。
本実施形態では、このようにして求めた1画素の長さSを前記式(4)に当て嵌めることにより、変換係数kを算出し、また、前述の如く算出したフォークリフト10の速度vを使用し、これによって前記(1)、(2)から、x-y座標におけるQRコード座標点(an,bm)をX-Y座標における荷山座標点(An,Bm)に変換するようにしている。
(第3実施形態)
次に、第3実施形態について説明する。本実施形態も、撮影時の深度における1画素の長さS、および、フォークリフト10の速度vの算出手法が前記第1実施形態のものと異なっている。その他の構成および処理(読取不良ラベル特定処理等)は前記第1実施形態のものと同様であるので、ここでは、撮影時の深度における1画素の長さSの算出手法、および、フォークリフト10の速度vの算出手法についてのみ説明する。なお、本実施形態は、前記各距離センサ71,72を使用することなく、撮影時の深度における1画素の長さSを算出するものである。
なお、以下の説明では、図1における奥側からフォークリフト10を撮影した画像に基づいて(第2QRコード撮影ユニット32の第1カメラ36aによって撮影された画像に基づいて)、撮影時の深度における1画素の長さS、および、フォークリフト10の速度vを算出する場合について説明する。
<撮影時の深度における1画素の長さの算出>
本実施形態における撮影時の深度における1画素の長さSは以下のようにして算出される。
先ず、図14に示すようにフォークリフト10の側面の3箇所にQRコードQ1,Q2,Q3を付与しておく。これらQRコードQ1,Q2,Q3としては、フォークリフト10の後側から(スキッドSkに対して離れている側から)第1QRコードQ1、第2QRコードQ2、第3QRコードQ3とする。また、第1QRコードQ1と第2QRコードQ2との間の水平方向(フォークリフト10の前後方向)の間隔寸法(ピッチ)をL1[mm]とし、第2QRコードQ2と第3QRコードQ3との間の水平方向(フォークリフト10の前後方向)の間隔寸法をL2[mm]とする。前者の間隔寸法L1に対して後者の間隔寸法L2は所定寸法だけ長く設定されている。また、これらQRコードQ1,Q2,Q3が付与されている高さ位置は、同一のカメラ(例えば第1カメラ36a)によって撮影可能な位置(第1カメラ36aにおける鉛直方向の撮影視野内)に設定されている。
そして、図15に示すように、第1QRコードQ1および第2QRコードQ2が共に撮影できるタイミングでQRコード撮影ユニット(例えば第1QRコード撮影ユニット31)のカメラ(例えば第1カメラ35a)による撮影を行う。つまり、第1QRコードQ1および第2QRコードQ2が同一撮影視野内となるタイミングで撮影を行う。
そして、以下の式(7)によって1画素の長さSを算出する。
S=L1/p1 …(7)
ここで、p1は、撮影された画像における第1QRコードQ1の中心位置と第2QRコードQ2の中心位置との間のピクセル数である。
<フォークリフトの速度の算出>
本実施形態におけるフォークリフト10の速度vは以下のようにして算出される。
図16は、本実施形態においてフォークリフト10の速度vを算出する手順を説明するための図である。図16(a)は、前記図15と同じ画像、つまり、第1QRコードQ1および第2QRコードQ2が同一撮影視野内となるタイミングで撮影を行った場合の画像である(この図16(a)では画像内に納まっていない第3QRコードQ3の位置を破線で示している)。この画像をN回目に撮影された画像とする。
また、図16(b)は、第3QRコードQ3が撮影できるタイミングで撮影を行った場合の画像である(この図16(b)では画像内に納まっていない第1QRコードQ1および第2QRコードQ2の位置を破線で示している)。この画像をN+α回目に撮影された画像とする。
図16(a)で示す画像において、左下端をx-y座標の原点oとした場合、第1QRコードQ1のx座標をx1[pixel]とし、第3QRコードQ3のx座標をx3とした場合、これら座標と1画素の長さSとは以下の式(8)の関係がある。この式(8)におけるx3は原点oに対する第3QRコードQ3の中心位置のx軸方向に沿う方向での距離[mm]である。なお、前記x座標x1(座標値)は、QRコード撮影ユニット(例えば第2QRコード撮影ユニット32)のカメラ(例えば第1カメラ36a)から出力される画像情報に基づき第1QRコードQ1の中心位置の座標点として得られている。
x3=x1・S+L1+L2 …(8)
そして、図16(b)で示す画像において、第3QRコードQ3のx座標をx3’[pixel]とした場合、各座標と、フォークリフト10の移動量L[mm]と、1画素の長さSとは以下の式(9)の関係がある。
L=x3-x3’・S=S(x1-x3’)S+L1+L2 …(9)
そして、フォークリフト10の速度v[mm/秒]は、移動量Lと、その移動量Lだけ移動するのに要した時間t・αによって算出することができるため、以下の式(10)によって算出することができる。
v=L/t・α={S(x1-x3’)+L1+L2}/t・α …(10)
本実施形態では、以上のようにして求めた1画素の長さSを前記式(4)に当て嵌めることにより変換係数kを算出し、前述の如く算出したフォークリフト10の速度vを使用し、この変換係数kおよびフォークリフト10の速度vを前記(1)、(2)に当て嵌めることによってx-y座標におけるQRコード座標点(an,bm)をX-Y座標における荷山座標点(An,Bm)に変換するようにしている。
(第4実施形態)
次に、第4実施形態について説明する。本実施形態は、QRコード撮影ユニット31,32で撮影された各画像を合成することにより、前述した座標点変換処理を必要とすることなく、読取不良ラベル特定画像を作成するものである。
各画像を合成する(繋ぎ合わせる)際、フォークリフト10の速度vや前記撮影距離に応じて画像の繋ぎ合わせ位置を調整する必要がある。このため、画像を順に繋ぎ合わせていく場合にN枚目(原点oからN枚目)の画像の貼り付け開始位置のx-y座標点(xN,yN)を以下の式(11)、(12)によって算出する。
xN[pixel]=(Np)・v・t/S …(11)
yN[pixel]=(M-1)・H/S …(12)
前述したように、Npは、図1において手前側に位置する面を対象とする場合には(Nmax-N)となり、図1において奥側に位置する面を対象とする場合には(N-1)となる。また、Mはカメラ番号(下側に位置するカメラ35a~35dほど小さい番号である。これら式(11)、(12)によって得られたx-y座標点(xN,yN)の単位はpixelである。つまり、これら式(11)、(12)によって得られたx-y座標点を、各画像(カメラ35a~35dによって撮影された画像)の貼り付け開始位置(例えば画像の左端位置)として規定して各画像を合成する(繋ぎ合わせる)ことによって、同一ラベルLaが画像上で重複しないような画像を作成することができる。
図17は、この処理によって得られた読取不良ラベル特定画像を示す図である。この図17における破線は、各画像の外縁を示しており、前記式(11)、(12)によって算出されたx-y座標点に従って、隣り合う画像同士の重なり合う長さが調整されている。
このような画像処理が、本発明でいう「複数のラベル撮影手段によって撮影された複数の画像を、同一ラベルを互いに重ね合わせることで、同一ラベルが画像上で重複しないような画像の合成処理を行って、複数の荷物を表示した画像を作成し、当該画像上において、ラベルの情報が適正に取得された旨の情報またはラベルの情報が適正に取得されなかった旨の情報を割り当てた各荷物の情報を、該当する荷物に重ねて表示する」処理に相当する。
本実施形態によれば、前述した座標点変換処理を必要とすることがないため、読取不良ラベル特定画像を作成するための処理の簡素化を図ることができる。
(第5実施形態)
次に、第5実施形態について説明する。前述した各実施形態では、QRコードQRCが適正に読み取られたラベルLaに対しては読取不良ラベル特定画像において「○」印を重ねて表示し、QRコードQRCを適正に読み取ることができなかったものに対しては「○」印を表示しないものとしていた。
QRコードQRCの読み取りから照合(発注情報との照合)までの動作として詳細には、カメラからの情報によってQRコードQRCが存在していることを検知する動作(以下、QRコード検知と呼ぶ)、QRコードQRCに描かれている情報を読み取る動作(以下、QRコード認識と呼ぶ)、QRコードQRCを読み取ることで得られた情報と発注情報との照合動作(以下、照合と呼ぶ)とが存在する。前述した各実施形態は、これらQRコード検知、QRコード認識、照合が共に適正に行われた(QRコードQRCが存在していることを検知し、それに描かれている情報が読み取れ、その情報が発注情報と合致している)QRコードQRCに対して読取不良ラベル特定画像上で「○」印を重ねて表示するようにしていた。
本実施形態はそれに代えて、QRコード検知およびQRコード認識が共にできた(QRコードQRCが存在していることを検知でき、それに描かれている情報が読み取れた)にも拘わらず照合が適正でなかった(QRコードから読み取った情報が発注情報と合致しなかった)場合と、QRコード検知ができなかった(QRコードQRCの存在が検知できなかった)場合とを判別して読取不良ラベル特定画像における表示を異ならせるようにしたものである。
ここでいう「QRコードから読み取った情報が発注情報と合致しなかった」場合としては、納入された部品が間違っている場合や、QRコードQRCの汚れなどが原因で適正な情報とは異なる情報が取得されてしまった場合等が挙げられる。
そして、本実施形態では、QRコード検知、QRコード認識、照合が共に適正に行われた場合には、前述した実施形態の場合と同様に、読取不良ラベル特定画像において「○」印を重ねて表示する。
これに対し、QRコード検知およびQRコード認識が共にできたにも拘わらず照合が適正でなかった場合には、読取不良ラベル特定画像において「×」印を重ねて表示する。これは、QRコード認識ができたことでQRコードQRCの存在が保証されていることで、照合が適正に行われなかったという不具合が生じていることが確定されるため、作業者に何らかの不具合(納入された部品の間違いやQRコードQRCの汚れ等)が生じていることを知らせるための表示である。
また、QRコード検知ができなかった場合には、読取不良ラベル特定画像には表示を行わない(無印とする)。これは、そもそもQRコード検知ができておらず(QRコードQRCの存在の有無すらも検知されておらず)、読み取りに成功したか否かの情報も不明であることがら無印とするものである。
このように、本実施形態によれば、QRコードQRCの読み取りおよび照合の状態を読取不良ラベル特定画像を目視することで容易に認識することができる。
-他の実施形態-
なお、本発明は、前記各実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。
例えば、前記各実施形態では、自動車の生産工場において、納入された複数の部品箱2,2,…に付与されているラベルLa,La,…上のQRコードQRC,QRC,…を読み取るシステムとして本発明を適用した場合について説明した。本発明はこれに限らず、自動車の生産工場以外の工場において使用されるラベル読取システムとして使用されるものであってもよい。また、ラベルLa上の情報表示箇所としてはQRコードに限らずバーコードであってもよい。
また、前記各実施形態では、フォークリフト10の走行方向に直交する水平方向において2つの部品箱2,2が並べられて載置された場合に各ラベルLa,Laを読み取るラベル読取システム1を例に挙げて説明した。つまり、2つのQRコード撮影ユニット31,32および2つの荷山撮影ユニット41,42が設置されたものとしていた。本発明はこれに限らず、フォークリフト10の走行方向に直交する水平方向において1つの部品箱が載置される場合にラベルを読み取るラベル読取システムに対して適用することも可能である。この場合、このラベルが付与されている側のみにQRコード撮影ユニットおよび荷山撮影ユニットを設置することになる。
また、前記各実施形態では、部品箱2の側面に付与されたラベルLaを読み取るために、各QRコード撮影ユニット31,32および各荷山撮影ユニット41,42は水平方向から撮影するものとしていた。本発明はこれに限らず、部品箱2の上面に付与されたラベルLaを読み取るために、上側からラベルを撮影するQRコード撮影ユニットおよび荷山撮影ユニットを備えさせてもよい。この場合、読取不良ラベル特定画像としては、荷山の平面視画像も作成することになる。
また、前記各実施形態では、通過センサ6および各距離センサ71,72は走行経路F1の一方側に投受光器を備えさせたものであった。本発明はこれに限らず、走行経路F1の一方側に投光器を、他方側に受光器をそれぞれ配置したものであってもよい。
また、前記各実施形態では、フォークリフト10によってスキッドSk,Skを搬送する場合を例に挙げて説明した。本発明はこれに限らず、スキッドをコンベアで搬送する場合にも適用可能である。このコンベアで搬送する場合、その搬送速度は一定(固定速度)であり、前記撮影距離も一定(固定撮影距離)であるため、前記速度vおよび前記1画素の長さSを初期パラメータとして設定しておくことができ、距離センサ71,72や画像処理による座標変換パラメータの算出を不要にすることができる。
本発明は、フォークリフトによって搬送されている部品箱に付与されたラベル上のQRコードを読み取るためのラベル読取システムに適用可能である。
1 ラベル読取システム
2 部品箱(荷物)
31 第1QRコード撮影ユニット(ラベル撮影手段群)
32 第2QRコード撮影ユニット(ラベル撮影手段群)
35a~35d カメラ(ラベル撮影手段)
36a~36d カメラ(ラベル撮影手段)
41 第1荷山撮影ユニット
42 第2荷山撮影ユニット
45,46 カメラ(荷山撮影手段)
10 フォークリフト(搬送車両)
A ラベル読取エリア
La ラベル
QRC QRコード(情報表示箇所)

Claims (6)

  1. 搬送車両に載置された複数の荷物における前記搬送車両の走行方向に沿う方向に延在する面にそれぞれ付与されたラベルを、前記搬送車両をラベル読取エリアに通過させて読み取るラベル読取システムであって、
    前記ラベル読取エリアに設置され、前記複数の荷物それぞれに付与された前記ラベルのうちの一部のラベルの撮影が可能なラベル撮影手段を複数備え、前記複数の荷物が前記ラベル読取エリアを通過した際にこれら複数の荷物の全てのラベルを撮影可能な構成とされたラベル撮影手段群と、
    前記ラベル撮影手段群の前記複数のラベル撮影手段によって撮影された複数の画像の情報から、前記搬送車両に載置されている複数の荷物に対して、ラベルの情報が適正に取得された旨の情報またはラベルの情報が適正に取得されなかった旨の情報を割り当て、該割り当てた各荷物の情報を、前記複数の荷物を表示した画像上において該当する荷物に重ねて表示するラベル情報集約表示手段とを備えていることを特徴とするラベル読取システム。
  2. 請求項1記載のラベル読取システムにおいて、
    前記搬送車両に載置された複数の荷物を1つの画像として撮影する荷山撮影手段を備えており、
    前記ラベル情報集約表示手段は、前記荷山撮影手段が撮影した複数の荷物を表示した画像上において、前記ラベルの情報が適正に取得された旨の情報または前記ラベルの情報が適正に取得されなかった旨の情報を割り当てた各荷物の情報を、該当する荷物に重ねて表示する構成となっていることを特徴とするラベル読取システム。
  3. 請求項2記載のラベル読取システムにおいて、
    前記ラベル情報集約表示手段は、前記ラベル撮影手段群の前記各ラベル撮影手段によって撮影された各荷物の画像を座標上に並べてそれら各荷物におけるラベルの情報表示箇所の座標点を、前記荷山撮影手段によって撮影された複数の荷物を表示する画像上における各荷物のラベルの情報表示箇所の座標点に変換する座標点変換処理を行うことにより、前記ラベルの情報が適正に取得された旨の情報または前記ラベルの情報が適正に取得されなかった旨の情報を、前記複数の荷物を表示した画像上に重ねて表示する構成となっていることを特徴とするラベル読取システム。
  4. 請求項3記載のラベル読取システムにおいて、
    前記搬送車両には、その走行方向に沿う方向に亘って複数の荷物が載置されており、該搬送車両の走行に伴って前記ラベル撮影手段における撮影範囲に前記複数の荷物が順次移動してくることによって、該ラベル撮影手段が、前記複数の荷物それぞれに付与された前記ラベルを順次撮影するようになっており、
    前記座標点変換処理は、前記搬送車両の走行速度をパラメータの一つとする演算式によって、前記各ラベル撮影手段によって撮影された各荷物におけるラベルの情報表示箇所の座標点を、前記荷山撮影手段によって撮影された複数の荷物を表示する画像上における各荷物のラベルの情報表示箇所の座標点に変換するものであることを特徴とするラベル読取システム。
  5. 請求項1~4のうち何れか一つに記載のラベル読取システムにおいて、
    前記ラベル撮影手段群における前記各ラベル撮影手段は、鉛直方向に沿って複数が配設されており、それぞれのラベル撮影手段における撮影視野は鉛直方向で互いに異なっており、最下部に位置しているラベル撮影手段は、段積みされた複数の荷物における少なくとも最下段の荷物に付与されたラベルの撮影を行う一方、最上部に位置しているラベル撮影手段は、段積みされた複数の荷物における少なくとも最上段の荷物に付与されたラベルの撮影を行う構成とされていることを特徴とするラベル読取システム。
  6. 請求項1記載のラベル読取システムにおいて、
    前記ラベル情報集約表示手段は、前記ラベル撮影手段群の前記複数のラベル撮影手段によって撮影された複数の画像を、同一ラベルを互いに重ね合わせることで、同一ラベルが画像上で重複しないような画像の合成処理を行って、複数の荷物を表示した画像を作成し、当該画像上において、前記ラベルの情報が適正に取得された旨の情報または前記ラベルの情報が適正に取得されなかった旨の情報を割り当てた各荷物の情報を、該当する荷物に重ねて表示する構成となっていることを特徴とするラベル読取システム。
JP2018194049A 2018-10-15 2018-10-15 ラベル読取システム Active JP7067410B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018194049A JP7067410B2 (ja) 2018-10-15 2018-10-15 ラベル読取システム
US16/574,272 US10984207B2 (en) 2018-10-15 2019-09-18 Label reading system
CN201910946753.4A CN111046983B (zh) 2018-10-15 2019-10-07 标签读取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018194049A JP7067410B2 (ja) 2018-10-15 2018-10-15 ラベル読取システム

Publications (2)

Publication Number Publication Date
JP2020064334A JP2020064334A (ja) 2020-04-23
JP7067410B2 true JP7067410B2 (ja) 2022-05-16

Family

ID=70160820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018194049A Active JP7067410B2 (ja) 2018-10-15 2018-10-15 ラベル読取システム

Country Status (3)

Country Link
US (1) US10984207B2 (ja)
JP (1) JP7067410B2 (ja)
CN (1) CN111046983B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3115442A1 (en) * 2020-04-20 2021-10-20 Rehrig Pacific Company Camera enabled portal
JP7146001B2 (ja) * 2021-02-26 2022-10-03 株式会社日立物流 作業支援システム、作業支援方法及びプログラム
JP2022178159A (ja) * 2021-05-19 2022-12-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102582219B1 (ko) * 2021-08-20 2023-09-26 (주) 엠엔비젼 딥러닝을 이용한 멀티 바코드 리딩 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1985002282A1 (en) 1983-11-14 1985-05-23 Radiation Dynamics, Inc. Apparatus and method for selectively accepting arrays of containers for processing
JP2007197122A (ja) 2006-01-24 2007-08-09 Toppan Forms Co Ltd 物品管理システム及び方法
JP2012064110A (ja) 2010-09-17 2012-03-29 Casio Comput Co Ltd 情報読取装置及びプログラム
JP2017001835A (ja) 2015-06-11 2017-01-05 株式会社デンソーエスアイ 無線タグ管理システム
JP6395895B1 (ja) 2017-04-26 2018-09-26 株式会社日立物流 映像検品認識装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123860A (ja) 1994-10-24 1996-05-17 Mitsubishi Electric Corp 資材管理システム
JPH08282809A (ja) * 1995-04-19 1996-10-29 Toshiba Fa Syst Eng Kk パレット識別方法
JP3231612B2 (ja) * 1995-12-28 2001-11-26 株式会社日立製作所 バーコード認識装置及び方法
JP2002104771A (ja) * 2000-07-25 2002-04-10 Inst Of Physical & Chemical Res コンテナ位置検出装置
EP1700282B1 (en) * 2003-12-29 2012-08-29 United States Postal Service System for tracking items
JP2006027773A (ja) 2004-07-13 2006-02-02 Ntn Corp Icタグ利用検品システム
US7419101B2 (en) * 2004-09-13 2008-09-02 Omron Corporation Physical distribution management apparatus, physical distribution management pallet and physical distribution management system
US7623036B2 (en) * 2004-10-29 2009-11-24 Kimberly-Clark Worldwide, Inc. Adjusting data tag readers with feed-forward data
JP2008227877A (ja) * 2007-03-13 2008-09-25 Hitachi Ltd 映像情報処理装置
EP2425204A1 (en) * 2009-04-30 2012-03-07 Azimuth Intellectual Products Pte Ltd Apparatus and method for acquiring an image of a pallet load
WO2011083479A1 (en) * 2010-01-11 2011-07-14 Hi-Tech Solutions Ltd. System and method for recognizing a unit load device (uld) number marked on an air cargo unit
JP5149950B2 (ja) * 2010-10-28 2013-02-20 東芝テック株式会社 商品情報読取装置及びプログラム
US9317037B2 (en) * 2011-10-03 2016-04-19 Vocollect, Inc. Warehouse vehicle navigation system and method
JP5003840B1 (ja) * 2011-10-31 2012-08-15 オムロン株式会社 画像処理装置および画像処理プログラム
US10430776B2 (en) * 2014-01-09 2019-10-01 Datalogic Usa, Inc. System and method for exception handling in self-checkout and automated data capture systems
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US10655945B2 (en) * 2017-07-19 2020-05-19 Symbol Technologies, Llc Methods and apparatus to coordinate movement of automated vehicles and freight dimensioning components
US10643038B1 (en) * 2018-02-09 2020-05-05 Amazon Technologies, Inc. Multi sensor domain—multi tier camera system for package identification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1985002282A1 (en) 1983-11-14 1985-05-23 Radiation Dynamics, Inc. Apparatus and method for selectively accepting arrays of containers for processing
JP2007197122A (ja) 2006-01-24 2007-08-09 Toppan Forms Co Ltd 物品管理システム及び方法
JP2012064110A (ja) 2010-09-17 2012-03-29 Casio Comput Co Ltd 情報読取装置及びプログラム
JP2017001835A (ja) 2015-06-11 2017-01-05 株式会社デンソーエスアイ 無線タグ管理システム
JP6395895B1 (ja) 2017-04-26 2018-09-26 株式会社日立物流 映像検品認識装置

Also Published As

Publication number Publication date
US10984207B2 (en) 2021-04-20
CN111046983A (zh) 2020-04-21
US20200117873A1 (en) 2020-04-16
JP2020064334A (ja) 2020-04-23
CN111046983B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
JP7067410B2 (ja) ラベル読取システム
TW464797B (en) Physical distribution information reader
CN111937034A (zh) 学习数据集的创建方法和装置
WO2015145982A1 (ja) 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体
JP5947819B2 (ja) 動作中物体の光学的識別方法
US20200282429A1 (en) Package sorting system, projected instruction device, and package sorting method
KR101613120B1 (ko) 바코드 검사 시스템
US11369999B2 (en) Parcel determination device, parcel sorting system, and parcel determination method
KR102334353B1 (ko) 고가 악세사리의 포장 및 입출고를 위한 관리 방법 및 시스템
JP7360768B2 (ja) 配置支援システム、配置支援方法、およびプログラム
US20240177260A1 (en) System and method for three-dimensional scan of moving objects longer than the field of view
JP2013130541A (ja) 接着検査装置
JP6728995B2 (ja) 自動倉庫システムおよび自動倉庫の管理方法
JP2013145422A (ja) 作業検知システムの設定方法及びそれを用いた作業検知システム
US8960409B2 (en) Transport unit and method of operating same
JP7129616B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP6395895B1 (ja) 映像検品認識装置
JP7129614B2 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
JP6750315B2 (ja) 管理システム、管理方法および搬送システム
KR102112721B1 (ko) 이동 대상체의 영상 처리 시스템 및 방법
US11348333B2 (en) Package recognition device, package sorting system and package recognition method
WO2021171618A1 (ja) 搬送システム、制御装置、制御方法
AU2021105827A4 (en) An intelligent detection system for checking air cargos
JP7364033B2 (ja) 測量方法、測量装置、測量システム、プログラム
CN114972019B (zh) 基于tof相机的深度图像拼接方法、装置及计算机设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R151 Written notification of patent or utility model registration

Ref document number: 7067410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151