JP7252580B1

JP7252580B1 - 箱計数装置

Info

Publication number: JP7252580B1
Application number: JP2021214109A
Authority: JP
Inventors: 一郎遠嶋; 剛竹花; 章人小寺; 説男木村; 幸紀岡田; 明彦羽根田
Original assignee: YNDRD CO., LTD.
Current assignee: YNDRD CO., LTD.
Priority date: 2021-12-28
Filing date: 2021-12-28
Publication date: 2023-04-05
Anticipated expiration: 2041-12-28
Also published as: JP2023097796A

Abstract

【課題】より迅速かつ正確に箱を計数する。【解決手段】全体画像データを取得するカメラ、及び、全体画像データの撮影対象までの距離を示す距離データを取得する距離センサを有するセンサ部と、センサ部で得られた情報に基づいて、物品の数を計数する処理部とを備えて構成される。処理部は、全体画像データに対して、学習済みデータを利用して、箱に貼付されているラベルを抽出するラベル抽出手段と、全体画像データのうち、距離データが示す距離が一定の範囲内の画素を、箱の領域とし、距離データが示す距離が一定の範囲内にない画素を、箱以外の領域として、箱の領域と、箱以外の領域との境界を、箱の外形として抽出する箱抽出手段と、ラベル抽出手段で抽出された１つのラベルが、箱抽出手段で抽出された１つの箱の外形に含まれる場合に、ラベルと箱の外形を、ラベル付き箱に統合する統合手段と、ラベル付き箱の数を計数する計数手段とを備える。【選択図】図１

Description

この発明は、特に、物流の現場で箱の数を計数するのに用いることができる、箱計数装置に関する。

物流の現場では、商品が収納された箱に対して、箱の数、箱に収納されている商品の情報、箱の移送先などの管理が行われる。この管理は、例えば、箱に、必要な情報を示すラベルやバーコードを貼り付けるなどして行うのが一般的である。

この管理の作業は、作業員がバーコードリーダで、バーコードをスキャンしたり、箱の数を目視で数えたりして行われるのが一般的である。自動的に物品数をカウントする棚卸システムの提案などもなされている（例えば、特許文献１参照）。

特許第５２５９２８６号

しかしながら、特許文献１に開示されている棚卸システムは、物流倉庫の棚卸しの用途に最適化されている。したがって、輸送中や、物流倉庫への搬入や搬出の際の、箱の計数に最適化されているとはいえない。

この発明は、上述の状況に鑑みてなされたものである。この発明の目的は、より迅速かつ正確に箱を計数する箱計数装置を提供することにある。

上述の目的を達成するために、この発明の、箱の数を計数する装置である箱計数装置は、全体画像データを取得するカメラ、及び、前記全体画像データの撮影対象までの距離を示す距離データを取得する距離センサを有するセンサ部と、センサ部で得られた情報に基づいて、物品の数を計数する処理部とを備えて構成される。前記処理部は、前記全体画像データに対して、学習済みデータを利用して、箱に貼付されているラベルを抽出するラベル抽出手段と、前記全体画像データのうち、前記距離データが示す距離が一定の範囲内の画素を、箱の領域とし、前記距離データが示す距離が一定の範囲内にない画素を、箱以外の領域として、箱の領域と、箱以外の領域との境界を、箱の外形として抽出する箱抽出手段と、前記ラベル抽出手段で抽出された１つのラベルが、前記箱抽出手段で抽出された１つの箱の外形に含まれる場合に、ラベルと箱の外形を、ラベル付き箱に統合する統合手段と、前記ラベル付き箱の数を計数する計数手段とを備える。

この発明の箱計数装置では、箱の外形を抽出するにあたり、距離データが示す距離が一定の範囲内の画素を、箱の領域とし、距離データが示す距離が一定の範囲内にない画素を、箱以外の領域として、箱の領域と、箱以外の領域との境界を、箱の外形として抽出するので、箱の外形をより迅速かつ正確に抽出することができ、この結果、より迅速かつ正確に箱を計数することができる。

箱計数装置の一例を説明するための模式図である。箱計数装置が備える処理部の動作の一例を説明するための処理フロー図である。箱計数装置が備える処理部の動作の一例を説明するための模式図である。

以下、図を参照して、この発明の実施の形態について説明するが、各図は、この発明が理解できる程度に概略的に示したものに過ぎない。また、以下、この発明の好適な構成例につき説明するが、単なる好適例にすぎない。従って、この発明は以下の実施の形態に限定されるものではなく、この発明の構成の範囲を逸脱せずにこの発明の効果を達成できる多くの変更又は変形を行うことができる。以下の説明では、鉛直方向をＺ軸、水平面内に互いに直交する方向をX軸及びＹ軸とする。

図１～図３を参照して、この発明の一実施形態に係る箱計数装置を説明する。図１は、箱計数装置の一例を説明するための模式図である。また、図２は、箱計数装置が備える処理部の動作の一例を説明するための処理フロー図である。図３（Ａ）及び（Ｂ）は、箱計数装置が備える処理部の動作の一例を説明するための模式図であり、全体画像データの例を示している。

この発明の一実施形態に係る箱計数装置１００は、箱の数を計数する装置であって、センサ部１０と処理部２０とを備えて構成される。係数対象となる箱２１０は、パレット２００上に積載されて搬送され、箱計数装置１００で計数される。

ここでは、好適な実施形態として、計数位置に、鉛直方向の軸（Ｚ軸）を中心に回転可能な回転支持台（図示を省略する。）が備えられ、パレット２００が、回転支持台上に載置される例を説明するが、これに限定されない。

センサ部１０は、カメラ１２及び距離センサ１４を有する。

カメラ１２は、全体画像データを取得する。全体画像データは、計数位置に載置されたパレット２００と、パレット２００上に積載された箱２１０のうち、カメラ１２に対向する面に現れるすべての箱を含むように倍率、解像度などが設定される。カメラ１２は、この全体画像データを取得できればよく、従来公知の任意好適なカメラで構成できる。箱２１０は、直方体の箱の1つの面がＹＺ平面内にあるように載置され、カメラ１２は、撮影対象となる箱の全体画像データを取得する。なお、ここでは、発明の理解を容易にするために、箱の形状を直方体上として説明するが、箱は、任意好適な形状のものであってもよい。

距離センサ１４は、例えば、カメラ１２と同じＸ座標の、ＹＺ平面内に設けられる。距離センサ１４は、カメラ１２の撮影範囲全体について距離を測定し、全体画像データの各画素に対応する撮影対象までの距離を示す距離データを取得する。距離センサ１４は、任意好適な従来公知の測距計や距離計で構成できる。なお、距離センサ１４が、１つの（ｘ、ｙ、ｚ）座標から撮影対象までの距離を測定する場合は、距離データとしてＸ軸上の距離に換算される。なお、この換算については、処理部２０で行うこともできる。

直方体の箱２１０の１つの面がＹＺ平面内にあるように載置されている場合は、箱の部分の距離は、各画素で一定値となる。一方、複数の箱が置かれている場合、箱と箱の隙間部分や、Ｘ軸上の異なる位置に置かれている箱については、箱の部分の距離が、一定値とは異なる値となる。

センサ部１０で取得された、全体画像データ及び距離データは処理部２０に送られる。

処理部２０は、演算処理を行うＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０、ＲＡＭなどのいわゆるメモリ２２、ハードディスク等の記憶装置２４、入出力手段２６を備えて構成される。処理部２０は、例えば、ディスプレイなどの出力装置、キーボードなどの入力装置を備えるパーソナルコンピュータで構成される。

処理部２０では、記憶装置２４に格納されている所定のプログラムを、ＣＰＵ３０が実行することにより、後述する各機能手段が実現される。なお、処理部３０は、１つのパーソナルコンピュータで構成されてもよいし、複数のパーソナルコンピュータで構成されてもよい。また、複数のパーソナルコンピュータで構成される場合は、互いにインターネットを介して接続されていてもよい。

また、処理部２０は、センサ部１０に指示を送り、また、センサ部１０が取得したデータを受け取ることができればよく、センサ部１０と一体に構成されていてもよいし、センサ部１０とは離れた場所に設けられていてもよい。

処理部２０は、センサ部１０で得られたデータ（情報）に基づいて、物品の数を計数する。処理部２０は、機能手段として、ラベル抽出手段３２と、箱抽出手段３４と、統合手段３６と、計数手段３８とを備えて構成される。

図２及び図３を参照して、処理部２０での処理を説明する。先ず、処理部２０は、センサ部１０から送られた全体画像データ（図３（Ａ）参照）及び距離データを受け取る（Ｓ１０）。

ラベル抽出手段３２は、全体画像データ（図３（Ａ）参照。）から、箱２１０に貼付されているラベル２２０を抽出する（Ｓ２０）。このラベル２２０の抽出は、例えば、記憶装置２４に格納されている学習済みデータを利用した、いわゆる人工知能（ＡＩ：ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）による画像認識技術を用いて行われる。このＡＩによる画像認識技術は、当業者であれば実現可能であるので、ここでは、詳細な説明を省略する。

ここで、ラベル抽出手段３２は、画像認識技術を用いて抽出したラベルのうち、２つのラベルの間隔が０である場合、この２つのラベルをまとめて、新たに１つのラベルにすることができる。図３（Ａ）に示す例では、宛先などが記載された、第１～４の宛先ラベル２２０－１、２、３ａ、４と、バーコードが記載されたバーコードラベル２２０－３ｂの合わせて５つのラベルが抽出されている。第３の宛先ラベル２２０－３ａとバーコードラベル２２０－３ｂの間隔が０であるので、この２つのラベルをまとめて、第３のラベル２２０－３とする。第１、２、４の宛先ラベルは、そのまま、第１、２、４のラベル２２０－１、２、４となる。

箱抽出手段３４は、全体画像データ及び距離データから、箱の外形を抽出する（Ｓ３０）。箱抽出手段３４は、全体画像データのうち、距離データが示す距離が一定の範囲内にない画素を、箱以外の領域として、当該画素を例えば、黒にする（図３（Ｂ）参照）。一方、箱抽出手段３４は、全体画像データのうち、距離データが示す距離が一定の範囲内にある画素を、箱の領域とする。箱の領域に該当する画素については、箱以外の領域の画素と区別できればよく、任意好適な色に着色してもよいし、センサ部１０から送られた全体画像データの当該画素の色をそのまま用いてもよい。箱の領域と、箱以外の領域との判別に用いられる距離については、例えば、計数位置に載置されるパレット２００の距離センサ１４側の面を基準として、±１０ｃｍのように設定できる。箱抽出手段３４は、箱の領域と、箱以外の領域との境界を、箱の外形として抽出する。

図３（Ｂ）に示す例では、箱の外形として、第１～３の箱２１１－１～３が抽出される。

統合手段３６は、ラベルと箱の外形を、１つのラベル付き箱に統合する（Ｓ４０）。

Ｓ４０では、先ず、ラベル抽出手段３２で抽出された１つのラベル２２０が、箱抽出手段３４で抽出された１つの箱の外形２１１に含まれるか否かを判定する（Ｓ４１）。Ｓ４１の判定の結果、ラベル抽出手段３２で抽出された１つのラベル２２０が、箱抽出手段３４で抽出された１つの箱の外形２１１に含まれる場合（Ｙｅｓ）に、ラベルと箱の外形を、１つのラベル付き箱に統合する（Ｓ４５）。

図３（Ｂ）に示す例では、例えば、第２の箱の外形２１１－２と、第２のラベル２２０－２が１つのラベル付き箱として、第２のラベル付き箱２３０－２に統合される。

ここで、ｎ（ｎは２以上の整数）のラベルが、１つの箱の外形に含まれる場合に、統合手段３６が、ラベルと箱の外形を、ｎのラベル付き箱に統合するのが良い。例えば、Ｓ４１の判定の結果、１つのラベル２２０が、１つの箱の外形２１１に含まれない場合（Ｎｏ）、１つの箱の外形２１１に複数のラベルが含まれているか否かを判定する（Ｓ４２）。Ｓ４２の判定の結果、複数のラベル２２０が、１つの箱の外形２１１に含まれる場合（Ｙｅｓ）に、１つの箱とその箱の外形に含まれる複数のラベルを、１つの箱と１つのラベルの、複数のラベル付き箱に統合する（Ｓ４６）。

図３（Ｂ）に示す例では、例えば、第３の箱の外形２１１－３に、第３のラベル２２０－３及び第４のラベル２２０－４の２つのラベルが含まれているので、第３のラベル２２０－３が含まれる領域を第３のラベル付き箱２３０－１に、そして、第４のラベル２２０－４が含まれる領域を第４のラベル付き箱２３０－２に統合する。

また、１のラベルが、箱の外形に含まれない場合に、統合手段３６が、ラベルを、１つのラベル付き箱に統合するのが良い。例えば、Ｓ４２の判定の結果、複数のラベル２２０が、１つの箱の外形２１１に含まれない場合（Ｎｏ）、箱の外形２１１に含まれないラベルがあるか否かを判定する（Ｓ４３）。Ｓ４３の判定の結果、箱の外形に含まれないラベルがある場合（Ｙｅｓ）、１つのラベルを、１つのラベル付き箱に統合する（Ｓ４７）。

図３（Ｂ）に示す例では、例えば、第１のラベル２２０－１が箱の外形にふくまれないので、１つのラベル付き箱として、第１のラベル付き箱２３０－１に統合される。

なお、箱の外形にラベルが含まれない第１の箱２１１－１については、ラベル付き箱には統合されない。

このラベルと箱の外形を、１つのラベル付き箱に統合する（Ｓ４０）過程は、全体画像データに含まれる全てのラベルについて行われる。

Ｓ４０の過程において、全てのラベルがラベル付き箱に統合された後、計数手段３８は、統合手段３６で統合された、ラベル付き箱の数を計数する（Ｓ５０）。

上述した箱計数装置１００を用いると、箱の外形を抽出するにあたり、距離データが示す距離が一定の範囲内の画素を、箱の領域とし、距離データが示す距離が一定の範囲内にない画素を、箱以外の領域として、箱の領域と、箱以外の領域との境界を、箱の外形として抽出するので、箱の外形をより迅速かつ正確に抽出することができる。また、箱の外形
にラベルが含まれるもののみを計数するので、より迅速かつ正確に箱を計数できる。

ここでは、カメラ１２に対向する面についての処理を説明したが、パレット２００上に載置された箱を全て計数するためには、パレット２００を９０度ずつ回転させて、４つの面について処理するのが良い。４つの面について処理することで、パレット２００上に載置された箱２１０を全て計数することができる。

なお、箱２１０は、パレット２００上に、ラベル２２０が貼られた面が、パレット２００の縁から鉛直方向に延在する仮想的な平面上に位置するように配置しておくものとする。これは、物流の現場において、箱に貼られたラベルが視認しやすい位置に配置することに対応するが、この発明の箱計数装置の適用の際だけでなく、一般にこのように配置される。

また、パレット２００の角に対応する位置に配置された箱は、２つの面の全体画像データに含まれる。しかし、ラベルが貼られる面は通常１つの面であるので、ラベルが貼られている面を含む、全体画像データに含まれるもののみが計数対象となる。したがって、同じ箱を重複して計数することはない。

また、この発明の箱計数装置では、ＡＩを用いるなどして、比較的、確実に抽出されるラベルの抽出が行われ、箱の色や模様、載置される際の箱の重なり具合、計数される環境における光の影響などにより抽出が不安定である、箱の外形の抽出を補っている。このため、箱の外形のみを抽出する場合に比べて、より正確な、安定した計数が可能になる。

計数手段３８が計数した、ラベル付き箱の数は、処理部２０が備える、ディスプレイなどの入出力手段２６から出力される。

ここで説明する例では、パレット２００が、回転支持台上に載置され、回転支持台を回転させることで、センサ部１０の位置を固定したまま、４つの面についての計数を行うことができる。なお、この発明はこの構成に限定されない。回転支持台を設けずに、パレットを任意好適な手段で回転させてもよい。

箱計数装置１００の処理部２０は、さらに、パレット抽出手段４０を備えて構成されてもよい。パレット抽出手段４０は、全体画像データから、パレットを抽出する。このパレットの抽出は、ラベル抽出手段３２と同様に、記憶装置に格納されている学習済みデータを利用した、いわゆる人工知能（ＡＩ）による画像認識技術を用いうことができる。

このパレット抽出手段４０を備えることで、箱が搭載されたパレットを２層以上に積層した場合に、全体画像データからパレットに対応する領域を容易に除去できるので好ましい。

この箱計数装置１００が備えるカメラ１２で得られる全体画像データでは、ラベルから箱の情報を取得するのが困難な場合がある。したがって、箱計数装置１００は、センサ部１０が、さらに、複数のラベル用カメラ１６－１～１６－ｍ（ｍは２以上の整数）を備え、処理部２０が、ラベル情報取得手段４２を備えるのが良い。

ラベル用カメラ１６－１～１６－ｍは、全体画像データから抽出されたラベル部分のラベル画像データを取得する。例えば、ラベルが、いわゆるバーコードとして知られる一次元バーコードや、ＱＲコード（登録商標）として知られる二次元バーコードである場合、ラベル情報取得手段４２が、バーコードリーダとしての機能を備えているのが良い。箱計数装置１００が、ラベル用カメラ１６－１～１６－ｍを備えることで、単なるラベル付き
の箱の計数だけでなく、箱に収容されている物品の内容、送付先などの情報を含めた計数を行うことができる。

また、カメラ１２とは別にラベル用カメラ１６―１～１６－ｍを設けることで、カメラの倍率を変更することなく、全体画像データ及びラベル画像データを取得できるので、迅速な計数が可能になる。

さらに、ラベル用カメラを複数設けることで、１つのラベル用カメラで取得するラベル画像データの数を減らすことができるので、やはり、迅速な計数につながる。このラベル用カメラについても、全体画像データを取得するのに用いられるカメラと同様、任意好適な従来公知のカメラを用いることができる。

１０センサ部
１２カメラ
１４距離センサ
１６ラベル用カメラ
２０処理部
２２ＲＡＭ（メモリ）
２４記憶装置
２６入出力手段
３０ＣＰＵ
３２ラベル抽出手段
３４箱抽出手段
３６統合手段
３８計数手段
４０パレット抽出手段
４２ラベル情報取得手段
１００箱計数装置
２００パレット
２１０箱
２２０ラベル

Claims

箱の数を計数する装置であって、
全体画像データを取得するカメラ、及び、前記全体画像データの撮影対象までの距離を示す距離データを取得する距離センサを有するセンサ部と、
センサ部で得られた情報に基づいて、物品の数を計数する処理部と
を備え、
前記処理部は、
前記全体画像データに対して、学習済みデータを利用して、箱に貼付されているラベルを抽出するラベル抽出手段と、
前記全体画像データのうち、前記距離データが示す距離が一定の範囲内の画素を、箱の領域とし、前記距離データが示す距離が一定の範囲内にない画素を、箱以外の領域として、箱の領域と、箱以外の領域との境界を、箱の外形として抽出する箱抽出手段と、
前記ラベル抽出手段で抽出された１つのラベルが、前記箱抽出手段で抽出された１つの箱の外形に含まれる場合に、ラベルと箱の外形を、ラベル付き箱に統合する統合手段と、
前記ラベル付き箱の数を計数する計数手段と
を備える箱計数装置。
前記統合手段は、
前記ラベル抽出手段で抽出されたｎ（ｎは２以上の整数）のラベルが、前記箱抽出手段で抽出された１つの箱の外形に含まれる場合に、ラベルと箱の外形を、ｎのラベル付き箱に統合する
請求項１に記載の箱計数装置。
前記統合手段は、
前記ラベル抽出手段で抽出された１のラベルが、前記箱抽出手段で抽出された箱の外形に含まれない場合に、ラベルを、１つのラベル付き箱に統合する
請求項１又は２に記載の箱計数装置。
さらに、鉛直方向の軸を中心に回転可能な回転支持台を備え、
前記箱は、パレット上に積載され、
前記パレットは、前記回転支持台上に載置される
請求項１～３のいずれか一項に記載の箱計数装置。
さらに、複数のラベル用カメラを備え、
前記複数のラベル用カメラは、前記ラベル抽出手段が抽出したラベルを撮影して、ラベル画像を取得し、
前記処理部は、さらに、前記ラベル画像から、前記ラベルが示す情報を取得する
請求項１～４のいずれか一項に記載の計数装置。