JP7669727B2

JP7669727B2 - 製品管理システム

Info

Publication number: JP7669727B2
Application number: JP2021035717A
Authority: JP
Inventors: 裕貴大八木; 和誉笹川; 博任奥原; 尚志長本
Original assignee: Toppan Holdings Inc
Current assignee: Toppan Holdings Inc
Priority date: 2021-03-05
Filing date: 2021-03-05
Publication date: 2025-04-30
Anticipated expiration: 2041-03-05
Also published as: JP2022135731A

Description

本発明は、製品管理システムに関する。

近年、ＲＦＩＤ（Radio-Frequency Identification）を用いた製品管理が増加している。ＲＦＩＤは、製品に貼られたＲＦタグを、専用のリーダから非接触で読み出す技術である。ＲＦＩＤによる製品管理は、例えば、倉庫への製品の入出庫の管理（入出庫管理）に用いられる。入出庫管理は、例えば、商品が通過するＲＦリーダの機能を有したゲートを設置し、ゲートを通過する際に製品のＲＦタグを読み取ることで実行される。

ＲＦＩＤによる製品管理に関する技術は、以下の先行技術文献に開示されている。

特開2012-108777号公報特開2006-103812号公報

しかし、ＲＦＩＤで入庫と出庫を区別して管理しようとすると、入庫用のゲートと出庫用のゲートの両方を設置する必要がある。ゲートは、複数の製品を通過させるものであるため、相応の大きさとなり、複数設置するのには広いスペースが必要となる場合がある。また、ゲートは、大型であり、ＲＦリーダ機能を有するため、高価であるため、複数設置する場合は費用が増大となる。

そこで、ＲＦＩＤを用いた製品管理において、設置費用及び設置スペースを抑制しつつ、入庫及び出庫を区別した製品管理を行うことができる製品管理システム、製品管理方法、及び製品管理プログラムを提供する。

本発明の一つの実施の形態によれば、製品に付されたＲＦタグから製品の識別情報を読み出すＲＦＩＤリーダ機能を有するゲート部と、前記ゲート部の周辺を撮影する撮影部と、前記撮影部が撮影したデータと前記ゲート部が読み出した識別情報に基づき、前記ゲート部を通過する製品を管理する管理部と、を有する製品管理システムであって、前記管理部は、前記撮影部が撮影した画像データに基づき、搬送される製品が入庫であるか出庫であるかを示す搬送方向を判定する搬送方向判定処理と、前記搬送される製品の個数を判定する個数判定処理と、を実行する画像処理部と、前記ゲート部が読み出した識別情報の個数と、前記画像処理部によって判定された前記搬送される製品の個数とを比較し、前記搬送される製品の過不足を前記搬送方向ごとに判定する過不足判定部とを有する。

上記の本発明の一つの実施の形態によれば、設置費用及び設置スペースを抑制しつつ、入庫及び出庫を区別した製品管理を行うことができる。

図１は、製品管理システム１の構成例を示す図である。図２は、製品管理システム１のソフトウェア構成の例を示す図である。図３は、製品管理システム１の構成例を表す図である。図４は、製品管理処理のシーケンスの例を示す図である。図５は、製品管理処理Ｓ１００の処理フローチャートの例を示す図である。図６は、過不足判定処理Ｓ３０の処理フローチャートの例を示す図である。図７は、第２の実施の形態における過不足判定処理Ｓ６０の処理フローチャートの例を示す図である。図８は、入出庫リストと判定結果の例を示す図である。図９は、第３の実施の形態における製品管理処理Ｓ２００の処理フローチャートの例を示す図である。図１０は、画像解析用学習モデル事前学習処理Ｓ３００の処理フローチャートの例を示す図である。図１１は、加工した画像データの例を示す図である。

以下、発明を実施するための形態について説明する。

＜製品管理システム１の構成例＞
図１は、製品管理システム１の構成例を示す図である。製品管理システム１は、管理装置１００、ゲート２００、及びカメラ３００を有する。製品管理システム１は、ゲート２００を通過する製品の入出庫を管理するシステムである。製品は、ゲート２００を右方向から左方向（Ｄ１）に搬送される場合、出庫されており、逆方向（Ｄ２）に搬送されている場合、入庫されていると判定される。

製品Ｔ１～Ｔ３は、例えば、段ボールに梱包されており、それぞれＲＦタグＲ１～Ｒ３が梱包外面に貼り付けられている。

ＲＦタグは、製品に関する情報が記憶されたＩＣ（Integrated Circuit）チップを有する。製品に関する情報は、例えば、製品の識別子を含む。ＲＦタグは、例えば、パッシブタブである。パッシブタブは、バッテリーを搭載せず、ＲＦＩＤリーダから送信される電波を動力源として、ＲＦＩＤリーダに電波を送信するタブである。また、ＲＦタグは、自身が有するバッテリーを動力源として電波を送信するアクティブタブやセミアクティブタブであってもよい。

ゲート２００は、ＲＦＩＤリーダ機能を有し、ゲート内を通過する製品のＲＦタグを読み出す装置である。ゲート２００は、例えば、ＲＦタグを読み出すための電波を送信し、ＲＦタグから返信された電波を受信することで、近接（所定距離内）に製品が存在することを認識する。なお、ゲート２００が電波を送信するタイミングは、例えば、常時、所定間隔、あるいは管理者の操作や他の装置から指示されたタイミングなどである。

カメラ３００は、ゲート２００及びその周辺の所定範囲内の映像を撮影する撮影装置である。映像は、例えば、動画、静止画の一方または両方である。カメラ３００の撮影タイミングは、常時、所定間隔、あるいは管理者の操作や他の装置から指示されたタイミングなどである。また、カメラは、モーション機能（移動する物品の移動方向の判定を行うことができる機能）付きのカメラであってもよい。

管理装置１００は、ゲート２００を通して搬送（入庫及び出庫）される製品を管理する装置であり、例えば、コンピュータやサーバマシンである。管理装置１００は、カメラ３００が撮影した映像の画像データを取得する。管理装置１００は、画像データについての画像解析を行い、製品の数、製品の搬送方向（入庫又は出庫）などを判定する。

また、管理装置１００は、ゲート２００が、一連の処理において、又は所定時間内に読み出したＲＦＩＤを取得する。そして、画像解析の判定結果と、ＲＦＩＤの読み出し結果を使用し、製品の入庫及び出庫を管理する。

管理装置１００、ゲート２００、及びカメラ３００は、例えば、それぞれネットワークやケーブルを介して接続され、通信を行う。管理装置１００は、ゲート２００やカメラ３００と通信を行い、画像データやＲＦＩＤ読み出し結果を取得する。

なお、図１において、管理装置１００、ゲート２００、及びカメラ３００は、それぞれ異なる装置であるが、全て、あるいはいずれかの２つの装置が同一装置であってもよい。

＜製品管理システムのソフトウェ構成例＞
図２は、製品管理システム１のソフトウェア構成の例を示す図である。

カメラ３００は、撮影部３０を有する。撮影部３０は、所定範囲内を撮影し、撮影した映像データを内部メモリに記憶したり、管理装置１００の画像処理部１０に引き渡したりする。

ゲート（ゲート部）２００は、ＲＦＩＤ読出部２０を有する。ＲＦＩＤ読出部２０は、読み出し契機に応じて、ＲＦタグを読み出すための電波を送信し、送信した電波に応答してＲＦタグから返信された電波を受信する。そして、ＲＦＩＤ読出部２０は、受信した電波に含まれる、ＲＦタグの読み出しに成功したＲＦＩＤに関する情報（例えば、ＲＦＩＤの読み出した個数、製品に関する情報を含む）を、データを管理装置１００の製品管理部１４に引き渡す。

管理装置（管理部）１００は、画像処理部１０及び製品管理部１４を有する。画像処理部１０は、カメラ３００が撮影した画像データを取得し、画像解析を行う。製品管理部１４は、画像解析及びＲＦＩＤの読み出し結果に基づき、製品の入庫及び出庫を管理する。

画像処理部１０は、画像解析用学習モデル学習部１１、個数判定部１２、及び搬送方向判定部１３を有する。

画像解析用学習モデル学習部１１は、画像解析を行う画像解析用学習モデルの学習を行う。画像解析モデルは、例えば、画像解析用のＡＩ（Artificial Intelligence）である。画像解析用学習モデル学習部１１は、製品管理システム１の運用中の学習済み画像解析用学習モデルの判定精度の向上、又は製品管理システム１の運用前の画像解析用学習モデルの事前学習を行う。

個数判定部１２は、画像解析用学習モデルを使用し、画像データに映る製品の個数を判定する。個数判定部１２は、個数の判定結果を製品管理部１４に引き渡す。

搬送方向判定部１３は、製品の搬送方向（入庫又は出庫）を判定する。搬送方向判定部１３は、搬送方向の判定結果を製品管理部１４に引き渡す。

製品管理部１４は、入出庫リスト取得部１５、過不足判定部１６、及び学習用データ作成部１７を有する。

入出庫リスト取得部１５は、入庫及び出庫する製品に関する情報をリスト化した入出庫リストを取得する。入出庫リストは、例えば、管理装置１００と接続する基幹システムから取得する。

過不足判定部１６は、入庫及び出庫において、搬送する製品に過不足かあるか否かを判定する。過不足判定部１６は、少なくとも、個数判定部１２における判定個数、ＲＦＩＤ読出部２０によるＲＦＩＤの読み出しに成功した製品の個数に基づき、過不足の判定を行う。

学習用データ作成部１７は、製品管理システム１の運用中に撮影した画像データと、過不足の判定結果などから、画像解析用学習モデルを学習させる教師データ（学習用データ）を作成する。

なお、各部は、例えば、専用のハードウェアで構成されてもよいし、ロードしたプログラムをプロセッサが実行することで構築されてもよい。

＜製品管理システムのハードウェア構成例＞
図３は、製品管理システム１の構成例を表す図である。製品管理システム１は、ＣＰＵ（Central Processing Unit）１１０、ストレージ１２０、メモリ１３０、カメラ３００、ゲート２００、及びディスプレイ１６０を有する。

ストレージ１２０は、プログラムやデータを記憶する、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの補助記憶装置である。ストレージ１２０は、ＲＦＩＤ読出プログラム１２１、撮影プログラム１２２、画像処理プログラム１２３、製品管理プログラム１２４、及び画像解析用学習モデル学習プログラム１２５を記憶する。

メモリ１３０は、ストレージ１２０に記憶されているプログラムをロードする領域である。また、メモリ１３０は、プログラムがデータを記憶する領域としても使用されてもよい。

ＣＰＵ１１０は、ストレージ１２０に記憶されているプログラムを、メモリ１３０にロードし、ロードしたプログラムを実行し、各部を構築し、各処理を実行するプロセッサである。

カメラ３００は、ゲート２００周辺の製品を撮影する装置である。カメラ３００は、例えば、製品管理システム１を構成するコンピュータの外部に接続されてもよいし、コンピュータに内蔵されていてもよい。

ゲート２００は、ＲＦＩＤリーダ機能を有し、ＲＦＩＤリーダ機能を用いて製品に貼り付けられたＲＦタグが発信（返信）する電波を受信し、ＲＦタグの情報（製品情報）を取得する装置である。ゲート２００は、例えば、製品管理システム１を構成するコンピュータの外部に接続されてもよいし、コンピュータに内蔵されていてもよい。また、ゲート２００は、例えば、ゲートタイプであり、ゲート内に位置する、又はゲート２００と所定距離内に位置する製品のＲＦタグからＲＦＩＤを読み出す。

ディスプレイ１６０は、画像や動画を表示する表示部である。ディスプレイ１６０は、例えば、液晶や有機ＥＬ（Electro Luminescence）である。ディスプレイ１６０は、例えば、過不足判定の結果を表示する。

ＣＰＵ１１０は、ＲＦＩＤ読出プログラム１２１を実行することで、ＲＦＩＤ読出部２０を構築し、ＲＦＩＤ読出処理を行う。ＲＦＩＤ読出処理は、ゲート２００のＲＦＩＤ読み出し機能を使用し、ＲＦタグから製品情報を読み出す処理である。

ＣＰＵ１１０は、撮影プログラム１２２を実行することで、撮影部３０を構築し、撮影処理を行う。撮影処理は、カメラ３００を使用し、ゲート２００の周辺を含む映像を撮影する処理である。

ＣＰＵ１１０は、画像処理プログラム１２３を実行することで、画像処理部１０を構築し、画像処理を行う。画像処理は、画像データを解析し、画像データに映る製品の個数や、製品の搬入方向（入庫又は出庫）を判定する処理である。

ＣＰＵ１１０は、製品管理プログラム１２４を実行することで、製品管理部１４を構築し、製品管理処理を行う。製品管理処理は、入庫及び出庫において、製品の過不足判定を判定する処理である。

ＣＰＵ１１０は、画像解析用学習モデル学習プログラム１２５を実行することで、画像解析用学習モデル学習部１１及び学習用データ作成部１７を構築し、画像解析用学習モデル学習処理を行う。画像解析用学習モデル学習処理は、画像解析用学習モデルに学習させる教師データの選択や、教師データの入力など、画像解析用学習モデルの学習に関する処理を行う。なお、画像解析用学習モデル学習処理は、製品管理システム１の運用前に、画像解析用学習モデルの事前学習を含んでもよい。

＜製品管理処理シーケンス＞
図４は、製品管理処理のシーケンスの例を示す図である。以下、各部の処理について説明する。

撮影部３０は、ゲート２００周辺（製品を含む）撮影を行い、撮影した画像データを画像処理部１０に送信する（Ｓ１０）。

画像処理部１０は、画像解析用学習モデル５０を使用し（Ｓ１１）、個数判定処理Ｓ１２を実行し、実行結果を製品管理部１４に送信する（Ｓ１３）。画像解析用学習モデル５０は、例えば、ＡＩ（Artificial Intelligence）である。

個数判定処理Ｓ１２は、画像データに映る製品の個数を判定する処理である。個数判定処理Ｓ１２の実行結果は、製品の個数（以降、画像個数と呼ぶ場合がある）を含む。なお、個数判定処理Ｓ１２は、移動している（搬送されている）製品の個数を判定する。移動していない製品（同一位置に滞留している製品）は、搬送されている製品とはみなされず、搬送する製品の個数としてカウントされない。

また、画像処理部１０は、モーション機能付きカメラからの製品の動く方向に関する移動方向情報を取得し（Ｓ１４）、搬送方向判定処理Ｓ１５を実行し、実行結果を製品管理部１４に送信する（Ｓ１６）。

搬送方向判定処理Ｓ１５は、移動方向情報に基づき、製品の搬送方向（入庫されているのか出庫されているのか）を判定する処理である。搬送方向判定処理Ｓ１５の実行結果は、入庫又は出庫である旨（以降、画像搬送方向と呼ぶ場合がある）を含む。

ＲＦＩＤ読出部２０は、ＲＦＩＤを読み出し、読み出した結果を製品管理部１４に送信する（Ｓ２０）。読み出した結果は、ＲＦＩＤ読み出しに成功した個数（以降、読出個数と呼ぶ場合がある）や、読み出したＲＦＩＤに含まれる製品情報を含む。

製品管理部１４は、画像個数、読出個数、及び画像搬送方向を受信すると、過不足判定処理Ｓ３０を行い、学習用データ作成処理Ｓ４０を行う。

過不足判定処理Ｓ３０は、画像個数、読出個数、及び画像搬送方向に基づき、入庫及び出庫ごとに、搬送される製品に過不足があるか否かを判定する処理である。また、過不足判定処理Ｓ３０は、過不足を判定した結果を、ディスプレイ１６０に表示する処理を含んでもよい。

学習用データ作成処理Ｓ４０は、画像解析用学習モデル５０が画像解析に使用した画像データと、当該画像データの画像解析の正誤の結果などを、教師データとする（教師データを作成する）処理である。学習用データ作成処理Ｓ４０は、画像解析用学習モデル学習処理Ｓ４２に教師データを送信する（Ｓ４１）。なお、学習用データ作成処理Ｓ４０において作成する教師データは、画像個数の判定に関するものである。モーション機能付きカメラで移動方向を判定している場合、学習用データ作成処理Ｓ４０において、搬送方向判定に関する教師データは作成されない。

画像解析用学習モデル学習処理Ｓ４２は、教師データを入力し、画像解析用学習モデル５０を学習させ、画像解析用学習モデル５０を更新する（Ｓ４３）処理である。学習タイミングは、例えば、製品管理システム１の運用中であってもよいし、製品管理システム１の停止中（夜間やシステムメンテナンス時間など）であってもよい。製品管理システム１では、画像解析を行った画像データを使用し、画像解析用学習モデル５０を繰り返し学習させることで、画像解析の精度（個数判定処理Ｓ１２の実行結果が正しくなる割合）を向上させる。

なお、モーション機能を有さないカメラで画像を撮影する場合、例えば、画像解析用学習モデル５０を使用し、製品の動く方向及び入庫又は出庫を判定してもよい。この場合、搬送方向判定処理Ｓ１５についても学習用データを生成し、学習させてもよい。

さらに、画像解析用学習モデル５０のシステム運用中の学習については、実施しなくてもよい。運用中に学習しない例として、事前学習が十分に行われ、ＡＩとしての精度が相当に高い場合や、処理負荷や通信速度の関係から、運用中の学習が困難な場合などが挙げられる。また、システムの構成として、必ずしも運用中の学習機能を有さなくてもよい。

［第１の実施の形態］
第１の実施の形態について説明する。第１の実施の形態において、撮影データは動画データを使用する。管理装置１００は、動画データに基づき、製品の動きを検出し、製品の動きの検出を契機として、製品管理処理を実行する。

図５は、第１の実施の形態における製品管理処理Ｓ１００の処理フローチャートの例を示す図である。

管理装置１００は、動画の撮影データを解析し、製品の動き（製品が搬入あるいは搬出されようとしていること）を検出するのを待ち受ける（Ｓ１００－１のＮｏ）。管理装置１００は、製品が動き始めたことを検出すると（Ｓ１００－１のＹｅｓ）、個数判定処理Ｓ１２を実行する。

管理装置１００は、個数判定処理Ｓ１２において、動画データにおけるある瞬間の静止画から、製品の画像個数を判定する。個数判定処理Ｓ１２は、例えば、複数タイミングにおける複数の静止画に基づき、画像個数を判定する処理である。また、個数判定処理Ｓ１２は、例えば、複数のカメラ３００を用いて、複数方向から撮影した映像データを用いて、画像個数を判定する処理であってもよい。さらに、個数判定処理Ｓ１２は、カメラ３００が深度測定機能を有する場合、深度測定の結果を画像個数の判定に流用する処理を含んでもよい。深度測定機能は、物体までの距離を検出する機能であって、例えば、複数の段ボールに囲まれた領域が、空間であるのか段ボールであるのかを判定することを可能とする機能である。

管理装置１００は、搬送方向判定処理Ｓ１５を実行する。管理装置１００は、搬送方向判定処理Ｓ１５において、カメラから取得した移動方向に関する情報に応じて、製品の搬送方向が入庫であるのか出庫であるのかを判定する。搬送方向判定処理Ｓ１５は、カメラのモーション機能によって取得した移動方向から、製品が入庫されているのか、あるいは出庫されているのかを判定する処理である。

管理装置１００は、ＲＦＩＤの読み出しが完了するのを待ち受ける（Ｓ１００－２のＮｏ）。ＲＦＩＤの読み出しは、例えば、１つのＲＦＩＤを読み出してから、所定時間が経過するまでの間、ＲＦＩＤの読み出しを継続する。所定時間だけＲＦＩＤの読み出しを継続するのは、例えば、製品自体の大きさや、ゲート２００付近の電波状況によって、複数の製品のＲＩタグの読み出しが成功するまでに、相応の時間が必要である可能性があるためである。

管理装置１００は、ＲＦＩＤの読み出しが完了すると（Ｓ１００－２のＹｅｓ）、過不足判定処理Ｓ３０を実行する。過不足判定処理Ｓ３０の詳細については、後述する。

管理装置１００は、過不足判定処理Ｓ３０において、製品に過不足があった場合（Ｓ１００－３のＹｅｓ）、製品の確認や、過不足に対する対応を行う（Ｓ１００－４）。処理Ｓ１００－４は、例えば、画像個数と読出個数が不一致であること、及び入庫又は出庫などの画像搬送方向をディスプレイ１６０などに表示し、管理者に製品に過不足に対する確認又は対応を行うように促す処理を含む。

管理装置１００は、画像データと過不足判定結果から、教師データを作成し、画像解析用学習モデル学習処理Ｓ４２を実行し、再度製品の動きの検出待ち（Ｓ１００－１）を行う。なお、教師データは、例えば、学習用データ作成処理Ｓ４０で作成される。

＜過不足判定処理＞
図６は、過不足判定処理Ｓ３０の処理フローチャートの例を示す図である。管理装置１００は、画像個数と読出個数が一致しているか否かを判定する（Ｓ３０－１）。

管理装置１００は、画像個数と読出個数が一致している場合（Ｓ３０－１のＹｅｓ）、画像搬送方向が出庫であれば（Ｓ３０－２の「出庫」）、出庫において製品に過不足はないと判定し（Ｓ３０－３）、画像搬送方向が入庫であれば（Ｓ３０－２の「入庫」）、入庫において製品に過不足はないと判定し（Ｓ３０－４）、処理を終了する。

一方、管理装置１００は、画像個数と読出個数が一致していない場合（Ｓ３０－１のＮｏ）、画像搬送方向が出庫であれば（Ｓ３０－５の「出庫」）、出庫において製品に過不足があると判定し（Ｓ３０－７）、画像搬送方向が入庫であれば（Ｓ３０－５の「入庫」）、入庫において製品に過不足があると判定し（Ｓ３０－６）、処理を終了する。

第１の実施の形態において、管理装置１００は、動画データから製品の動き（搬送）を検出すると、画像個数及び画像搬送方向を動画データから判定する。そして、管理装置１００は、ＲＦＩＤの読み出し結果を取得し、読出個数と画像個数を比較し、画像搬送方向ごとに製品の過不足があるか否かを判定する。これにより、１つのゲート２００を設置することで、入庫及び出庫の両方向について、製品の過不足を判定でき、製品管理を行うことが可能となる。また、管理装置１００が画像から入庫及び出庫を判定することで、例えば、管理者が入庫又は出庫を入力する手間や、誤って入力してしまうリスクを削減することができる。

［第２の実施の形態］
第２の実施の形態について説明する。第２の実施の形態において、管理装置１００は、第１の実施の形態における過不足判定処理Ｓ３０に代替し、過不足判定処理Ｓ６０を実行する。過不足判定処理Ｓ６０は、入庫及び出庫する製品の一覧を含む入出庫リスト（製品リスト）を、過不足判定に使用する処理である。入出庫リストは、例えば、搬送方向、搬送する製品の識別子を含む識別情報、搬送する製品の個数（個数情報）などの情報を含む。

図７は、第２の実施の形態における過不足判定処理Ｓ６０の処理フローチャートの例を示す図である。管理装置１００は、入出庫リストを取得する（Ｓ６０－１）。管理装置１００は、例えば、入出庫リストを作成及び管理する基幹システムから、入出庫リストを取得する。また、管理装置１００は、例えば、管理者の入力によって、入出庫リストを取得してもよい。

管理装置１００は、入出庫リストの搬送方向は、画像搬送方向と一致しているか否かを判定する（Ｓ６０－２）。管理装置１００は、入出庫リストの搬送方向が画像搬送方向と一致していない場合（Ｓ６０－２のＮｏ）、製品に過不足があると判定し（Ｓ６０－５）、処理を終了する。なお、製品に過不足があるという判定は、搬送方向の誤りや、余って製品を動かしてしまったことなど、製品の過不足以外のエラーが発生したという判定を含む。

一方、管理装置１００は、入出庫リストの搬送方向が画像搬送方向と一致している場合（Ｓ６０－２のＹｅｓ）、画像個数、読出個数、及び入出庫リストの搬送個数が、全て一致しているか否かを判定する（Ｓ６０－３）。

管理装置１００は、画像個数、読出個数、及び入出庫リストの搬送個数が、全て一致している場合（Ｓ６０－３のＹｅｓ）、製品に過不足がないと判定し（Ｓ６０－４）、処理を終了する。

一方、管理装置１００は、画像個数、読出個数、及び入出庫リストの搬送個数が、一部一致しない場合（Ｓ６０－３のＮｏ）、製品に過不足があると判定し（Ｓ６０－５）、処理を終了する。

図８は、入出庫リストと判定結果の例を示す図である。図８（Ａ）は、過不足なしと判定する場合の例を示す図である。管理装置１００は、入出庫リストＬ１の搬送方向は入庫であり、画像搬送方向も入庫であるため、搬送方向は一致すると判定する（表１、図７のＳ６０－２のＹｅｓ）。管理装置１００は、入出庫リストＬ１の搬送個数は７個、画像個数も７個、読出個数も７個であり、全て同じ個数であるため（表２、図７のＳ６０－３のＹｅｓ）、過不足はないと判定する（図７のＳ６０－４）。

図８（Ｂ）は、過不足ありと判定される場合の例を示す図である。管理装置１００は、入出庫リストＬ１の搬送方向は入庫であり、画像搬送方向も入庫であるため、搬送方向は一致すると判定する（表３、図７のＳ６０－２のＹｅｓ）。管理装置１００は、入出庫リストＬ１の搬送個数は７個、画像個数は６個、読出個数は６個であり、全てが一致しないためるため（表４、図７のＳ６０－３のＮｏ）、過不足があると判定する（図７のＳ６０－５）。

＜変形例＞
管理装置１００は、過不足判定処理Ｓ６０において、入出庫リストの搬送個数に代替し、入出庫リストの搬送製品の識別子（ＩＤ）を用いてもよい。この場合、管理装置１００は、入出庫リストの搬送製品の識別子と、ＲＦＩＤの読出結果における製品の識別子が全て一致（過不足なく一致）するか否かを確認する。そして、管理装置１００は、識別子が全て一致する場合、さらに、画像個数と入出庫リストの搬送個数（読出個数と同じ）が一致するか否かを判定する。管理装置１００は、識別子、搬送個数の全てが一致する場合、製品に過不足がないと判定し、一部でも一致しない場合、製品に過不足があると判定する。

また、入出庫リストとの比較は、出庫時のみ実行されてもよい。入庫は、どのタイミングでどれだけの製品が運び込まれるのかが不明確である場合があるため、入庫については入出庫リストが作成されない場合がある。一方、出庫は、例えば、顧客に製品を配送するタイミングで行われるため、運び出すタイミングや対象製品が明確であり、厳密に管理されるため、リスト化されることが多い。

さらに、出庫時のみ、過不足判定処理を行ってもよい。上述したように、出庫時の方が、厳密な製品管理が要求されるためである。例えば、管理装置１００は、図５の製品管理処理Ｓ１００における搬送方向判定処理Ｓ１５において、画像搬送方向が入庫である場合、過不足判定処理Ｓ３０（Ｓ６０）や個数判定処理Ｓ１２などを実行しなくてもよい。

［第３の実施の形態］
第３の実施の形態について説明する。第３の実施の形態において、撮影データは静止画データを使用する。管理装置１００は、ＲＦＩＤの読み出しを検出すると、少なくとも２つのタイミングで撮影した静止画データに基づき、製品の搬送方向を判定し、製品管理を実行する。

図９は、第３の実施の形態における製品管理処理Ｓ２００の処理フローチャートの例を示す図である。

管理装置１００は、ＲＦＩＤの読み出しを検出するのを待ち受ける（Ｓ２００－１のＮｏ）。管理装置１００は、ＲＦＩＤの読み出しを検出すると（Ｓ２００－１のＹｅｓ）、複数タイミングで撮影した撮影データ（静止画データ）を取得する（Ｓ２００－２）。

管理装置１００は、撮影データに基づき、個数判定処理Ｓ１２を実行する。管理装置１００は、個数判定処理Ｓ１２において、複数の画像データのある１つの画像データから画像個数を判定してもよいし、複数の画像データから総合的に画像個数を判定してもよい。

管理装置１００は、搬送方向判定処理Ｓ１５を実行する。管理装置１００は、搬送方向判定処理Ｓ１５において、静止画データに基づき、製品の搬送方向が入庫であるのか出庫であるのかを判定する。搬送方向判定処理Ｓ１５は、撮影した製品の画像データ内の位置を、時系列で把握することで、製品の移動方向を判定する。

管理装置１００は、過不足判定処理Ｓ３０を実行する。管理装置１００は、過不足判定処理Ｓ３０において、製品に過不足があった場合（Ｓ２００－３のＹｅｓ）、製品の確認や、過不足に対する対応を行う（Ｓ２００－４）。

管理装置１００は、画像データと過不足判定結果から、教師データを作成し、画像解析用学習モデル学習処理Ｓ４２を実行し、再度ＲＦＩＤの読み出しの検出待ち（Ｓ２００－１）を行う。

第１の実施の形態において、管理装置１００は、動画の画像解析による製品の動きの検出を契機として、製品管理処理を実行した。しかし、撮影する画像が静止画である場合、動画のように製品の動きをリアルタイムで検出することができない場合がある。そこで、第３の実施の形態において、管理装置１００は、ＲＦＩＤの読み出しを契機として、静止画の撮影（連続した撮影）を行うことで、静止画を常時撮影せずに、製品の動きを検出することができる。

［第４の実施の形態］
第４の実施の形態について説明する。第４の実施の形態では、画像解析用学習モデルの学習方法について説明する。

＜画像解析用学習モデル学習処理＞
画像解析用学習モデル学習処理Ｓ４２について説明する。画像解析用学習モデル学習処理Ｓ４２は、以下の２つのパターンにおいて実行される処理である。

１つ目のパターンは、製品管理システム１の運用中に、撮影した画像データを用いて、学習を行うパターンである。例えば、画像個数と読出個数が異なる場合がある。この場合、ＲＦＩＤの読み出し漏れ、あるいは対象以外の製品のＲＦＩＤを誤って読み出してしまった場合など、ＲＦＩＤの読み出しにエラーが発生したことが考えられる。一方、この場合、画像解析用学習モデルが、誤って画像個数を判定したことも考えられる。ここで、例えば、ＲＦＩＤが製品以外のＲＦＩＤを読み出してしまうエラーが発生する可能性は相当低いと想定した場合、読出個数が画像個数より多い場合、画像個数の判定が誤っている可能性が高い。そこで、管理装置１００は、読出個数が画像個数より多い場合、読出個数を正しいと仮定し、学習用データ作成処理Ｓ４０において、読出個数が正解数であることと画像解析に使用した画像データを、学習用データ（教師データ）として、画像解析用学習モデル学習処理を行う。

また、管理装置１００は、モーション機能を有さないカメラで撮影した画像を用いて、画像解析用学習モデルが画像搬送方向を判定する場合、画像搬送方向（製品の移動方向）に関して学習を行ってもよい。画像搬送方向は、製品の移動方向から判定される。そのため、移動方向の判定が誤ると、画像搬送方向も誤った判定となる。そこで、管理装置１００は、画像搬送方向の学習として、製品の移動方向の学習を行う。なお、モーション機能付きカメラが使用されている場合、管理装置１００は、移動方向の判定をカメラから取得するため、画像搬送方向の学習は行わない。

２つめのパターンは、製品管理システム１の運用前に、事前学習を行うパターンである。図１０は、画像解析用学習モデル事前学習処理Ｓ３００の処理フローチャートの例を示す図である。

管理装置１００は、複数角度から製品（複数、単数）の映像を撮影する（Ｓ３００－１）。処理Ｓ３００－１は、例えば、複数の製品を積み重ね、前後左右の４方向から撮影する。

管理装置１００は、個別物品の映像を撮影する（Ｓ３００－２）。個別物品は、例えば、様々な形状、大きさの製品（梱包を含む）である。また、個別物品は、製品以外に、製品を運ぶための台車や、製品を運ぶ人物、倉庫内にある物体などを含む。すなわち、個別物品は、製品以外で、ゲート２００の周辺に存在する（位置する）可能性があるものを対象とする。個別物品の映像データを事前学習に使用することで、製品か否かを判定する精度が向上する。

管理装置１００は、製品同士の境界線を加工した画像データ（加工画像データ）を生成する（Ｓ３００－３）。図１１は、加工した画像データの例を示す図である。管理装置１００は、処理Ｓ３００－３において、図１１（Ａ）の画像データを、図１１（Ｂ）、（Ｃ）、（Ｄ）のように加工する。

図１１（Ｂ）は、製品同士が接触する線を強調した加工データの例を示す図である。下の製品と上に積まれた製品とが接触する境界線を、太い線とする。

図１１（Ｃ）は、画像上の製品同士の境界線を強調した加工データの例を示す図である。下の製品と上に積まれた製品が実際に接触する境界線に加え、映像上で製品同士が重なる境界線についても、太い線とする。

図１１（Ｄ）は、製品の線の全てを強調した加工データの例を示す図である。例えば、製品が直方体である場合、両製品の映っている範囲の全ての辺を太い線とする。

このように、製品同士、又は製品と空間、あるいは製品の形状がより明確となるようにした加工データを教師データとして用いることで、製品の個数認識の精度が向上する。

管理装置１００は、撮影したデータや加工データを教師データとし、画像解析用学習モデルの学習を行い（Ｓ３００－４）、処理を終了する。

このように、管理装置１００は、事前学習において、製品の個数そのものを学習させない。これは、個数の学習を行うためには、膨大な数の教師データが必要となり、時間や工数が増大する。第４の実施の形態において、管理装置１００は、個別の製品、物品を学習させ、一部線を強調した加工データを用いて境界線を学習させることで、製品の個数そのものを学習させなくても、製品の個数が判定できる（個別の製品を認識できる）画像解析用学習モデルを構築することができる。

［その他の実施の形態］
上述した実施の形態は、それぞれ組み合わせて実行されてもよい。例えば、第１の実施の形態における動画に代替し、静止画を使用してもよい。この場合、定期的に静止画を撮影し、製品が動いたことを判定するようにしてもよい。また、事前学習、運用中の学習など、学習に要する時間や工数を考慮し、適宜実施するようにしてもよい。

１：製品管理システム
１０：画像処理部
１１：画像解析用学習モデル学習部
１２：個数判定部
１３：搬送方向判定部
１４：製品管理部
１５：入出庫リスト取得部
１６：過不足判定部
１７：学習用データ作成部
２０：ＲＦＩＤ読出部
３０：撮影部
５０：画像解析用学習モデル
１００：管理装置
１１０：ＣＰＵ
１２０：ストレージ
１２１：ＲＦＩＤ読出プログラム
１２２：撮影プログラム
１２３：画像処理プログラム
１２４：製品管理プログラム
１２５：画像解析用学習モデル学習プログラム
１３０：メモリ
１６０：ディスプレイ
２００：ゲート
３００：カメラ

Claims

製品に付されたＲＦタグから製品の識別情報を読み出すＲＦＩＤリーダ機能を有するゲート部と、
前記ゲート部の周辺を撮影する撮影部と、
前記撮影部が撮影したデータと前記ゲート部が読み出した識別情報に基づき、前記ゲート部を通過する製品を管理する管理部と、を有する製品管理システムであって、
前記管理部は、
前記撮影部が撮影した画像データに基づき、搬送される製品が入庫であるか出庫であるかを示す搬送方向を判定する搬送方向判定処理と、前記搬送される製品の個数を判定する個数判定処理とを実行する画像処理部と、
前記ゲート部が読み出した識別情報の個数と、前記画像処理部によって判定された前記搬送される製品の個数とを比較し、前記識別情報の個数と前記画像処理部によって判定された個数との一致又は不一致を判定したのち、前記搬送される製品が入庫であるか出庫であるかをさらに判定することにより、前記搬送される製品の過不足を前記搬送方向ごとに判定する過不足判定部とを有する
製品管理システム。
製品に付されたＲＦタグから製品の識別情報を読み出すＲＦＩＤリーダ機能を有するゲート部と、
前記ゲート部の周辺を撮影する撮影部と、
前記撮影部が撮影したデータと前記ゲート部が読み出した識別情報に基づき、前記ゲート部を通過する製品を管理する管理部と、を有する製品管理システムであって、
前記管理部は、
前記撮影部が撮影した画像データに基づき、搬送される製品が入庫であるか出庫であるかを示す搬送方向を判定する搬送方向判定処理と、前記搬送される製品の個数を判定する個数判定処理とを実行する画像処理部と、
前記ゲート部が読み出した識別情報の個数と、前記画像処理部によって判定された前記搬送される製品の個数とを比較し、前記搬送される製品の過不足を前記搬送方向ごとに判定する過不足判定部とを有し、
前記画像処理部は、前記撮影部が撮影したデータと、前記データに基づき判定された搬送方向の結果とから生成された学習用データによって学習されるモデルを用いて、前記搬送される製品の搬送方向を判定する、
製品管理システム。
前記画像データは動画データであって、
前記画像処理部は、前記動画データにおいて、前記搬送される製品の搬送が開始されたことを認識したとき、前記ゲート部に前記ＲＦタグの読み出しを行うよう指示する
請求項１又は２に記載の製品管理システム。
前記過不足判定部は、さらに、前記搬送する製品の個数に関する個数情報を含む製品リストを取得し、前記製品リストの前記搬送する製品の個数と、前記ゲート部が読み出した識別情報の個数と、前記画像処理部によって判定された前記搬送される製品の個数とを比較し、全てが一致している場合、前記搬送される製品に過不足はないと判定する
請求項１又は２に記載の製品管理システム。
前記製品リストは、前記搬送する製品の識別情報を含み、
前記過不足判定部は、前記製品リストの前記搬送する製品の識別情報と、前記ゲート部が読み出した識別情報とが全て一致し、さらに、前記画像処理部によって判定された前記搬送される製品の個数と前記ゲート部が読み出した識別情報の個数とが一致した場合、前記搬送される製品に過不足はないと判定する
請求項４記載の製品管理システム。
前記製品リストは、搬送方向に関する情報を含み、
前記過不足判定部は、さらに、前記製品リストの搬送方向と、前記画像処理部によって判定された搬送方向とが一致するとき、前記搬送される製品に過不足はないと判定する
請求項５記載の製品管理システム。