JP7507131B2 - 物品照合システムおよび物品照合方法 - Google Patents

Description

本開示は、物品照合システムおよび物品照合方法に関する。

従来、車両の部品等の物品を同じ種類の物品ごとに収容体に収容することが行われている。また、収容体に付された物品の品番等の識別情報と、収容体に収容された複数の物品の各々の品番等の識別情報と、が一致しているか否かを照合する照合作業がユーザにより行われている。照合作業を電子化する技術として、例えば、物品および作業者の手袋に添付された複数のＱＲ（Quick Response）コード（登録商標）を撮影した撮影画像を解析するシステムが知られている（例えば、特許文献１参照）。

特開２００８－２２５９１３号公報

しかしながら、従来技術では、作業者の動きに応じた作業支援を行うために、物品および作業者の手袋に添付された複数のＱＲコード（登録商標）の映像を常時撮影する必要があり、処理負荷が問題となる場合があった。

本開示が解決しようとする課題は、低処理負荷で物品の照合を行うことができる物品照合システムおよび物品照合方法を提供することである。

本開示にかかる物品照合システムは、撮影部と、第１取得部と、送信部と、第２取得部と、照合部と、を備える。撮影部は、収容体に収容された物品を撮影可能な位置に配置され、撮影を指示する撮影指示信号を受信したときに撮影を行う。第１取得部は、前記収容体に付された前記物品を識別する第１識別情報を読み取る読取装置から前記第１識別情報を取得する。送信部は、前記第１識別情報を取得したときに前記撮影部に前記撮影指示信号を送信する。第２取得部は、前記撮影部により撮影された画像を示す撮影画像を取得する。照合部は、前記第１識別情報と前記撮影画像に含まれる前記物品を識別する第２識別情報とを照合する。照合部は、前記第１識別情報および前記撮影画像から前記第１識別情報と前記第２識別情報との照合結果および前記第２識別情報を出力する第１学習モデル、前記撮影画像から前記第２識別情報を出力する第２学習モデル、および前記第１識別情報および前記撮影画像から前記照合結果を出力する第３学習モデル、の各々の学習モデルを識別する学習モデル識別情報と、前記撮影画像の種類を表す種類識別情報と、を予め対応付けた記憶部から、照合対象の前記撮影画像の種類を表す前記種類識別情報に対応付けられた前記学習モデル識別情報によって識別される前記学習モデルを用いて、前記第１識別情報と前記第２識別情報とを照合する。

本開示にかかる物品照合システムおよび物品照合方法によれば、低処理負荷で物品の照合を行うことができる。

図１は、実施形態に係る物品照合システムの一例を示す模式図である。 図２Ａは、実施形態に係る収容体に収容された物品の一例を示す模式図である。 図２Ｂは、実施形態に係る収容体の一例の側面図である。 図３は、実施形態に係る情報処理装置の一例のハードウェア構成図である。 図４は、実施形態に係る情報処理装置の一例の機能ブロック図である。 図５は、実施形態に係る撮影画像の一例の模式図である。 図６Ａは、実施形態に係る第１学習モデルの一例の説明図である。 図６Ｂは、実施形態に係る第２学習モデルの一例の説明図である。 図６Ｃは、実施形態に係る第３学習モデルの一例の説明図である。 図７は、実施形態に係る表示画像の一例の模式図である。 図８は、実施形態に係る情報処理の流れの一例を示すフローチャートである。

以下に添付図面を参照して、本開示に係る物品照合システムおよび物品照合方法の実施形態を説明する。

図１は、本実施形態の物品照合システム１の一例を示す模式図である。物品照合システム１は、情報処理装置１０と、撮影部２０と、読取装置５０と、を備える。

物品照合システム１は、収容体３０に収容された物品４０の第２識別情報Ｄ２と収容体３０に付された第１識別情報Ｄ１とを照合するシステムである。本実施形態では、第２識別情報Ｄ２と第１識別情報Ｄ１との照合を、物品４０の照合と称して説明する場合がある。

物品４０とは、照合対象の物である。物品４０は、例えば、車両等の製品、製品または建造物等を構成する部品、果実等の食品、等である。本実施形態では、物品４０が、車両を構成する部品である形態を一例として説明する。

収容体３０は、物品４０を収容する物である。収容体３０は、１または複数の物品４０を収容する。収容体３０は、収容体３０に収容された物品４０を収容体３０の外部から撮影可能に構成されている。本実施形態では、収容体３０は開口部を有し、開口部を介して収容された物品４０を収容体３０の外部から撮影可能に構成されている。なお、収容体３０の少なくとも一部を透明な部材で構成し、該透明な部材を介して、収容された収容体３０を撮影可能に構成してもよい。

図２Ａは、収容体３０に収容された物品４０の一例を示す模式図である。本実施形態では、収容体３０に複数の物品４０が収容された形態を一例として説明する。詳細には、本実施形態では、収容体３０には、物品４０Ａ～物品４０Ｄの４個の物品４０が収容された形態を一例として説明する。なお、収容体３０に収容される物品４０の数は、１個以上であればよく、４個に限定されない。

収容体３０には、同じ分類に属する物品４０が収容される。分類とは、複数の物品４０を予め定められた分類条件に従って分類した各群を意味する。分類は、例えば、物品４０の種類、物品４０の管理単位、物品４０の製造単位、等である。同じ分類に属する物品４０を収容した収容体３０は、例えば、工程間または事業所間等を受け渡される。

収容体３０に収容された物品４０には、第２識別情報Ｄ２が付与されている。第２識別情報Ｄ２は、物品４０の識別情報である。本実施形態では、第２識別情報Ｄ２は、物品４０の属する分類の識別情報である形態を一例として説明する。第２識別情報Ｄ２は、例えば、物品４０の品番等である。第２識別情報Ｄ２は、識別情報を表す文字等によって表される。

第２識別情報Ｄ２は、例えば、物品４０に付与されたラベルＬ２等に設けられている。第２識別情報Ｄ２は、物品４０に直接設けられた形態であってもよい。

図２Ｂは、収容体３０の一例の側面図である。収容体３０には、収容体３０に収容された物品４０の第１識別情報Ｄ１が付与されている。

第１識別情報Ｄ１は、収容体３０に収容された物品４０の識別情報である。本実施形態では、第１識別情報Ｄ１は、物品４０の属する分類の識別情報である形態を一例として説明する。具体的には、例えば、第１識別情報Ｄ１および第２識別情報Ｄ２は、物品４０の品番等である。

第１識別情報Ｄ１は、例えば、収容体３０に付与されたラベルＬ１等に設けられている。第１識別情報Ｄ１は、識別情報を表す文字、または識別情報を表す識別子等によって表される。識別情報を表す識別子は、例えば、バーコード等の一次元コード、ＱＲ（Quick Response）コード（登録商標）等の二次元コードである。本実施形態では、第１識別情報Ｄ１がラベルＬ１に付されたＱＲコードＱによって表される形態を一例として説明する。

なお、第１識別情報Ｄ１は、収容体３０に直接設けられた形態であってもよい。

本実施形態では、同じ分類に属する物品４０が同じ収容体３０に収容されて受け渡される場面を想定して説明する。このため、正しい状態では、収容体３０に付された第１識別情報Ｄ１と、収容体３０に収容された複数の物品４０の各々の第２識別情報Ｄ２と、が一致した状態となる。しかし、収容体３０に収容された物品４０の少なくとも一部の第２識別情報Ｄ２が、収容体３０に付された第１識別情報Ｄ１とは異なる場合がある。例えば、１つの収容体３０に、異なる分類に属する物品４０が収容される場合がある。

従来技術では、ユーザが、収容体３０に付された第１識別情報Ｄ１と、収容体３０に収容された複数の物品４０の第２識別情報Ｄ２の各々と、が一致しているか否かを照合する照合作業を行っていた。本実施形態の物品照合システム１では、この照合作業を電子化した照合処理として実行する。

図１に戻り説明を続ける。撮影部２０は、収容体３０に収容された物品４０を撮影可能な位置に配置されている。撮影部２０は、撮影によって撮影画像データを得る。本実施形態では、撮影画像データを、単に、撮影画像と称して説明する。撮影部２０は、後述する情報処理装置１０から撮影指示信号を受信したときに、収容体３０に収容された物品４０を撮影し、撮影画像を情報処理装置１０へ出力する。本実施形態では、撮影部２０は、収容体３０に収容された全ての物品４０を撮影可能となるように、撮影画角が予め調整されている。このため、撮影部２０によって撮影された撮影画像には、収容体３０に収容されている物品４０Ａ～物品４０Ｂが含まれる。

読取装置５０は、収容体３０に付された物品４０の第１識別情報Ｄ１を読取る読取装置である。上述したように、本実施形態では、第１識別情報Ｄ１がＱＲコードＱとしてラベルＬ１に設けられている形態を一例として説明する。このため、本実施形態では、読取装置５０が、ＱＲコードＱを読取ることで、ＱＲコードＱによって表される第１識別情報Ｄ１を出力するバーコードリーダである形態を一例として説明する。

本実施形態では、読取装置５０は、ユーザによる操作によって読取装置５０のＱＲコードＱの読取面がラベルＬ１のＱＲコードＱに対向配置されることで、ラベルＬ１に設けられたＱＲコードＱを読取る形態を一例として説明する。

情報処理装置１０は、収容体３０に収容された物品４０の第２識別情報Ｄ２と収容体３０に付された第１識別情報Ｄ１とを照合する。情報処理装置１０と、撮影部２０および読取装置５０とは、通信可能に接続されている。

情報処理装置１０のハードウェア構成を説明する。

図３は、情報処理装置１０の一例のハードウェア構成図である。

情報処理装置１０は、ＣＰＵ（Central Processing Unit）１１Ａ、ＲＯＭ（Read Only Memory）１１Ｂ、ＲＡＭ（Random Access Memory）１１Ｃ、およびＩ／Ｆ１１Ｄ等がバス１１Ｅにより相互に接続され、通常のコンピュータを利用したハードウェア構成である。

ＣＰＵ１１Ａは、本実施形態の情報処理装置１０を制御する演算装置である。ＲＯＭ１１Ｂは、ＣＰＵ１１Ａによる各種処理を実現するプログラムを記憶する。ＲＡＭ１１Ｃは、ＣＰＵ１１Ａによる各種処理に必要なデータを記憶する。Ｉ／Ｆ１１Ｄは、データを送受信するためのインターフェースである。

本実施形態の情報処理装置１０で実行される情報処理を実行するためのプログラムは、ＲＯＭ１１Ｂ等に予め組み込んで提供される。なお、本実施形態の情報処理装置１０で実行されるプログラムは、情報処理装置１０にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読取り可能な記録媒体に記録されて提供するように構成してもよい。

次に、情報処理装置１０の機能的構成を説明する。

図４は、情報処理装置１０の一例の機能ブロック図である。図４には、物品照合システム１に含まれる情報処理装置１０以外の構成も併せて示す。

情報処理装置１０は、処理部１２と、通信部１４と、記憶部１６と、表示部１８と、を備える。処理部１２、通信部１４、記憶部１６、および表示部１８は、例えば、バス１９を介して通信可能に接続されている。

通信部１４は、撮影部２０および読取装置５０の各々と通信可能に接続されている。通信部１４は、撮影部２０および読取装置５０の各々と通信するための通信インターフェースである。記憶部１６は、各種の情報を記憶する。本実施形態では、記憶部１６は、学習モデル１６Ａを予め記憶する。学習モデル１６Ａの詳細は後述する。

表示部１８は、各種の情報を表示する。表示部１８は、例えば、画像を表示するディスプレイである。なお、情報処理装置１０は、音声を出力するスピーカを更に備えた構成であってもよい。

処理部１２は、各種の情報処理を実行する。本実施形態では、処理部１２は、第１取得部１２Ａと、送信部１２Ｂと、第２取得部１２Ｃと、照合部１２Ｄと、表示制御部１２Ｅと、を備える。第１取得部１２Ａ、送信部１２Ｂ、第２取得部１２Ｃ、照合部１２Ｄ、および表示制御部１２Ｅの一部または全ては、例えば、ＣＰＵ等の処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、第１取得部１２Ａ、送信部１２Ｂ、第２取得部１２Ｃ、照合部１２Ｄ、および表示制御部１２Ｅの一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアにより実現してもよい。また、第１取得部１２Ａ、送信部１２Ｂ、第２取得部１２Ｃ、照合部１２Ｄ、および表示制御部１２Ｅの一部または全ては、ソフトウェアおよびハードウェアを併用して実現してもよい。

第１取得部１２Ａ、送信部１２Ｂ、第２取得部１２Ｃ、照合部１２Ｄ、および表示制御部１２Ｅの少なくとも１つを、ネットワーク等を介して情報処理装置１０に通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。また、記憶部１６に記憶されたデータの少なくとも一部を、ネットワーク等を介して情報処理装置１０に通信可能に接続された外部の情報処理装置に記憶した構成としてもよい。

第１取得部１２Ａは、収容体３０に付された物品４０を識別する第１識別情報Ｄ１を読み取る読取装置５０から、第１識別情報Ｄ１を取得する。

詳細には、第１取得部１２Ａは、収容体３０に付された識別子によって表される第１識別情報Ｄ１を、読取装置５０から取得する。

例えば、ユーザは読取装置５０を操作することで、読取装置５０の読取面を収容体３０に付されたラベルＬ１におけるＱＲコードＱにかざす。読取装置５０は、ＱＲコードＱを読取ることで、ＱＲコードＱによって表される第１識別情報Ｄ１を、ＱＲコードＱの読取結果として取得する。そして、読取装置５０は、ＱＲコードＱの読取結果である第１識別情報Ｄ１を、情報処理装置１０へ送信する。情報処理装置１０の第１取得部１２Ａは、読取装置５０から第１識別情報Ｄ１を取得する。

送信部１２Ｂは、第１取得部１２Ａが第１識別情報Ｄ１を取得したときに、撮影部２０に撮影指示信号を送信する。

撮影部２０は、撮影指示信号を受付けると、収容体３０に収容された物品４０を撮影し、収容体３０に収容された物品４０の撮影画像を得る。撮影部２０は、撮影によって得られた撮影画像を情報処理装置１０へ送信する。情報処理装置１０の第２取得部１２Ｃは、通信部１４を介して撮影部２０から撮影画像を取得する。

図５は、撮影画像６０の一例の模式図である。撮影部２０は、収容体３０に収容された物品４０を撮影することで、撮影画像６０を得る。撮影画像６０には、収容体３０に収容されている物品４０Ａ～物品４０Ｂの各々の物品４０が含まれる。また、これらの複数の物品４０の各々には、第２識別情報Ｄ２を設けられたラベルＬ２が付されている。このため、撮影画像６０には、複数の物品４０の各々を識別する第２識別情報Ｄ２が含まれる。

図４に戻り説明を続ける。照合部１２Ｄは、第１取得部１２Ａで取得した第１識別情報Ｄ１と、第２取得部１２Ｃで取得した撮影画像６０に含まれる物品４０の第２識別情報Ｄ２の各々と、を照合する。

例えば、照合部１２Ｄは、撮影画像６０に含まれる複数の物品４０の各々の第２識別情報Ｄ２を画像解析処理等により抽出し、第１識別情報Ｄ１と一致するか否かを照合する照合処理を実行する。

また、照合部１２Ｄは、学習モデル１６Ａを用いて、第１取得部１２Ａで取得した第１識別情報Ｄ１と、第２取得部１２Ｃで取得した撮影画像６０に含まれる複数の物品４０の第２識別情報Ｄ２の各々と、を照合してもよい。

本実施形態では、記憶部１６は、学習モデル１６Ａとして、第１学習モデル１６Ａ１、第２学習モデル１６Ａ２、および第３学習モデル１６Ａ３の少なくとも１つを予め記憶する。

まず、第１学習モデル１６Ａ１について説明する。

図６Ａは、第１学習モデル１６Ａ１の一例の説明図である。第１学習モデル１６Ａ１は、第１識別情報Ｄ１および撮影画像６０から、照合結果７２および第２識別情報Ｄ２を出力する学習モデル１６Ａである。言い換えると、第１学習モデル１６Ａ１は、第１識別情報Ｄ１および撮影画像６０を入力とし、照合結果７２および第２識別情報Ｄ２を出力とする学習モデル１６Ａである。

第１学習モデル１６Ａ１から出力される第２識別情報Ｄ２は、撮影画像６０に含まれる物品４０Ａ～物品４０Ｄの各々の第２識別情報Ｄ２である。

照合結果７２は、第１識別情報Ｄ１と、撮影画像６０に含まれる物品４０Ａ～物品４０Ｄの第２識別情報Ｄ２の各々と、の照合結果７２を表す情報である。

詳細には、照合結果７２は、第１識別情報Ｄ１と、撮影画像６０に含まれる物品４０Ａ～物品４０Ｄの第２識別情報Ｄ２の各々と、の一致度を表す情報である。

照合結果７２は、一致度を予め定めた分類条件に従って分類した各分類を表す情報であってよい。例えば、照合結果７２は、一致度が第１閾値以上である場合に“ＯＫ”を表し、一致度が第１閾値未満である場合に“ＮＧ”を表す情報であってよい。“ＯＫ”は第１識別情報Ｄ１と第２識別情報Ｄ２との一致を表す情報の一例である。“ＮＧ”は、第１識別情報Ｄ１と第２識別情報Ｄ２との不一致を表す情報の一例である。

また、例えば、照合結果７２は、一致度が第２閾値以上である場合に“ＯＫ”を表し、一致度が第２閾値未満第３閾値以上である場合に“注意”を表し、一致度が第３閾値未満である場合に“ＮＧ”を表す情報であってもよい。“注意”は、第１識別情報Ｄ１と第２識別情報Ｄ２とが不一致である可能性があることを表す情報の一例である。

第１閾値、第２閾値、および第３閾値は予め定めればよい。また、第３閾値は第２閾値未満の値であればよい。

本実施形態では、照合結果７２が、一致度が第１閾値以上である“ＯＫ”、または、一致度が第１閾値未満である“ＮＧ”を表す形態を一例として説明する。

例えば、情報処理装置１０は、教師データを用いた機械学習により予め第１学習モデル１６Ａ１を学習する。機械学習には、例えば、ＣＮＮ（Convolutional Neural Network）等の深層学習等を用いればよい。第１学習モデル１６Ａ１の教師データには、第１識別情報Ｄ１および複数の物品４０を含む撮影画像６０と、照合結果７２および複数の物品４０の各々の第２識別情報Ｄ２と、の対を複数用いればよい。また、教師データに用いる撮影画像６０には、様々な種類の物品４０の撮影画像６０を用いる事が好ましい。様々な種類の物品４０の撮影画像６０を教師データに用いることで、特定の種類の物品４０に限定されず、様々な種類の物品４０の撮影画像６０から照合結果７２および第２識別情報Ｄ２を導出可能な第１学習モデル１６Ａ１を学習することができる。

第１学習モデル１６Ａ１を用いる場合、照合部１２Ｄは、第１取得部１２Ａで取得した第１識別情報Ｄ１と、第２取得部１２Ｃで取得した撮影画像６０と、を第１学習モデル１６Ａ１へ入力する。照合部１２Ｄは、第１学習モデル１６Ａ１からの出力として、撮影画像６０に含まれる複数の物品４０の各々の第２識別情報Ｄ２および照合結果７２を導出する。

次に、第２学習モデル１６Ａ２について説明する。

図６Ｂは、第２学習モデル１６Ａ２の一例の説明図である。第２学習モデル１６Ａ２は、撮影画像６０から第２識別情報Ｄ２を出力する学習モデル１６Ａである。言い換えると、第２学習モデル１６Ａ２は、撮影画像６０を入力とし、撮影画像６０に含まれる複数の物品４０の各々の第２識別情報Ｄ２を出力とする学習モデル１６Ａである。

例えば、情報処理装置１０は、教師データを用いた機械学習により予め第２学習モデル１６Ａ２を学習する。機械学習には、例えば、ＣＮＮ等の深層学習等を用いればよい。第２学習モデル１６Ａ２の教師データには、複数の物品４０を含む撮影画像６０と、撮影画像６０に含まれる物品４０の各々の第２識別情報Ｄ２と、の対を複数用いればよい。また、教師データに用いる撮影画像６０には、様々な種類の物品４０の撮影画像６０を用いる事が好ましい。様々な種類の物品４０の撮影画像６０を教師データに用いることで、特定の種類の物品４０に限定されず、様々な種類の物品４０の撮影画像６０から第２識別情報Ｄ２を導出可能な第２学習モデル１６Ａ２を学習することができる。

第２学習モデル１６Ａ２を用いる場合、照合部１２Ｄは、第２取得部１２Ｃで取得した撮影画像６０を第２学習モデル１６Ａ２へ入力する。照合部１２Ｄは、第２学習モデル１６Ａ２からの出力として、撮影画像６０に含まれる複数の物品４０の各々の第２識別情報Ｄ２を得る。そして、照合部１２Ｄは、第１取得部１２Ａで取得した第１識別情報Ｄ１と、第２学習モデル１６Ａ２から出力された複数の物品４０の第２識別情報Ｄ２の各々と、が一致するか否かを判別することで、照合結果７２を導出する。

次に、第３学習モデル１６Ａ３について説明する。

図６Ｃは、第３学習モデル１６Ａ３の一例の説明図である。第３学習モデル１６Ａ３は、第１識別情報Ｄ１および撮影画像６０から照合結果７２を出力する学習モデル１６Ａである。言い換えると、第３学習モデル１６Ａ３は、第１識別情報Ｄ１および撮影画像６０を入力とし、第１識別情報Ｄ１と撮影画像６０に含まれる複数の物品４０の第２識別情報Ｄ２の各々との照合結果７２を出力とする学習モデル１６Ａである。

例えば、情報処理装置１０は、教師データを用いた機械学習により予め第３学習モデル１６Ａ３を学習する。機械学習には、例えば、ＣＮＮ等の深層学習等を用いればよい。第３学習モデル１６Ａ３の教師データには、第１識別情報Ｄ１および複数の物品４０を含む撮影画像６０と、照合結果７２と、の対を複数用いればよい。また、教師データに用いる撮影画像６０には、様々な種類の物品４０の撮影画像６０を用いる事が好ましい。様々な種類の物品４０の撮影画像６０を教師データに用いることで、特定の種類の物品４０に限定されず、第１識別情報Ｄ１および様々な種類の物品４０の撮影画像６０から照合結果７２を導出可能な第３学習モデル１６Ａ３を学習することができる。

第３学習モデル１６Ａ３を用いる場合、照合部１２Ｄは、第１取得部１２Ａで取得した第１識別情報Ｄ１および第２取得部１２Ｃで取得した撮影画像６０を第３学習モデル１６Ａ３へ入力する。照合部１２Ｄは、第３学習モデル１６Ａ３からの出力として、第１識別情報Ｄ１と撮影画像６０に含まれる複数の物品４０の第２識別情報Ｄ２の各々との照合結果７２を導出する。

図４に戻り説明を続ける。照合部１２Ｄは、通信部１４等を介して接続された外部の情報処理装置で学習された学習モデル１６Ａを用いて照合処理を行ってもよい。この場合、情報処理装置１０は、外部の情報処理装置で予め学習された、第１学習モデル１６Ａ１、第２学習モデル１６Ａ２、および第３学習モデル１６Ａ３を記憶部１６に予め記憶すればよい。処理負荷軽減の観点から、第１学習モデル１６Ａ１、第２学習モデル１６Ａ２、および第３学習モデル１６Ａ３は、外部の情報処理装置で予め学習することが好ましい。

照合部１２Ｄは、第１学習モデル１６Ａ１、第２学習モデル１６Ａ２、または第３学習モデル１６Ａ３を用いて、第１識別情報Ｄ１と第２識別情報Ｄ２とを照合する照合処理を実行すればよい。

例えば、照合部１２Ｄは、予め定められた学習モデル１６Ａを用いて照合処理を行えばよい。例えば、第１学習モデル１６Ａ１を用いる事が予め定められている場合、照合部１２Ｄは、第１学習モデル１６Ａ１を用いて照合処理を実行する。

また、照合部１２Ｄは、ユーザによる操作指示等によって入力された学習モデル識別情報によって識別される学習モデル１６Ａを用いて、照合処理を行ってもよい。また、照合部１２Ｄは、照合対象の撮影画像６０の種類に応じた学習モデル１６Ａを用いて照合処理を行ってもよい。この場合、例えば、記憶部１６は、撮影画像６０の種類を表す種類識別情報と、学習モデル１６Ａの識別情報と、を予め対応付けて記憶する。学習モデル１６Ａの識別情報は、第１学習モデル１６Ａ１、第２学習モデル１６Ａ２、および第３学習モデル１６Ａ３の各々の識別情報である。照合部１２Ｄは、ユーザによる操作指示等によって入力された撮影画像６０の種類識別情報に対応する学習モデル１６Ａの識別情報によって識別される学習モデル１６Ａを、照合処理に用いればよい。

照合部１２Ｄは、撮影画像６０の種類等に応じて照合に用いる学習モデル１６Ａを切り替えることで、照合部１２Ｄによる照合精度の向上を図ることが出来る。

表示制御部１２Ｅは、照合部１２Ｄによる照合結果７２を表示部１８に表示する。表示制御部１２Ｅは、照合結果７２を撮影画像６０の対応する物品４０上に重畳した表示画像を表示部１８に表示する。

図７は、表示部１８に表示された表示画像６２の一例を示す模式図である。図７には、照合部１２Ｄが第１学習モデル１６Ａ１を用いて照合処理を行うことで、撮影画像６０に含まれる複数の物品４０の各々の第２識別情報Ｄ２および照合結果７２を導出した場合を一例として示す。

表示制御部１２Ｅは、第１識別情報Ｄ１と撮影画像６０に含まれる複数の物品４０の第２識別情報Ｄ２の各々との照合結果７２を、撮影画像６０における対応する物品４０の画像領域上に重畳した表示画像６２を生成する。また、表示制御部１２Ｅは、撮影画像６０における対応する物品４０の画像領域上に、照合部１２Ｄによる照合処理時に導出された物品４０の各々の第２識別情報Ｄ２を重畳して表示してもよい。

収容体３０に付された第１識別情報Ｄ１が“８６４６０－Ｂ６０１０００”であった場合を想定する。図７に示す例の場合、撮影画像６０に含まれる物品４０Ａ、物品４０Ｃ、および物品４０Ｄの各々の第２識別情報Ｄ２は“８６４６０－Ｂ６０１０００”であり、第１識別情報Ｄ１と一致する。このため、表示制御部１２Ｅは、“ＯＫ”を表す照合結果７２Ａ、照合結果７２Ｃ、および照合結果７２Ｄを、撮影画像６０における物品４０Ａ、物品４０Ｃ、および物品４０Ｄの画像領域の各々上に重畳表示する。また、表示制御部１２Ｅは、撮影画像６０における物品４０Ａ、物品４０Ｃ、および物品４０Ｄの画像領域の各々上に、これらの物品４０の第２識別情報Ｄ２を重畳表示する。

また、図７に示す例の場合、撮影画像６０に含まれる物品４０Ｂの第２識別情報Ｄ２は“８６４６０－Ｂ６０２０００”であり、第１識別情報Ｄ１と不一致である。このため、表示制御部１２Ｅは、“ＮＧ”を表す照合結果７２Ｂを、撮影画像６０における物品４０Ｂの画像領域上に重畳表示する。また、表示制御部１２Ｅは、撮影画像６０における物品４０Ｂの画像領域上に、物品４０Ｂの第２識別情報Ｄ２である“８６４６９－Ｂ６０２０００”を重畳表示する。

なお、表示制御部１２Ｅは、以下の処理により、複数の物品４０の各々の照合結果７２および第２識別情報Ｄ２を、撮影画像６０における対応する物品４０の画像領域上に重畳表示すればよい。

例えば、学習モデル１６Ａを、第２識別情報Ｄ２および照合結果７２の少なくとも一方と、撮影画像６０における物品４０の位置情報と、を出力する構成とすればよい。撮影画像６０における物品４０の位置情報には、例えば、撮影画像６０における画素位置等を用いればよい。表示制御部１２Ｅは、照合部１２Ｄから受付けた、撮影画像６０に含まれる複数の物品４０の各々の照合結果７２および第２識別情報Ｄ２を、照合部１２Ｄから受付けた対応する画素位置に配置すればよい。

ユーザは、表示部１８に表示された表示画像６２を視認することで、収容体３０に含まれる複数の物品４０の各々について、物品４０の第２識別情報Ｄ２と収容体３０に付された第１識別情報Ｄ１とが一致するか否かを容易に確認することができる。

なお、表示制御部１２Ｅは、照合結果７２を、一致度の低い照合結果７２であるほど一致度の高い照合結果７２に比べてよりユーザに注意を促すことの可能な表示形態で表示部１８に表示してもよい。例えば、表示制御部１２Ｅは、“ＮＧ”を表す照合結果７２を、赤色等のユーザに対してより注視を促す表示色で表示部１８に表示する。また、例えば、表示制御部１２Ｅは、“ＯＫ”を表す照合結果７２を、青色または黒色等のより注視を促さない表示色で表示部１８に表示する。

また、照合部１２Ｄによって所定値以下の低い一致度の照合結果７２が導出された場合、表示制御部１２Ｅは、異常を表す音声をスピーカから出力してもよい。また、表示制御部１２Ｅは、照合部１２Ｄによって所定値以下の低い一致度の照合結果７２が導出された場合、異常を表す情報を、ネットワーク等を介して情報処理装置１０の管理者の管理する情報処理装置等へ送信してもよい。

次に、本実施形態の情報処理装置１０で実行する情報処理の流れの一例を説明する。

図８は、本実施形態の情報処理装置１０で実行する情報処理の流れの一例を示すフローチャートである。

第１取得部１２Ａが、第１識別情報Ｄ１を読取装置５０から取得したか否かを判断する（ステップＳ１００）。第１取得部１２Ａは、ステップＳ１００で肯定判断（ステップＳ１００：Ｙｅｓ）するまで否定判断（ステップＳ１００：Ｎｏ）を繰り返す。ステップＳ１００で肯定判断すると（ステップＳ１００：Ｙｅｓ）ステップＳ１０２へ進む。

ステップＳ１０２では、送信部１２Ｂが撮影部２０に撮影指示信号を送信する（ステップＳ１０２）。撮影指示信号を受付けた撮影部２０は、収容体３０に収容された物品４０を撮影し、収容体３０に収容された物品４０の撮影画像を得る。撮影部２０は、撮影によって得られた撮影画像を情報処理装置１０へ送信する。

情報処理装置１０の第２取得部１２Ｃは、通信部１４を介して撮影部２０から撮影画像６０を取得する（ステップＳ１０４）。

照合部１２Ｄは、ステップＳ１００で取得した第１識別情報Ｄ１と、ステップＳ１０４で取得した撮影画像６０に含まれる複数の物品４０の第２識別情報Ｄ２の各々と、を照合する（ステップＳ１０６）。例えば、照合部１２Ｄは、学習モデル１６Ａを用いて、ステップＳ１０６の照合処理を実行する。

表示制御部１２Ｅは、ステップＳ１０６の照合処理による照合結果７２を表示部１８に表示する（ステップＳ１０８）。

次に、処理部１２は、情報処理を終了するか否かを判断する（ステップＳ１１０）。例えば、処理部１２は、ユーザによる操作指示等によって情報処理の終了指示を表す終了指示信号を受付けたか否かを判別することで、ステップＳ１１０の判断を行う。ステップＳ１１０で否定判断すると（ステップＳ１１０：Ｎｏ）、上記ステップＳ１００へ戻る。ステップＳ１１０で肯定判断すると（ステップＳ１１０：Ｙｅｓ）、本ルーチンを終了する。

以上説明したように、本実施形態の物品照合システム１は、撮影部２０と、第１取得部１２Ａと、第２取得部１２Ｃと、照合部１２Ｄと、を備える。撮影部２０は、収容体３０に収容された物品４０を撮影可能な位置に配置され、撮影を指示する撮影指示信号を受信したときに撮影を行う。第１取得部１２Ａは、収容体３０に付された物品４０を識別する第１識別情報Ｄ１を読み取る読取装置５０から、第１識別情報Ｄ１を取得する。送信部１２Ｂは、第１識別情報Ｄ１を取得したときに、撮影部２０に撮影指示信号を送信する。第２取得部１２Ｃは、撮影部２０により撮影された画像を示す撮影画像６０を取得する。照合部１２Ｄは、第１識別情報Ｄ１と撮影画像６０に含まれる物品４０を識別する第２識別情報Ｄ２とを照合する。

従来技術では、例えば、物品４０および作業者の手袋に添付された複数のＱＲコードの映像を常時撮影し、常時撮影された映像データを解析することで照合処理を行っていた。このため、従来技術では、映像データを常時撮影および常時解析する必要があり、照合処理の処理負荷が問題となる場合があった。

一方、本実施形態の物品照合システム１では、第２取得部１２Ｃが、第１識別情報Ｄ１を取得したときに撮影部２０に撮影指示信号を送信し、撮影部２０から収容体３０に収容された物品４０の撮影画像６０を取得する。そして、物品照合システム１の照合部１２Ｄは、第１識別情報Ｄ１と撮影画像６０に含まれる物品４０の第２識別情報Ｄ２とを照合する。

このように、本実施形態の物品照合システム１では、常時撮影された映像データを照合処理に用いるのではなく、第１識別情報Ｄ１を取得したときに撮影された撮影画像６０を用いて照合処理を実行する。このため、本実施形態の物品照合システム１では、第１識別情報Ｄ１を取得したときに撮影された撮影画像６０を選択的に用いて照合処理を実行することができるため、低処理負荷で物品４０の照合を行うことができる。

従って、本実施形態の物品照合システム１は、低処理負荷で物品４０の照合を行うことができる。

また、本実施形態の物品照合システム１では、第１識別情報Ｄ１を取得したときに撮影された撮影画像６０を用いて照合処理を実行する。このため、収容体３０に収容された複数の物品４０の撮影画像６０を用いた照合処理を実行することで、収容体３０に収容された複数の物品４０を一括して照合することができる。よって、本実施形態の物品照合システム１は、上記効果に加えて、低処理負荷で且つ効率良く物品４０の照合を行うことができる。

また、本実施形態の物品照合システム１は、第１学習モデル１６Ａ１、第２学習モデル１６Ａ２、または第３学習モデル１６Ａ３を用いて、第１識別情報Ｄ１と第２識別情報Ｄ２とを照合する。第１学習モデル１６Ａ１、第２学習モデル１６Ａ２、または第３学習モデル１６Ａ３等の学習モデル１６Ａを用いることで、物品照合システム１は、撮影画像６０の画像解析処理等を実行せずに物品４０の照合を行うことができる。このため、本実施形態の物品照合システム１は、上記効果に加えて、更に、低処理負荷で物品４０の照合を行うことができる。また、学習モデル１６Ａを用いて照合を行うことで、本実施形態の物品照合システム１は、低処理負荷で且つ高精度に物品４０の照合を行うことができる。

また、本実施形態の物品照合システム１の表示制御部１２Ｅは、照合結果７２を撮影画像６０の対応する物品４０上に重畳した表示画像６２を表示部１８に表示する。

照合結果７２を撮影画像６０の対応する物品４０上に重畳した表示画像６２を表示するため、本実施形態の物品照合システム１は、ユーザに対して照合結果７２を容易に確認可能に提供することができる。

また、第１取得部１２Ａは、収容体３０に付された第１識別情報Ｄ１を表すＱＲコードＱ等の識別子の読取結果である第１識別情報Ｄ１を、読取装置５０から取得する。第１取得部１２Ａが識別子の読取結果である第１識別情報Ｄ１を取得するため、物品照合システム１は、低処理負荷で第１識別情報Ｄ１を取得することができる。このため、本実施形態の物品照合システム１は、上記効果に加えて、更に低処理負荷で物品４０の照合を行うことができる。

なお、上記実施形態の情報処理装置１０で実行される上記各処理を実行するためのプログラムは、ＨＤＤに記憶されていてもよい。また、上記実施形態の情報処理装置１０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ１１Ｂに予め組み込まれて提供されていてもよい。

また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 物品照合システム
１０ 情報処理装置
１２Ａ 第１取得部
１２Ｂ 送信部
１２Ｃ 第２取得部
１２Ｄ 照合部
１２Ｅ 表示制御部
１６Ａ１ 第１学習モデル
１６Ａ２ 第２学習モデル
１６Ａ３ 第３学習モデル
２０ 撮影部
３０ 収容体
４０ 物品
５０ 読取装置

Claims (4)

1. 収容体に収容された物品を撮影可能な位置に配置され、撮影を指示する撮影指示信号を受信したときに撮影を行う撮影部と、
   前記収容体に付された前記物品を識別する第１識別情報を読み取る読取装置から前記第１識別情報を取得する第１取得部と、
   前記第１識別情報を取得したときに前記撮影部に前記撮影指示信号を送信する送信部と、
   前記撮影部により撮影された画像を示す撮影画像を取得する第２取得部と、
   前記第１識別情報と前記撮影画像に含まれる前記物品を識別する第２識別情報とを照合する照合部と、
   を備え、
   前記照合部は、
   前記第１識別情報および前記撮影画像から前記第１識別情報と前記第２識別情報との照合結果および前記第２識別情報を出力する第１学習モデル、前記撮影画像から前記第２識別情報を出力する第２学習モデル、および前記第１識別情報および前記撮影画像から前記照合結果を出力する第３学習モデル、の各々の学習モデルを識別する学習モデル識別情報と、前記撮影画像の種類を表す種類識別情報と、を予め対応付けた記憶部から、照合対象の前記撮影画像の種類を表す前記種類識別情報に対応付けられた前記学習モデル識別情報によって識別される前記学習モデルを用いて、前記第１識別情報と前記第２識別情報とを照合する、
   物品照合システム。
2. 前記照合結果を前記撮影画像の対応する前記物品上に重畳した表示画像を表示部に表示する表示制御部、
   を備える請求項１に記載の物品照合システム。
3. 前記第１取得部は、
   前記収容体に付された識別子によって表される前記第１識別情報を前記読取装置から取得する、
   請求項１または請求項２に記載の物品照合システム。
4. 物品を収容した収容体に付された前記物品を識別する第１識別情報を読み取る読取装置から前記第１識別情報を取得する取得ステップと、
   前記第１識別情報を取得したときに、収容体に収容された物品を撮影可能な位置に配置され撮影を指示する撮影指示信号を受信したときに撮影を行う撮影部に前記撮影指示信号を送信する送信ステップと、
   前記撮影部により撮影された画像を示す撮影画像を取得するステップと、
   前記第１識別情報と前記撮影画像に含まれる前記物品を識別する第２識別情報とを照合する照合ステップと、
   を含み、
   前記照合ステップは、
   前記第１識別情報および前記撮影画像から前記第１識別情報と前記第２識別情報との照合結果および前記第２識別情報を出力する第１学習モデル、前記撮影画像から前記第２識別情報を出力する第２学習モデル、および前記第１識別情報および前記撮影画像から前記照合結果を出力する第３学習モデル、の各々の学習モデルを識別する学習モデル識別情報と、前記撮影画像の種類を表す種類識別情報と、を予め対応付けた記憶部から、照合対象の前記撮影画像の種類を表す前記種類識別情報に対応付けられた前記学習モデル識別情報によって識別される前記学習モデルを用いて、前記第１識別情報と前記第２識別情報とを照合する、
   物品照合方法。

Images