JP6981495B2 - Inspection processing equipment - Google Patents
Inspection processing equipment Download PDFInfo
- Publication number
- JP6981495B2 JP6981495B2 JP2020047818A JP2020047818A JP6981495B2 JP 6981495 B2 JP6981495 B2 JP 6981495B2 JP 2020047818 A JP2020047818 A JP 2020047818A JP 2020047818 A JP2020047818 A JP 2020047818A JP 6981495 B2 JP6981495 B2 JP 6981495B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- product
- article
- inspected
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、検品処理装置、検品システム、検品処理方法及びプログラムに関する。 The present invention relates to an inspection processing apparatus, an inspection system, an inspection processing method and a program.
物流倉庫へ商品を入荷、または、物流センターから商品を出荷する際に商品の種類と数量が正しいかどうかをチェックする検品作業を行う。この検品作業は、入荷または出荷の最小作業単位を定めた伝票を選択し、その伝票に記載された商品と検品対象商品の現品とを一点一点確認をおこなうのが一般的な方法である。このとき、バーコードが予め印刷された商品はバーコードリーダーで自動認識させ、バーコードが印刷されていない商品については、商品名や商品コードの文字列を人が目視で確認している。しかし、目視での確認作業の場合は、作業効率の低下やヒューマンエラーにより間違いが生じる可能性がある。また、バーコードリーダーで自動認識させる場合は、認識精度は高いが、バーコードが印刷されている面を探す作業が生じる為、効率が良いとはいえない。
これら課題を解決するため、カメラで商品の画像を撮像し、商品の全ての側面それぞれについて予め登録されたマスタ画像との画像照合をおこない商品を特定する画像検品システムが提供されている。この画像検品システムを用いれば、商品の置き方を気にかけることなく、また、複数の商品を一度に照合させることができ、効率的に検品作業を進めることができる。
When a product arrives at a distribution warehouse or is shipped from a distribution center, inspection work is performed to check whether the type and quantity of the product are correct. In this inspection work, it is a general method to select a slip that defines the minimum work unit for arrival or shipment, and to check the product described in the slip and the actual product to be inspected one by one. .. At this time, the product with the barcode printed in advance is automatically recognized by the barcode reader, and the product name and the character string of the product code are visually confirmed for the product without the barcode printed. However, in the case of visual confirmation work, there is a possibility that an error may occur due to a decrease in work efficiency or human error. Further, when the barcode reader is automatically recognized, the recognition accuracy is high, but it is not efficient because the work of searching for the surface on which the barcode is printed is required.
In order to solve these problems, an image inspection system is provided in which an image of a product is captured by a camera, and each aspect of the product is collated with a pre-registered master image to identify the product. By using this image inspection system, it is possible to collate a plurality of products at once without worrying about how to place the products, and it is possible to efficiently proceed with the inspection work.
また、例えば特許文献１には、複数の荷物を一括して撮像し、撮像した画像に写ったバーコードやロゴを認識して画像に含まれる荷物を検出する情報読取装置について開示されている。また、特許文献１には、検出できた荷物については、その荷物の画像上に「済」の表示を付加することが記載されている。
Further, for example,
ところで、上述の画像検品システムにおいては、商品を一意に特定するための特徴的なデザイン等が印刷された側面が、商品が置かれた方向や商品どうしの重なりによって撮像されない場合がある。このような場合、画像検品システムは商品の特定ができない。従って作業員は置き間違いを是正して再度検品操作を行なわなければならない。しかし、複数種類の商品が置かれている場合、どの商品の置き方を是正しなければならないかを特定する作業は煩わしく、時間がかかっていた。また、是正する商品が特定できても、どのように是正すべきかがわからないため、特定できるまで何度も商品の置き方を変える必要があった。また、是正しても商品の特定ができない場合は、目視によって検品作業を行う必要があった。このような問題に対して一般的には、商品どうしが接したり重なったりしないように並べるなど運用面を工夫することによって対応する場合が多い。しかし、このような対応では、毎回の検品作業において商品の位置を正しく整理しなければならないという煩わしさがあった。また、特許文献１にもこのような課題を解決する手段については記載が無い。
By the way, in the above-mentioned image inspection system, the side surface on which a characteristic design or the like for uniquely identifying a product is printed may not be imaged depending on the direction in which the product is placed or the overlap between the products. In such a case, the image inspection system cannot specify the product. Therefore, the worker must correct the misplacement and perform the inspection operation again. However, when multiple types of products are placed, the task of identifying which product must be corrected is cumbersome and time-consuming. In addition, even if the product to be corrected can be identified, it is not known how to correct it, so it was necessary to change the placement of the product many times until it could be identified. In addition, if the product could not be identified even after the correction, it was necessary to visually inspect the product. In general, such problems are often dealt with by devising operational aspects such as arranging products so that they do not touch or overlap with each other. However, in such a response, there is a trouble that the position of the product must be correctly arranged in each inspection work. Further,
そこでこの発明は、上述の課題を解決することのできる検品処理装置、検品システム、検品処理方法及びプログラムを提供することを目的としている。 Therefore, an object of the present invention is to provide an inspection processing apparatus, an inspection system, an inspection processing method and a program capable of solving the above-mentioned problems.
本発明の第１の態様は、取得した検品対象画像に含まれる１つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する照合部と、前記照合部による判定結果に基づく検品作業支援情報を表示する表示制御部とを備え、前記検品対象画像に、前記物品と前記検品物品とが一致するかを前記照合部が判定するための特徴的な箇所が写っていない場合、前記表示制御部は、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記特徴的な箇所を示す表示を行う、検品処理装置である。A first aspect of the present invention includes a collating unit for determining whether one or more articles included in the acquired image to be inspected and an inspected article registered in advance as an article to be inspected match. It is provided with a display control unit that displays inspection work support information based on the determination result by the collating unit, and is characteristic for the collating unit to determine whether the article and the inspection article match the inspection target image. When the portion is not shown, the display control unit is an inspection processing device that displays the characteristic portion on the inspection target image in which the article is captured as inspection work support information.
本発明の第２の態様は、取得した検品対象画像に含まれる１つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する照合部と、前記照合部による判定結果に基づく検品作業支援情報を表示する表示制御部とを備え、前記物品と前記検品物品とが一致すると前記照合部が判定した場合、前記表示制御部は、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する検品処理装置である。A second aspect of the present invention includes a collating unit for determining whether one or more articles included in the acquired image to be inspected and an inspected article registered in advance as an article to be inspected match. A display control unit that displays inspection work support information based on the determination result by the collating unit is provided, and when the collating unit determines that the article and the inspection article match, the display control unit uses the inspection work support information as the inspection work support information. , An inspection processing device that displays a detail number corresponding to the article on the inspection target image in which the article is shown.
本発明の第３の態様は、１つまたは複数の検品物品の候補の画像を撮像する撮像装置と、前記撮像装置が撮像した１つまたは複数の検品物品の候補を撮像した検品対象画像を取得する上記の検品処理装置と、を備える検品システムである。 A third aspect of the present invention is to acquire an image pickup device that captures an image of one or more candidates for inspection articles and an inspection target image that captures images of one or more candidates for inspection articles captured by the image pickup device. It is an inspection system including the above-mentioned inspection processing apparatus.
本発明の第４の態様は、取得した検品対象画像に含まれる１つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定し、前記検品対象画像に、前記物品と前記検品物品とが一致するかを判定するための特徴的な箇所が写っていない場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記特徴的な箇所を示す表示を行う検品処理方法である。
本発明の第５の態様は、取得した検品対象画像に含まれる１つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定し、前記物品と前記検品物品とが一致すると前記照合部が判定した場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する検品処理方法である。
A fourth aspect of the present invention is to determine whether one or more articles included in the acquired image to be inspected match the article to be inspected pre-registered as an article to be inspected, and the image to be inspected. If the characteristic portion for determining whether the article and the inspection article match is not shown, the characteristic portion is shown on the inspection target image in which the article is shown as inspection work support information. This is an inspection processing method for displaying the above.
A fifth aspect of the present invention is to determine whether one or more articles included in the acquired image to be inspected match an inspected article registered in advance as an article to be inspected, and the said article and the said article. When the collating unit determines that the inspection article matches, the inspection processing method displays the detail number corresponding to the article on the inspection target image in which the article is captured as inspection work support information.
本発明の第６の態様は、検品処理装置のコンピュータを、取得した検品対象画像に含まれる１つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する手段、前記検品対象画像に、前記物品と前記検品物品とが一致するかを判定するための特徴的な箇所が写っていない場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記特徴的な箇所を示す表示を行う手段、として機能させるためのプログラムである。
本発明の第７の態様は、検品処理装置のコンピュータを、取得した検品対象画像に含まれる１つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する手段、前記物品と前記検品物品とが一致すると前記照合部が判定した場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する手段、として機能させるためのプログラムである。
A sixth aspect of the present invention is to determine whether the computer of the inspection processing device matches one or more articles included in the acquired image to be inspected with the inspection article registered in advance as an article to be inspected. When the determination means, the inspection target image does not show a characteristic part for determining whether the article and the inspection article match, the inspection target image showing the article as inspection work support information. Above, it is a program for functioning as a means for displaying the characteristic points.
A seventh aspect of the present invention is whether the computer of the inspection processing device matches one or more articles included in the acquired image to be inspected with the inspection article registered in advance as an article to be inspected. A means for determining, a means for displaying a detail number corresponding to the article on the inspection target image in which the article is captured as inspection work support information when the collation unit determines that the article and the inspection article match. It is a program to make it function as.
本発明の認証によれば、検品作業の効率化、作業員の利便性向上を図ることができる。 According to the certification of the present invention, it is possible to improve the efficiency of inspection work and the convenience of workers.
以下、本発明の一実施形態による検品処理装置を図１〜図１２を参照して説明する。
図１は第一の実施形態による検品処理装置の最小構成を示す図である。
この図において、符号１００は検品処理装置を表している。図１に示す通り、検品処理装置１００は、表示制御部１０５と、商品特定部１０９と、商品判定部１１０と、を少なくとも備えている。検品処理装置１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えたコンピュータである。
商品特定部１０９は、１つまたは複数の検品商品の候補を撮像した検品対象画像と、商品を複数の方向から撮像して得られた各方向ごとのその商品の画像であって、予め登録されたマスタ画像とを照合し、検品対象画像に含まれる商品を特定する。
商品判定部１１０は、商品特定部１０９が特定した商品が、伝票データに含まれる商品か否かを判定する。
表示制御部１０５は、検品対象画像の商品上に、当該商品に対する商品判定部１１０による判定結果に基づく検品作業支援情報を付加した画像を表示する。例えば、商品判定部１１０が、商品特定部１０９によって特定された商品Ａが伝票データに含まれていると判定した場合、表示制御部１０５は、検品対象画像の商品Ａの上に、伝票データにおける商品Ａの明細番号を付加した画像を生成し、検品処理装置１００に接続されたディスプレイにその画像を表示する。
Hereinafter, the inspection processing apparatus according to the embodiment of the present invention will be described with reference to FIGS. 1 to 12.
FIG. 1 is a diagram showing a minimum configuration of an inspection processing device according to the first embodiment.
In this figure,
The
The
The
図２は第一の実施形態による検品処理装置の構成の一例を示すブロック図である。
図２に示す通り、検品処理装置１００は、制御判定部１０１と、商品画像取得部１０２と、画像バッファ部１０３、入力受付部１０４と、表示制御部１０５と、特徴量計算部１０６と、伝票データ保存部１０７と、照合部１０８と、商品特定部１０９と、商品判定部１１０と、特徴箇所特定部１１１と、伝票データ格納部１１２と、商品データ格納部１１３とを備えている。なお、伝票データに含まれる検品すべき商品を検品商品、検品すべき数量を検品数量、これに対して検品作業を行う作業員が検品商品の候補として商品棚から取り出した商品を検品対象商品と呼ぶ。
FIG. 2 is a block diagram showing an example of the configuration of the inspection processing device according to the first embodiment.
As shown in FIG. 2, the
制御判定部１０１は、他の機能部へ、情報の伝達や処理の指示を行う。
商品画像取得部１０２は、撮像装置に検品対象商品の撮像指示を行い、撮像装置から撮像装置が撮像した画像（検品対象画像）を取得する。
画像バッファ部１０３は、商品画像取得部１０２が取得した検品対象画像を格納する領域である。
入力受付部１０４は、検品作業員の入力操作を受け付ける。
特徴量計算部１０６は、商品画像取得部１０２が取得した画像の特徴量を、例えば図形特徴量を算出するなどの一般的な特徴量計算手法により計算する。
The
The product
The
The
The feature
伝票データ保存部１０７は、作業員が入力した検品作業の対象となる伝票データを伝票データ格納部１１２に記録する。
照合部１０８は、検品対象商品を撮像した検品対象画像の特徴量を用いて、その画像に写る商品を特定し、特定した商品が伝票データに含まれる検品商品と一致するかどうかを判定する。特に本実施形態における照合部１０８は、検品対象画像と照合する商品の種類を、伝票データに含まれる検品商品と検品商品に外観が類似する商品に限定することで照合処理の高速化を図る。なお、照合部１０８は、商品特定部１０９と、商品判定部１１０と、特徴箇所特定部１１１とを備えている。商品特定部１０９と、商品判定部１１０については、図１を用いて説明したとおりである。
特徴箇所特定部１１１は、検品対象画像に写った商品について、その商品を特定することができる特徴のある箇所を特定する。特徴のある箇所とは、例えば、商品のある面の一部分の表示（商品名など）やある面の大部分を占める表示（模様など）である。
The slip
The
The featured
伝票データ格納部１１２は、検品作業の対象となる出荷または入荷の伝票データに含まれる検品商品の商品名、検品数量などを格納するデータベースである。
商品データ格納部１１３は、商品ごとに、商品名、複数の方向からその商品を撮像したマスタ画像、マスタ画像の特徴量、単位重量、などを格納するデータベースである。
なお、制御判定部１０１、商品画像取得部１０２、入力受付部１０４、表示制御部１０５、特徴量計算部１０６、伝票データ保存部１０７、照合部１０８、商品特定部１０９、商品判定部１１０、特徴箇所特定部１１１の少なくとも一部は検品処理装置１００の備えるＣＰＵがハードディスクなどの記憶部からプログラムを読み出し実行することで備わる機能である。
The slip
The product
The
図３は、本発明の第一の実施形態による検品システムの一例を示す図である。
以下、図３を用いて、本実施形態の検品システムの説明を行う。
この図において、符号１は検品システムを表している。図３に示す通り、検品システム１は、検品処理装置１００と、撮像装置２００と、表示装置３００と、入力装置４００とを備えている。また、荷台３０１には１つまたは複数の検品対象商品（検品対象商品５００）が置かれている。
FIG. 3 is a diagram showing an example of an inspection system according to the first embodiment of the present invention.
Hereinafter, the inspection system of the present embodiment will be described with reference to FIG.
In this figure,
撮像装置２００は、検品対象商品を撮像する例えばカメラである。図３において、撮像装置２００は、荷台３０１の上に載せられた検品対象商品を真上から撮像できるようにレンズを地面側に向けて支柱３０２に取り付けられている。支柱３０２は、荷台３０１によって固定されている。撮像装置２００の取り付け位置は、この図の例に限定されない。検品処理装置１００は、撮像装置２００と接続されており、撮像装置２００が撮像した検品対象商品の画像を取得する。
The
表示装置３００は、例えばディスプレイである。表示装置３００は、検品処理装置１００と接続されており、検品処理装置１００が生成した検品作業に必要な情報を表示する。入力装置４００は、キーボード、マウス、あるいは任意のデータ読み取り手段（記憶媒体読み取り装置など）である。作業員は、表示装置３００に表示される情報を参照しながら、入力装置４００を用いて検品処理装置１００を操作し、検品作業を行う。
The
次に、図３を用いて検品作業の大まかな流れについて説明する。まず、作業員は、検品作業を行う対象の伝票に記載された検品対象商品を商品棚などから取り出し荷台３０１の上に置く。伝票データには、複数種類の商品が含まれていることも多く、その場合、検品対象商品５００には、複数種類の商品が含まれることになる。このとき作業員は、検品対象商品がなるべく重ならないように荷台３０１の上に置く。また、作業員は、検品対象商品の特徴ある箇所が撮像されるように置く。作業員は、検品対象商品５００を荷台３０１の上に置くと、検品処理装置１００に自動検品処理の開始を指示する操作を行う。すると、検品処理装置１００は撮像装置２００に撮像指示信号を送信する。撮像指示信号を受信すると、撮像装置２００は、検品対象商品５００を撮像し、撮像した検品対象画像を検品処理装置１００に送信する。
また、これらの処理と並行して、作業員は、伝票データ（検品商品の名称、検品数量など）を、入力装置４００を用いて入力する。例えば、伝票データは電子化されたファイルで、作業員は、記憶媒体に格納されたそのファイルを、記憶媒体読取装置を介して検品処理装置１００に入力する。なお、１枚の伝票に含まれる明細データや伝票番号などをまとめて伝票データと呼ぶ。
Next, the general flow of the inspection work will be described with reference to FIG. First, the worker takes out the product to be inspected described in the slip to be inspected from the product shelf or the like and puts it on the
Further, in parallel with these processes, the worker inputs slip data (name of inspection product, inspection quantity, etc.) using the
すると、検品処理装置１００は、伝票データに含まれた検品商品のそれぞれについて、検品商品と検品商品に外観が類似する商品のマスタ画像を取得する。そして、検品処理装置１００は、商品のマスタ画像を使用して、撮像装置２００が撮像した検品対象画像にどの商品が含まれているか特定する。次に検品処理装置１００は、検品対象画像に写っていると特定した商品と、伝票データに含まれる検品商品とが一致するかどうかを判定する判定処理を行う。検品処理装置１００は、伝票データに含まれる全ての検品商品について同様の判定処理を行う。この画像の照合による商品の特定と判定処理をまとめて検品処理とよぶ。
Then, the
検品処理装置１００は、全ての検品商品についての検品処理結果を表示する検品確認画面の画像を生成して表示装置３００に表示する。検品確認画面には、伝票データの明細一覧と検品対象画像とが表示される。例えば、検品処理の結果、検品対象画像から特定された商品Ａが伝票データに含まれている場合、検品確認画面の伝票データの明細一覧では、商品Ａの明細が消し込み表示される。消し込み表示とは、例えば、消し込む表示を行う明細行をグレーアウトして表示することをいう。また、検品確認画面の検品対象画像表示欄では、商品Ａの画像上に伝票データにおける商品Ａを含む明細データの明細番号が表示される。作業員は、表示装置３００に表示された伝票データの明細一覧および検品対象画像表示欄に表示された情報を参照して荷台３０１に置かれた検品対象商品５００が正しいかどうかを把握することができる。作業員は、過不足分する検品対象商品を荷台３０１に置いたり、減らしたりして検品作業を進める。以上の作業と検品処理の結果、伝票データに含まれる検品商品の全ての検品処理結果が正常となればその伝票データに対する検品作業は終了である。
The
ところで、検品対象商品５００が立体物の場合、検品対象商品の荷台３０１への搭載方法はさまざまである。例えば、商品Ａが立方体形状であれば、その商品Ａのどの面を上にして荷台３０１へ置くかについては６通りの方法が存在する。従って商品データ格納部１１３には、この商品Ａについて、各面を撮像した６種類の照合用のマスタ画像を登録しておく必要がある。しかし、商品データ格納部１１３に商品Ａの６面それぞれのマスタ画像を格納していたとしても必ずしも商品を特定できるとは限らない。何故ならば、商品Ａに外観が類似する商品Ａ´が存在し、商品Ａと商品Ａ´は５面がほぼ同じ外観で残りの１面のある部分でのみ両商品の判別が可能であるような場合が存在するためである。このような場合、作業員は、商品Ａ´ではなく正しく商品Ａを商品棚から取り出して、さらに商品Ａの判別が可能な部分が写るように荷台３０１に置かなければならない。
By the way, when the
また、伝票データに商品Ａの他に商品Ｂが含まれている場合、作業員は商品Ｂも荷台３０１へ置いて一度に照合処理を行う。この場合、商品Ｂを商品Ａの横に置く場合もあれば、商品Ｂの上に商品Ａを載せる場合もある。このとき商品Ｂを商品Ａの特徴ある部分を隠すように載せた場合、やはり検品処理装置１００は、商品Ａを特定することができないことになる。このような場合、作業員は、商品Ａの特徴ある箇所が撮像されるように商品Ｂを移動させ、その状態で撮像した検品対象画像を用いて、再度検品処理を行わなければならない。
Further, when the product B is included in the slip data in addition to the product A, the worker also places the product B on the
荷台３０１に置かれた検品対象商品が１〜２種類の商品であれば、作業員がそれらの商品の特徴ある部位が撮像されるように並べたり置き直したりすることも容易であるかもしれない。しかし、検品対象商品の種類が増えるにつれ、どの検品対象商品が正しい商品で置き直しなどの必要が無く、また、どの検品対象商品が置き直す必要がある商品か、あるいは、どの検品対象商品は誤った商品なので商品棚の正しい商品と取り替えなければならないかを把握するは大変になってくる。かといって１商品ずつ荷台３０１に置いて検品処理を行うと作業効率上問題がある。
If the products to be inspected on the
そこで、本実施形態の検品処理装置１００は、複数商品を同時に検品可能とするうえで必要となる検品作業の支援情報を表示し、検品作業の利便性向上および作業効率の向上を図る。例えば、検品処理の結果、検品対象画像から伝票データには無い商品が特定された場合、検品処理装置１００は、検品確認画面における検品対象画像表示欄の当該商品上に伝票データに含まれる商品と異なる商品であることを示す表示を行う。また、例えば、検品処理の結果、検品対象画像に一意に特定できない商品が検出された場合、検品処理装置１００は、検品対象画像表示欄に、どの商品が一意に特定できないかを示す表示を行う。また、この場合、一意に特定できないとされた商品については、その商品のどの部位を撮像するようにすればその商品を特定することができるようになるかを教示する表示を行う。これらの検品作業支援情報によって作業員は、荷台３０１の商品を置き直したり、正しい商品と入れ替えたりして、効率よく検品作業を進めることができるようになる。
Therefore, the
図４は、本発明の第一の実施形態による照合処理の概要を説明する図である。
図４の下図は、商品データ格納部１１３に格納されている商品のマスタ画像を示している。図示するように商品データ格納部１１３には、各商品について、その商品を荷台３０１に置く場合の、全て置き方のパターンに対して撮像装置２００が撮像する面のマスタ画像が格納されている。例えば商品Ａのように立方体であれば、商品Ａの上面、前側面、後側面、右側面、左側面、底面のマスタ画像が格納されている。また、商品Ｅのように円柱型の商品についても、上面、前側面、後側面、右側面、左側面、底面のマスタ画像が格納されている。このように商品の載置パターンに対応する全ての面のマスタ画像を有していることで、商品がどのように置かれたとしても照合処理を行うことができる。なお、商品データ格納部１１３には、各商品の各面を撮像したマスタ画像の特徴量が、予め所定の計算手法によって計算され、格納されていてもよい。以下の説明では、商品データ格納部１１３には、各商品の載置パターンに対応する全ての面のマスタ画像に基づく特徴量が格納されているものとする。
FIG. 4 is a diagram illustrating an outline of a collation process according to the first embodiment of the present invention.
The lower figure of FIG. 4 shows a master image of a product stored in the product
図４の上図は、荷台３０１に商品Ａ、商品Ｄ、商品Ｅ、商品Ｚが置かれている様子を示している。商品Ａは右側面、商品Ｄは前側面、商品Ｅは上面、商品Ｚは底面が撮像装置２００に向けられている。撮像装置２００は、この様子を撮像すると、その検品対象画像を検品処理装置１００に送信する。検品処理装置１００では、商品画像取得部１０２が検品対象画像を画像バッファ部１０３に格納する。また、特徴量計算部１０６は、画像バッファ部１０３から検品対象画像を読み出して、所定の公知の計算手法により、この検品対象画像の特徴量を計算する。また、照合部１０８では、商品特定部１０９が、検品対象画像の特徴量と、図４の下図で例示した複数方向から撮像した商品のマスタ画像の特徴量とを照合して検品対象画像に含まれる商品を特定する。具体的には、商品特定部１０９は、商品データ格納部１１３からまず商品Ａ上面のマスタ画像の特徴量を読み出す。そして、商品特定部１０９は、検品対象画像について計算した特徴量分布をスキャンして、検品対象画像の特徴量分布に商品Ａ上面画像の特徴量と合致する箇所があるかどうか検索する。合致するとは、特徴量の類似度が所定の閾値以上となることをいう。商品Ａ上面の特徴量と合致する箇所があれば、商品特定部１０９は、検品対象画像に含まれる商品として、商品Ａを特定する。現在、荷台３０１に置かれた商品Ａは右側面が撮像されているので、商品特定部１０９は、検品対象画像の特徴量分布の中に商品Ａ上面の特徴量パターンを見つけることはできない。次に商品特定部１０９は、商品データ格納部１１３から商品Ａ前側面のマスタ画像の特徴量を読み出す。そして同様に商品特定部１０９は、検品対象画像について計算された特徴量分布をスキャンして、商品Ａ前側面の特徴量と合致する箇所を探す処理を行う。この場合も商品特定部１０９は、商品Ａ前側面の特徴量に合致する箇所を見つけることができない。商品特定部１０９は、以下同様にして、商品Ａ〜商品Ｅについて格納された全ての面のマスタ画像に基づく特徴量それぞれについて、それらの特徴量と合致する箇所が検品対象画像の特徴量分布の中に存在するかどうかを検索する。そして商品特定部１０９は、検索できた商品について、その商品が検品対象画像に含まれる商品であると特定する。図４の例では、商品特定部１０９は、商品Ａ右側面マスタ画像の特徴量、商品Ｄ前側面マスタ画像の特徴量、商品Ｅ上面マスタ画像の特徴量を用いて検索した場合に、それらの特徴量を検索できることになる。従ってこの例では商品特定部１０９は、検品対象画像から、商品Ａと商品Ｄと商品Ｅを特定することができる可能性がある。なお、ここで説明したある商品のマスタ画像に基づく特徴量を、検品対象画像の特徴量分布の中に探して商品を特定する処理を照合処理という。なお、照合処理を行って、ある商品の特徴量が複数検索できた場合、商品特定部１０９は、検索できた個数分その商品が写っていると判定する。
The upper figure of FIG. 4 shows a state in which the product A, the product D, the product E, and the product Z are placed on the
ところで、図４の例の場合、商品Ａの右側面や商品Ｅの上面に特徴があれば、商品特定部１０９は、検品対象画像に写るのは商品Ａおよび商品Ｅであると特定することはできる。しかしながら、例えば、商品Ａと商品Ｂが類似していて、商品Ａの右側面の特徴量と商品Ｂの右側面の特徴量がさほど変わらない場合には、商品特定部１０９は、検品対象画像に写るが商品Ａか商品Ｂの何れであるかが判別できないことになる。従って、商品データ格納部１１３には、他の商品と判別できる特徴量が存在する部位が分かるような情報も格納されている。図４下図の斜線部分は、特徴的な部位を示す情報が格納されていることを概念的に示したものである。図４下図の例では、商品Ｅについては上面の画像に、他の商品と判別できる特徴が存在する。従って、商品特定部１０９は、図４上図の検品対象画像から商品Ｅを特定することができる。一方、商品Ａについては、上面の画像に特徴ある部位が存在するにもかかわらず、検品対象画像には商品Ａの右側面の画像が含まれている。従って、このままでは、商品特定部１０９は、商品Ａの右側面画像の照合結果によって、商品Ａの可能性がある商品が含まれていることは認識できても、はっきりとその商品が商品Ａであると特定することができない。このような場合、特徴箇所特定部１１１が、商品データ格納部１１３を参照して、商品Ａの上面に特徴があることを認識する。さらに、特徴箇所特定部１１１は、現在、撮像されている商品Ａの右側面と特徴箇所が存在する商品Ａの上面との位置関係を特定する。表示制御部１０５は、特徴箇所特定部１１１による特定結果に基づいて、商品Ａ上面を撮像装置２００に向けるよう促す特徴箇所ガイド情報を表示する。作業員は、この表示を見て、商品Ａの上面が撮像装置２００に向くように商品Ａを置き直す。その状態で再度照合処理を行えば、商品特定部１０９は、商品Ａを特定することができる。なお、表示制御部１０５による特徴箇所ガイド情報の表示例については後述する。
By the way, in the case of the example of FIG. 4, if the right side surface of the product A or the upper surface of the product E is characterized, the
ところで、商品データ格納部１１３には、大量の商品に関するマスタ画像およびその特徴量の情報が格納されている。これら全ての商品の各面のマスタ画像一つ一つについて上述の照合処理を行うのは効率的ではない。従って本実施形態では、伝票データに含まれる商品とその商品に外観が類似する商品を抽出して、それらの商品についてのみ検品処理を行う。このように商品を限定することで検品処理の高速化を図ることができる。また、類似商品も検品処理の対象とすることで、荷台３０１に置かれた商品が伝票データに含まれる検品商品ではなく、それに類似する商品であるにもかかわらず、誤って検品商品であると誤認識することを防ぐことができる。商品データ格納部１１３には、どの商品が他のどの商品の外観と類似しているかを定義したグループ情報が格納されている。商品特定部１０９は、伝票データに含まれる検品対象商品を用いて、このグループ情報を参照し、検品商品と類似する商品を読み出す。そして商品特定部１０９は、検品商品とそれに類似する商品に限定して上述の検品処理を行う。次に検品処理装置１００を用いた検品作業の処理の流れについて説明する。
By the way, the product
図５は、本発明の第一の実施形態による検品処理装置の処理フローを示す図である。
図６は、本発明の第一の実施形態による検品確認画面の一例を示す第一の図である。
図７は、本発明の第一の実施形態による検品確認画面の一例を示す第二の図である。
図８は、本発明の第一の実施形態による検品確認画面の一例を示す第三の図である。
荷台３０１には、図４上図で例示したように検品対象商品が置かれているものとする。また、作業員は、検品処理装置１００に対して検品確認画面の表示を指示する操作を入力する。検品処理装置１００では表示制御部１０５が、検品確認画面の画像を生成し、表示装置３００に検品確認画面を表示する。検品確認画面の詳細については後述する。
まず、作業員がある伝票データを検品処理装置１００に入力する。例えば、作業員は、電子ファイル形式の伝票データを検品処理装置１００に入力する。検品処理装置１００では、入力受付部１０４がその入力操作を受け付け、伝票データ保存部１０７が入力された伝票データを取得する（ステップＳ１０）。伝票データには、明細番号、商品名、検品数量が含まれている。伝票データの一例（伝票データα）を示す。
明細番号「１」、商品名「商品Ａ」、検品数量「１」
明細番号「２」、商品名「商品Ｃ」、検品数量「１」
明細番号「３」、商品名「商品Ｅ」、検品数量「１」
伝票データ保存部１０７は、取得した伝票データを伝票データ格納部１１２に格納する。次に作業者は、検品確認画面に伝票番号を入力し、検品作業の対象となる伝票データを呼び出す。
FIG. 5 is a diagram showing a processing flow of an inspection processing apparatus according to the first embodiment of the present invention.
FIG. 6 is a first diagram showing an example of an inspection confirmation screen according to the first embodiment of the present invention.
FIG. 7 is a second diagram showing an example of an inspection confirmation screen according to the first embodiment of the present invention.
FIG. 8 is a third diagram showing an example of an inspection confirmation screen according to the first embodiment of the present invention.
It is assumed that the product to be inspected is placed on the
First, a worker inputs certain slip data into the
Item number "1", product name "product A", inspection quantity "1"
Item number "2", product name "product C", inspection quantity "1"
Item number "3", product name "product E", inspection quantity "1"
The slip
次に、制御判定部１０１は、呼び出した伝票データに含まれる検品商品の商品名を商品特定部１０９に出力し、照合処理に用いる商品（照合対象商品）の選択を指示する。商品特定部１０９は、商品データ格納部１１３から検品商品とそれに類似した外観を有する商品を選択する（ステップＳ１１）。
Next, the
作業員は、入力した伝票データが記載された伝票や検品確認画面に表示された伝票データの明細一覧を参照して、検品対象商品を商品棚などから取り出し荷台３０１に置く。次に作業員は、検品処理装置１００に検品処理の開始を指示する操作を行う。すると、入力受付部１０４がこの指示操作を受け付ける。すると、制御判定部１０１は、商品画像取得部１０２に撮像指示信号を出力する。商品画像取得部１０２は、撮像装置２００に撮像指示を行い（ステップＳ１２）、撮像装置２００が検品対象商品５００の画像を撮像する。商品画像取得部１０２は、撮像装置２００が撮像した検品対象商品５００の検品対象画像を取得し、画像バッファ部１０３に格納する。
The worker takes out the product to be inspected from the product shelf or the like and puts it on the
画像バッファ部１０３に検品対象画像が格納されると、制御判定部１０１は、特徴量計算部１０６に、格納した検品対象画像の特徴量を計算するように指示を行う。特徴量計算部１０６は、画像バッファ部１０３から検品対象画像を読み出して、所定の公知の特徴計算手法により特徴量を計算し、計算結果を制御判定部１０１に出力する。制御判定部１０１は、検品対象画像の特徴量をメモリに記録する。なお、この特徴量には、荷台３０１に置かれた全ての商品の特徴量が含まれている。
When the inspection target image is stored in the
次に制御判定部１０１は、商品特定部１０９に検品処理の開始を指示する。商品特定部１０９は、照合対象商品のマスタ画像に基づく特徴量を用いて検品処理を実行する（ステップＳ１３）。具体的には、商品特定部１０９は、ステップＳ１１で選択した照合対象商品の全ての載置パターンに対応するマスタ画像に基づく特徴量を次々に商品データ格納部１１３から読み出して、検品対象画像の特徴量分布と照合する。そして、商品特定部１０９は、検品対象画像に含まれる商品を特定する。次に商品特定部１０９は、特定した商品を商品判定部１１０に出力する。例えば、図４の上図の例の場合、商品特定部１０９は、商品Ｄおよび商品Ｅを特定する。また、商品特定部１０９は、商品Ａについて、一意に特定できないと判定する。また、商品特定部１０９は、商品Ｚについては、照合対象商品に含まれていないためその存在を認識することがない。商品判定部１１０は、伝票データ格納部１１２から伝票データを読み出して、読み出した伝票データに含まれる商品と、商品特定部１０９が特定したと商品を比較する。そして、商品判定部１１０は、商品特定部１０９が特定した商品が伝票データに含まれる商品であるかどうかを判定する。例えば、商品判定部１１０は、商品特定部１０９が特定した商品Ｅと上で例示した伝票データとを比較して商品Ｅは伝票データに含まれる（明細番号「３」の明細データ）と判定する。商品判定部１１０は、商品特定部１０９が商品Ａについて一意に特定できないことについて、その物品が伝票データに含まれる物品であるかどうか不明と判定する。また、商品判定部１１０は、商品特定部１０９が特定した商品Ｄと上で例示した伝票データとを比較して商品Ｄは伝票データに無いと判定する。また、商品Ｚについては、商品特定部１０９にから照合処理の結果を通知されないので商品判定部１１０は何の判定もしない。商品判定部１１０は、すべての商品についての判定結果を制御判定部１０１に出力する。制御判定部１０１は、表示制御部１０５へその判定結果を出力し、検品確認画面の更新を指示する。
Next, the
表示制御部１０５は、判定結果に応じて検品確認画面の表示を更新する。例えば、特定した商品が伝票データに含まれる場合（ステップＳ１４：伝票データに有り）、表示制御部１０５は、検品対象画像の特定された物品上に、伝票データにおけるその商品の明細番号を表示する（ステップＳ１５）。また、表示制御部１０５は、伝票データの明細一覧においてその商品が含まれる明細データの消し込み表示を行う（ステップＳ１６）。消し込み表示とは、その明細の商品に関して検品が完了したことを示す表示である。
The
また、例えば、特定した商品が伝票データに含まれない場合（ステップＳ１４：伝票データに無し）、表示制御部１０５は、検品対象画像に写る特定された商品上に、「誤」を表示する（ステップＳ１７）。この表示は、当該商品が伝票データに含まれる商品と異なる商品であることを示す表示である。
Further, for example, when the specified product is not included in the slip data (step S14: not included in the slip data), the
次に、図６を用いて検品確認画面について説明する。図６は、検品確認画面の一例を示す図である。図示するように、検品確認画面は、伝票番号入力欄６１、伝票番号確定ボタン６２、伝票データ表示欄６３、メッセージ表示欄６４、検品対象画像表示欄６５、自動検品実行ボタン６６、検品確定ボタン６７、作業リセットボタン６８、終了ボタン６９を含む。表示制御部１０５は、伝票番号入力欄６１に入力された伝票番号の伝票データを伝票データ格納部１１２から読み出して伝票データに含まれる明細の一覧を伝票データ表示欄６３に表示する。また、表示制御部１０５は、画像バッファ部１０３に格納された検品対象画像を検品対象画像表示欄６５に表示する。また、表示制御部１０５は、検品処理結果をメッセージ表示欄６４に表示する。また、作業員が自動検品実行ボタン６６を押下すると、商品特定部１０９などがステップＳ１３の検品処理を行い、その結果に応じて表示制御部１０５が、伝票データ表示欄６３、メッセージ表示欄６４、検品対象画像表示欄６５の表示を更新する。
Next, the inspection confirmation screen will be described with reference to FIG. FIG. 6 is a diagram showing an example of an inspection confirmation screen. As shown in the figure, the inspection confirmation screen has a slip
図６は、検品処理の結果、表示制御部１０５が更新した検品確認画面の一例である。図６の例では、伝票データ表示欄６３において、明細番号「１」〜「５」、「７」に対して消し込み表示されている。これは、明細番号「１」〜「５」、「７」に対応する「商品１」〜「商品５」、「商品７」が検品対象画像において特定され、さらに伝票データに含まれると判定されたことを示している。表示制御部１０５は、このように検品処理が成功した商品について伝票データ表示欄６３での消し込み表示を行う。また、図示するように表示制御部１０５は、検品対象画像表示欄６５に表示した画像において伝票データに含まれると判定された検品対象商品の上に、その商品に対応する明細番号を表示する。図中、「１」〜「５」、「７」の数字が表示されているのは、それぞれの位置に、その位置に表示された明細番号に対応する明細データに含まれる商品が写っていることを示している。作業員は、これらの検品作業支援情報の表示を見てどの商品の検品が正常に完了したかを把握することができる。なお、検品が正常に完了した商品について、明細データと同様、当該商品をグレーアウト表示する等の表示を行ってもよい。
FIG. 6 is an example of an inspection confirmation screen updated by the
次に、明細番号「６」のデータについて説明する。伝票データ表示欄６３において、表示制御部１０５は、明細番号「６」の行を消し込み表示していない。これは明細番号「６」の明細データに含まれる「商品６」が検品対象画像に含まれていないことを示している。また、検品対象画像表示欄６５を見ると、「誤」の文字が表示された箇所がある。これは、商品特定部１０９が、当該位置に置かれた検品対象商品について特定した商品が、伝票データに含まれていない商品であることを示している。このように商品が一意に特定でき、かつその商品が伝票データに含まれてない場合、表示制御部１０５は、その商品の位置に「誤」を表示する。表示制御部１０５は、「誤」の文字を太字や目立つ色で表示する等の強調表示を行ってもよい。また、表示制御部１０５は、メッセージ表示欄６４に伝票データに含まれていない商品が存在することを示すメッセージ（「リストにない商品が見つかりました」）を表示する。なお、伝票データに含まれてないことを示す表示の他の例としてその商品上に「×」を表示したりその商品の輪郭を強調する表示を行ったりといった方法でもよい。
Next, the data of the detail number "6" will be described. In the slip data display
作業員は、これらの表示を見て、「誤」が表示された位置に置かれた検品対象商品が誤っていることを把握することができる。なお、「誤」が表示された位置に置かれた検品対象商品は、例えば「商品６」と外観が類似する商品である可能性がある。作業員が外観の似ている商品を商品棚から誤って取り出し、荷台３０１に置いた場合、商品特定部１０９は、ステップＳ１１で選択した類似商品のマスタ画像の特徴量によって、この商品が「商品６」に類似する商品（例えば「商品６´」）であると特定する。商品判定部１１０は、「商品６´」と伝票データに含まれる検品商品（「商品６」）とを比較して「商品６´」が伝票データに含まれていないと判定する。この判定結果に基づいて、表示制御部１０５は、この商品上に「誤」を表示する。
この検品作業支援情報の表示により、作業員は、どの位置に置かれた商品が誤った商品であるかを把握することができる。作業員は、正しい商品を荷台３０１に置き直して、自動検品実行ボタン６６を押下する。すると、商品特定部１０９が、再度、検品処理を行い、表示制御部１０５が検品処理結果に基づいて、検品確認画面を更新する。
By looking at these displays, the worker can grasp that the product to be inspected placed at the position where "wrong" is displayed is wrong. The product to be inspected placed at the position where "wrong" is displayed may be, for example, a product having a similar appearance to "
By displaying this inspection work support information, the worker can grasp which position the product is placed in the wrong product. The worker puts the correct product back on the
図５の処理フローに戻って、商品特定部１０９が商品を一意に特定することができなかった場合（ステップＳ１４：不明）について説明する。その場合、商品判定部１１０はその商品が伝票データに含まれる検品商品であるかどうかが不明と判定し、表示制御部１０５は、伝票データに含まれる検品商品であるかどうかが不明とされた検品対象商品の上に、その商品が一意に特定できないことを示す「？」を表示する（ステップＳ１８）。また、表示制御部１０５は、特徴箇所特定部１１１が特定した特徴箇所を示すガイド表示を行う（ステップＳ１９）。なお、検品対象商品を一意に特定することができない場合とは、例えば、商品を特定するための特徴的な個所が検品対象画像に写っていないような場合が考えられる。
Returning to the processing flow of FIG. 5, the case where the
ここで、図７を用いて、商品を一意に特定することができなかった場合の表示例を具体的に説明する。
図７の例では、伝票データ表示欄６３において、明細番号「１」〜「４」、「７」について消し込み表示されている。また、検品対象画像表示欄６５では、明細番号「１」〜「４」、「７」に対応する「商品１」〜「商品４」、「商品７」の上に明細番号を示す「１」〜「４」、「７」の数字が表示されている。一方、商品を一意に特定することができない商品については、表示制御部１０５は、その商品の位置に「？」を表示する。また、表示制御部１０５は、その商品を特定するために必要な特徴ある箇所がどの位置に存在するかを示す特徴箇所ガイド情報を一意に特定できない商品上に表示する。破線７１、破線７２は、表示制御部１０５が表示した特徴箇所ガイド情報である。破線７１は、商品どうしの重なりによって下に置かれた商品の特徴箇所が隠れることによって、下に置かれた商品が一意に特定できない旨を示す表示である。破線７１は、特徴箇所の位置を示している。破線７２は、撮像される側面に特徴箇所が写っていないことによって商品が一意に特定できない旨を示す表示である。破線７２は、特徴箇所が含まれる側面を示している。特徴箇所特定部１１１は、商品特定部１０９によって商品が一意に特定はできないと判定されたときに用いられた画像がどの側面のマスタ画像であるかの情報と、商品データ格納部１１３が記憶する特徴的な箇所を示す情報とに基づいて、特徴箇所ガイド情報を表示する位置を特定する。表示制御部１０５は、その特定に従って特徴箇所の強調表示を行う。なお、特徴箇所が含まれる部位を強調する表示は、その部位を破線で囲む表示に限らない。例えば、その部位を目立つ色で表示したり、「この位置に特徴的な表示があります」といったメッセージとともに特徴箇所を指し示す吹き出し表示を行ったりといった方法でもよい。
Here, with reference to FIG. 7, a display example in the case where the product cannot be uniquely specified will be specifically described.
In the example of FIG. 7, in the slip data display
また、表示制御部１０５は、メッセージ表示欄６４に一意に特定できない伝票データに含まれていない商品が存在することを示すメッセージ（「商品が一意に特定できませんでした。置き方を是正してください。」）を表示する。
作業員は、これらの表示を見て、一意に特定できない商品がどこに置かれた商品であって、その商品をどの向きに置き直せば特定できるようになるかを把握することができる。
In addition, the
By looking at these displays, the worker can understand where the product that cannot be uniquely identified is placed and in what direction the product can be repositioned so that the product can be identified.
なお、作業員が誤って検品商品と類似しない商品を荷台３０１に載せてしまうことがある。そのような場合の表示例を図８を用いて説明する。
図８の例では、伝票データ表示欄６３において、明細番号「１」〜「６」について消し込み表示されている。また、検品対象画像表示欄６５では、明細番号「１」〜「６」に対応する「商品１」〜「商品６」の上に明細番号を示す「１」〜「６」の数字が表示されている。また、メッセージ表示欄６４には検品処理が完了したことを示すメッセージ（「検品処理が完了しました。」）が表示されている。
しかし、検品対象画像表示欄６５には、「ＡＡＡＡ」と表示された商品が写っており、この商品については「誤」の表示や特徴箇所を指示する特徴箇所ガイド情報が表示されていない。
伝票データに含まれる検品商品およびそれに類似する商品以外が荷台３０１に置かれた場合、その商品は、上述の照合処理の対象とならない。そのため、そのような商品については、検品対象画像表示欄６５において、何ら情報が付加されることなく、そのままの状態で表示されることになる。作業員は、検品対象画像表示欄６５にそのまま表示されている商品を見つけると、その商品は余分な商品であると判断し、荷台３０１からその商品を取り除く。なお、本実施形態では、検品対象画像と照合する商品を、伝票データに含まれる検品商品とその検品商品に外観が類似する商品に限定しているので、外観が異なる商品を誤って置いてしまった場合には、何の支援情報も表示しないことにより、その商品の存在を速やかに作業員に通知することができる。
In addition, a worker may mistakenly place a product that is not similar to the inspected product on the
In the example of FIG. 8, in the slip data display
However, in the inspection target
If a product other than the inspected product and similar products included in the slip data is placed on the
ここで、伝票データが上記の伝票データαで、荷台３０１に置かれた商品が図４上図、ステップＳ１１で選択された照合対象商品および各商品の特徴箇所が図４下図のようであったとする。すると、検品確認画面の表示は以下のようになる。まず、商品Ａは、照合対象商品に含まれるが特徴箇所が写っていないので一意に特定することができず、検品対象画像表示欄６５において特徴箇所ガイド情報が表示される。また、商品Ｅについては、照合対象商品であって特徴箇所が写っている。また、伝票データに含まれる検品商品である（明細番号「３」）。従って、検品対象画像表示欄６５の商品Ｅ上には、明細番号「３」が表示される。また、商品Ｄについては、照合対象商品であって特徴箇所が写っている。しかし、伝票データに含まれない商品である。従って、検品対象画像表示欄６５の商品Ｅ上には、明細番号「誤」が表示される。商品Ｚについては、照合対象商品に含まれていないので、照合処理自体が行われず検品対象画像表示欄６５においてそのままの状態で表示される。伝票データ表示欄６３に注目すると、検品が成功したのは、商品Ｅだけであるから、明細番号「３」の明細データだけが消し込み表示される。作業員は、これらの検品作業支援情報の表示を見て、商品Ａの置き方が誤っていることを把握できる。また、商品Ｄについては、他の商品（「商品Ｃ」）と間違えて置いてあることを把握できる。また、商品Ｚについては、誤って置かれた商品であることを把握できる。
Here, it is said that the slip data is the above slip data α, the product placed on the
図５の処理フローに戻る。表示制御部１０５が、検品確認画面の画像を更新し、表示装置３００に表示すると、作業員は、伝票データに含まれる全ての検品対象商品について検品が完了したか否かの判定を行う（ステップＳ２０）。つまり、検品確認画面において、伝票データ表示欄６３の全ての明細データが消し込み表示されているかどうかを確認する。検品処理が完了していない場合（ステップＳ２０；Ｎｏ）、作業員は、検品確認画面の表示を参照して、荷台３０１に置かれた検品対象商品５００を調整する。例えば、上記の伝票データαの例の場合、作業員は、一意に特定できない商品Ａについては向きを変更して置き直し、商品Ｄについては伝票データを確認して商品Ｃと入れ替える。また、不要な商品Ｚについては取り除く。そして作業員は、再度、自動検品実行ボタン６６を押下する。すると、検品処理装置１００は、ステップＳ１２からの処理を繰り返す。
Return to the processing flow of FIG. When the
なお、１つの伝票データに荷台３０１に置ききれない量の検品商品が含まれる場合がある。このような場合、現在荷台３０１に置いた検品対象商品に対する検品処理は完了していても、伝票データには未検品の明細データが残っている場合がある。このような状況に対して、本実施形態の検品確認画面を用いると検品作業を分割して行うことができる。例えば商品１〜商品１０の１０種類の検品対象商品が存在するとする。荷台３０１に１度に置くことができるのは５種類であるとする。この場合、作業員は５種類の商品を荷台３０１に置き検品処理を行う。５種類の検品が完了すると検品確定ボタン６７を押下する。すると、表示制御部１０５は、伝票データ表示欄６３において、検品が終了した５種類の商品が含まれた明細データの消し込み表示を保持する。作業員は、荷台３０１から確定した商品を取り除き、残りの５種類の検品対象商品を新たに荷台３０１に置いて自動検品実行ボタン６６を押下し、全ての検品商品が検品完了となるまで検品作業を継続する。なお、作業リセットボタン６８を押下すると、表示制御部１０５は、検品確認画面の検品作業支援情報を消去する。作業員は、検品作業をやり直すことができる。
In addition, one slip data may include an amount of inspection products that cannot be stored in the
一方、検品処理が完了した場合（ステップＳ２０；Ｙｅｓ）、本処理フローは終了する。作業員は、伝票番号入力欄６１に新たな検品作業の検品内容が記載された伝票の伝票番号を入力して、検品作業を続けたり、他に伝票が無ければ終了ボタン６９を押下して検品確認画面を終了させたりする。
On the other hand, when the inspection process is completed (step S20; Yes), this process flow ends. The worker inputs the slip number of the slip in which the inspection content of the new inspection work is described in the slip
一般的な目視による検品では、１回の検品作業に数十秒かかることもある。商品の入れ替えや置き換えが発生した場合はさらに多くの時間がかかる場合もある。本実施形態によれば、荷台３０１に置かれた商品が正しいかどうかを数秒でチェックし、さらに商品の置き方の是正を支援する情報や伝票に無い誤った商品を表示する情報を提供することができる。これにより作業員は、検品中の商品に対して、どの商品が正しい、間違っている、もしくは、わからない、ということを瞬時に判断することができる。また、作業員はどの商品を入れ替えるべきか、あるいは商品の置き方をどのように是正すべきかを瞬時に判断することができる。また、作業員は商品の置き方を気にしなくて済むため、作業負荷が低減され、検品作業の効率化が実現できる。
なお、本実施形態の検品処理装置１００は、多くの種類の商品をまとめて発送する物流センター（ネット通販など）や、見た目や名前が似ている商品を多く扱う店舗（調剤薬局など）に好適である。
In general visual inspection, one inspection operation may take several tens of seconds. It may take even longer if product replacements or replacements occur. According to the present embodiment, it is possible to check whether the product placed on the
The
図９は、本発明の第一の実施形態による検品処理装置のハードウェア構成の一例を示すブロック図である。
図９に示す通り、検品処理装置１００は、ＣＰＵ９０１と、メモリ９０２と、ハードディスク等の記憶装置９０３と、ネットワーク接続用の通信ＩＦ９０４（通信インターフェース）とを含む、コンピュータ装置によって実現される。ただし、検品処理装置１００の構成は、図９に示すコンピュータ装置に限定されない。例えば、検品処理装置１００は、通信ＩＦ９０４を介して外部に画像または重量データを送信し、外部で検品対象の商品の照合を行い、その結果を受信してもよい。
FIG. 9 is a block diagram showing an example of the hardware configuration of the inspection processing apparatus according to the first embodiment of the present invention.
As shown in FIG. 9, the
なお、本実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェアおよびソフトウェアの任意の組み合わせによって実現される。また、検品処理装置１００は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
The block diagram used in this embodiment shows a block for each function, not a configuration for each hardware. These functional blocks are realized by any combination of hardware and software. Further, the
なお、上述の検品処理装置１００は内部にコンピュータを有している。そして、上述した検品処理装置１００の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
The above-mentioned
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned function in combination with a program already recorded in the computer system.
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。なお、商品特定部１０９は物品特定部の一例であり、商品判定部１１０は物品判定部の一例である。また、検品商品は検品物品の一例であり、商品は物品の一例である。
In addition, it is possible to replace the components in the above-described embodiment with well-known components as appropriate without departing from the spirit of the present invention. Further, the technical scope of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention. The
１・・・検品システム
１００・・・検品処理装置
１０１・・・制御判定部
１０２・・・商品画像取得部
１０３・・・画像バッファ部
１０４・・・入力受付部
１０５・・・表示制御部
１０６・・・特徴量計算部
１０７・・・伝票データ保存部
１０８・・・照合部
１０９・・・商品特定部
１１０・・・商品判定部
１１１・・・特徴箇所特定部
１１２・・・伝票データ格納部
１１３・・・商品データ格納部
２００・・・撮像装置
３００・・・表示装置
３０１・・・荷台
３０２・・・支柱
４００・・・入力装置
５００・・・検品対象商品
９０１・・・ＣＰＵ
９０２・・・メモリ
９０３・・・記憶装置
９０４・・・通信ＩＦ
1 ...
902 ...
Claims (13)
前記照合部による判定結果に基づく検品作業支援情報を表示する表示制御部とを備え、
前記検品対象画像に、前記物品と前記検品物品とが一致するかを前記照合部が判定するための特徴的な箇所が写っていない場合、前記表示制御部は、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記特徴的な箇所を示す表示を行う、
検品処理装置。 A collation unit for determining whether one or more articles included in the acquired image to be inspected and an inspected article registered in advance as an article to be inspected match.
It is provided with a display control unit that displays inspection work support information based on the determination result by the collation unit.
When the collation unit does not show a characteristic portion for the collating unit to determine whether the article and the inspection article match in the inspection target image, the display control unit uses the article as inspection work support information. On the inspection target image in which the image is shown, a display indicating the characteristic portion is displayed.
Inspection processing equipment.
前記照合部による判定結果に基づく検品作業支援情報を表示する表示制御部とを備え、
前記物品と前記検品物品とが一致すると前記照合部が判定した場合、前記表示制御部は、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する、
検品処理装置。 A collation unit for determining whether one or more articles included in the acquired image to be inspected and an inspected article registered in advance as an article to be inspected match.
It is provided with a display control unit that displays inspection work support information based on the determination result by the collation unit.
When the collation unit determines that the article and the inspection article match, the display control unit displays a detail number corresponding to the article on the inspection target image in which the article is shown as inspection work support information. do,
Inspection processing equipment.
請求項１または請求項２に記載の検品処理装置。The inspection processing apparatus according to claim 1 or 2.
請求項３に記載の検品処理装置。The inspection processing apparatus according to claim 3.
請求項１から請求項４の何れか１項に記載の検品処理装置。 The collation unit selects an article having a similar appearance to the inspection article and the inspection article, and determines whether the inspection article and the inspection article match.
The inspection processing apparatus according to any one of claims 1 to 4.
前記表示制御部は、検品作業支援情報として、予め登録された前記検品物品の一覧を表示し、前記一覧における一致すると判定された前記物品について、検品が完了したことを示す表示を行う、
請求項１から請求項５の何れか１項に記載の検品処理装置。 When the collating unit determines that the article and the inspection article match,
The display control unit displays a list of the inspection articles registered in advance as inspection work support information, and displays that the inspection has been completed for the articles determined to match in the list.
The inspection processing apparatus according to any one of claims 1 to 5.
請求項１から請求項６の何れか１項に記載の検品処理装置。 When the collation unit cannot uniquely identify the article, the display control unit displays as inspection work support information on the inspection target image in which the article is captured, indicating that the article cannot be uniquely identified.
The inspection processing apparatus according to any one of claims 1 to 6.
請求項１から請求項７の何れか１項に記載の検品処理装置。 A claim that the collation unit determines whether or not the article matches the inspected article by collating the image to be inspected with each of the images obtained by imaging the inspected article from a plurality of directions. The inspection processing apparatus according to any one of claims 1 to 7.
前記撮像装置が撮像した１つまたは複数の検品物品の候補を撮像した検品対象画像を取得する、請求項１から請求項８の何れか１項に記載の検品処理装置と、
を備える検品システム。 An image pickup device that captures images of candidates for one or more inspection articles, and
The inspection processing device according to any one of claims 1 to 8, wherein an inspection target image obtained by capturing a candidate of one or a plurality of inspection articles captured by the image pickup device is acquired.
Inspection system equipped with.
前記検品対象画像に、前記物品と前記検品物品とが一致するかを判定するための特徴的な箇所が写っていない場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記特徴的な箇所を示す表示を行う、
検品処理方法。 It is determined whether one or more articles included in the acquired image to be inspected match the inspected article registered in advance as an article to be inspected.
When the inspection target image does not show a characteristic part for determining whether the article and the inspection article match, the inspection target image is the inspection target image on which the article is shown as inspection work support information. Display showing characteristic points,
Inspection processing method.
前記物品と前記検品物品とが一致すると前記照合部が判定した場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する、
検品処理方法。 It is determined whether one or more articles included in the acquired image to be inspected match the inspected article registered in advance as an article to be inspected.
When the collation unit determines that the article and the inspection article match, the item number corresponding to the article is displayed on the inspection target image in which the article is captured as inspection work support information.
Inspection processing method.
取得した検品対象画像に含まれる１つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する手段、
前記検品対象画像に、前記物品と前記検品物品とが一致するかを判定するための特徴的な箇所が写っていない場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記特徴的な箇所を示す表示を行う手段、
として機能させるためのプログラム。 The computer of the inspection processing device,
A means for determining whether one or more articles included in the acquired image to be inspected and an inspected article registered in advance as an article to be inspected match.
When the inspection target image does not show a characteristic part for determining whether the article and the inspection article match, the inspection target image is the inspection target image on which the article is shown as inspection work support information. A means of displaying characteristic parts,
A program to function as.
取得した検品対象画像に含まれる１つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する手段、
前記物品と前記検品物品とが一致すると前記照合部が判定した場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する手段、
として機能させるためのプログラム。 The computer of the inspection processing device,
A means for determining whether one or more articles included in the acquired image to be inspected and an inspected article registered in advance as an article to be inspected match.
When the collation unit determines that the article and the inspection article match, a means for displaying a detail number corresponding to the article on the inspection target image in which the article is captured as inspection work support information.
A program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020047818A JP6981495B2 (en) | 2015-11-12 | 2020-03-18 | Inspection processing equipment |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015222103A JP6679891B2 (en) | 2015-11-12 | 2015-11-12 | Inspection processing device, inspection system, inspection processing method and program |
| JP2020047818A JP6981495B2 (en) | 2015-11-12 | 2020-03-18 | Inspection processing equipment |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015222103A Division JP6679891B2 (en) | 2015-11-12 | 2015-11-12 | Inspection processing device, inspection system, inspection processing method and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020093937A JP2020093937A (en) | 2020-06-18 |
| JP2020093937A5 JP2020093937A5 (en) | 2020-08-13 |
| JP6981495B2 true JP6981495B2 (en) | 2021-12-15 |
Family
ID=79190980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020047818A Active JP6981495B2 (en) | 2015-11-12 | 2020-03-18 | Inspection processing equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6981495B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5869988B2 (en) * | 2012-08-24 | 2016-02-24 | 富士フイルム株式会社 | Article collation apparatus and method, and program |
| JP5454639B2 (en) * | 2012-08-30 | 2014-03-26 | カシオ計算機株式会社 | Image processing apparatus and program |
| JP5916032B2 (en) * | 2012-09-27 | 2016-05-11 | 富士フイルム株式会社 | Drug test support apparatus and method |
-
2020
- 2020-03-18 JP JP2020047818A patent/JP6981495B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020093937A (en) | 2020-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6679891B2 (en) | Inspection processing device, inspection system, inspection processing method and program | |
| US10430776B2 (en) | System and method for exception handling in self-checkout and automated data capture systems | |
| US9505554B1 (en) | Capturing packaging image via scanner | |
| US9836665B2 (en) | Management system, list production device, method, computer readable recording medium, data structure, and printed label | |
| JP6425278B2 (en) | Product information acquisition system | |
| JP6831951B2 (en) | Image recognition system | |
| US11321936B2 (en) | Image processing device, image processing method, and storage medium storing program | |
| JP2018131331A (en) | Article management device and article management method | |
| JP6458239B1 (en) | Image recognition system | |
| KR101758054B1 (en) | On-line and off-line integrated inventory management system using POS system | |
| JP7243066B2 (en) | Automated warehouse system | |
| WO2016063483A1 (en) | Vending machine recognition apparatus, merchandise shelf recognition device, vending machine recognition method, storage medium, and image processing apparatus | |
| JP2019040227A (en) | Inventory management system | |
| CN110889317B (en) | Operation assisting device | |
| JP6558020B2 (en) | Inspection processing apparatus, inspection processing method and program | |
| JP6218151B2 (en) | Shipping work support method, shipping work support device, and shipping work support program | |
| WO2017170260A1 (en) | Inspection processing device, inspection system, commodity master registration device, inspection processing method, and program | |
| JP5888358B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
| JP6981495B2 (en) | Inspection processing equipment | |
| JP6052448B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
| JP6049223B2 (en) | Incoming work support method, incoming work support device, and incoming work support program | |
| US20210350315A1 (en) | Systems and methods for article inventory transfer | |
| CN112550886B (en) | Inspection device and label sticking device | |
| EP3866061B1 (en) | Article distinguishing system | |
| JP2018170044A (en) | Merchandise information acquisition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200619 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210506 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210601 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210830 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210830 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210906 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211101 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6981495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |