JP6724484B2 - Inspection processing device, inspection system, product master registration device, inspection processing method and program - Google Patents
Inspection processing device, inspection system, product master registration device, inspection processing method and program Download PDFInfo
- Publication number
- JP6724484B2 JP6724484B2 JP2016069899A JP2016069899A JP6724484B2 JP 6724484 B2 JP6724484 B2 JP 6724484B2 JP 2016069899 A JP2016069899 A JP 2016069899A JP 2016069899 A JP2016069899 A JP 2016069899A JP 6724484 B2 JP6724484 B2 JP 6724484B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- product
- image
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
- G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Description
本発明は、検品処理装置、検品システム、商品マスタ登録装置、検品処理方法及びプログラムに関する。 The present invention relates to an inspection processing device, an inspection system, a product master registration device, an inspection processing method, and a program.
倉庫業や卸売業など物流業者が取り扱う流通商品を出荷する過程において、商品の出荷前に、出荷伝票と比較して、出荷する商品が出荷伝票に記載された商品であるかどうかを確認する作業がある。この作業を検品作業と呼ぶ。この検品作業の中には、「100部の同じカタログ」、「60部の同じ箱」のように、同じ商品を複数個まとめて検品する検品作業もある。このような検品作業の場合、商品の束のうち一番上に置かれた商品の表面等をカメラで撮像し、予め登録した商品のマスタ画像と照合して商品の特定を行う技術が存在する。さらに、検品対象となる商品の重量測定値と検品数量とから、その商品の単位重量を算出し、商品の画像と単位重量とから商品の特定を行う技術が存在する(例えば特許文献1)。 In the process of shipping distribution products handled by logistics companies such as warehousing and wholesale businesses, before shipping the products, comparing the shipping slips and checking whether the products to be shipped are the products described in the shipping slips There is. This work is called inspection work. Among the inspection work, there is also an inspection work for collectively inspecting a plurality of the same products such as “100 copies of the same catalog” and “60 copies of the same box”. In the case of such inspection work, there is a technology for identifying the product by capturing an image of the surface of the product placed on the top of the product bundle with a camera and comparing it with a master image of the product registered in advance. .. Further, there is a technique of calculating the unit weight of the product from the weight measurement value and the inspection quantity of the product to be inspected and specifying the product from the image of the product and the unit weight (for example, Patent Document 1).
しかし、商品の特定をマスタ画像との照合によって行う場合、物流業者が取り扱う商品数は1万種類を超えることが多くあり、全ての商品のマスタ画像を登録するのに多くの手間や時間が掛かっている。また、商品の中には、立体的な形状をした商品も存在する。このような商品の場合、検品作業中にどの面が撮像されても照合ができるように、複数の側面についてマスタ画像を撮像することが多く、登録の手間や時間に加え、マスタ画像の増加による照合処理時間の増大が問題となる。 However, when the identification of products is performed by collating with the master image, the number of products handled by the logistics company is often over 10,000, and it takes a lot of time and labor to register the master images of all the products. ing. In addition, some products have a three-dimensional shape. In the case of such products, it is often the case that master images are taken for multiple sides so that matching can be performed no matter which side is taken during the inspection work. An increase in matching processing time becomes a problem.
そこでこの発明は、上述した課題を解決する検品処理装置、検品システム、商品マスタ登録装置、検品処理方法及びプログラムを提供することを目的としている。 Therefore, an object of the present invention is to provide an inspection processing device, an inspection system, a product master registration device, an inspection processing method, and a program that solve the above-mentioned problems.
本発明は、検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定する商品画像決定部と、前記商品画像決定部が特定した画像を記憶部に登録する商品データ登録部と、前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する照合部と、を備える検品処理装置である。 The present invention specifies an image for each inspected product based on inspection data including an inspected product and an inspected quantity, and an inspected image that images an inspected product included in the inspected data and a product group that matches the inspected quantity. A product image determining unit, a product data registration unit that registers the image identified by the product image determining unit in a storage unit, and an image to be inspected corresponding to new inspection data based on an image stored in the storage unit. It is an inspection processing device provided with the collation part which specifies the product contained.
また本発明は、検品データに含まれる検品商品および検品数量と一致する商品群を撮像する撮像装置と、前記商品群の重量を測定する重量計測器と、前記撮像装置が撮像した検品対象画像と、前記重量計測器が測定した重量を取得する上記の検品処理装置と、を備えることを特徴とする検品システムである。 Further, the present invention, an imaging device for imaging an inspected product and a product group that match the inspection quantity included in the inspection data, a weight measuring device for measuring the weight of the product group, and an inspection target image captured by the imaging device. An inspection system comprising: the inspection processing apparatus, which acquires the weight measured by the weight measuring device.
また本発明は、検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定する商品画像決定部と、前記商品画像決定部が特定した画像を商品マスタに登録する商品データ登録部と、を備える商品マスタ登録装置である。 Further, the present invention, based on the inspection data including the inspection product and the inspection quantity, and the inspection target image obtained by imaging the inspection product included in the inspection data and the product group matching the inspection quantity, an image for each inspection product is displayed. The product master registration device includes: a product image determination unit that identifies the product image; and a product data registration unit that registers the image identified by the product image determination unit in a product master.
また本発明は、検品処理装置が、検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定し、前記特定した画像を記憶部に登録し、前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する、検品処理方法である。 Further, the present invention is based on an inspection target image in which an inspection processing device captures inspection data including an inspection product and an inspection quantity, and an inspection product included in the inspection data and a product group matching the inspection quantity, based on the inspection target image. An image inspection process in which an image for each product is specified, the specified image is registered in the storage unit, and the product included in the inspection target image corresponding to the new inspection data is specified based on the image stored in the storage unit. Is the way.
また本発明は、検品処理装置のコンピュータを、検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定する手段、前記特定した画像を記憶部に登録する手段、前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する手段、として機能させるためのプログラムである。 Further, the present invention, the computer of the inspection processing apparatus, based on the inspection target image obtained by imaging the inspection data including the inspection product and the inspection quantity, the inspection product included in the inspection data and the product group matching the inspection quantity, A means for specifying an image for each of the inspection products, a means for registering the specified image in a storage unit, and a product included in the inspection target image corresponding to the new inspection data based on the image stored in the storage unit It is a program for functioning as a means for doing.
本発明によれば、検品作業に用いる商品のマスタ画像の登録作業を効率化するという効果が得られる。 According to the present invention, it is possible to obtain the effect of making the registration work of the master image of the product used for the inspection work more efficient.
<第一の実施形態>
以下、本発明の一実施形態による検品処理装置を図1〜図12を参照して説明する。
図1は第一の実施形態による検品処理装置の最小構成を示す図である。
図1に示す通り、検品処理装置100は、商品データ登録部109と、商品画像決定部110と、照合部115と、を少なくとも備えている。検品処理装置100は、例えばCPU(Central Processing Unit)を備えたコンピュータである。
商品画像決定部110は、検品すべき対象である商品(検品商品)の識別情報とその商品について検品すべき数量(検品数量)とを含む検品データ(伝票データ)と、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、検品対象商品毎の画像を特定する。
商品データ登録部109は、商品画像決定部110が特定した画像を記憶部に登録する。なお、記憶部とは、後述する商品データ格納部117であり、商品マスタに相当する。
照合部115は、商品画像決定部110が特定した商品の画像が登録された記憶部(商品マスタ)が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する。
<First embodiment>
An inspection processing apparatus according to an embodiment of the present invention will be described below with reference to FIGS.
FIG. 1 is a diagram showing the minimum configuration of the inspection processing apparatus according to the first embodiment.
As shown in FIG. 1, the
The product
The product
The
図2は第一の実施形態による検品処理装置の構成の一例を示すブロック図である。
図2に示す通り、検品処理装置100は、制御判定部101と、重量取得部102と、商品画像取得部103と、入力受付部104と、表示情報出力部105と、特徴量計算部106と、検品データ保存部107と、目標総重量計算部108と、商品データ登録部109と、商品画像決定部110と、商品重量計算部114と、照合部115と、検品データ格納部116と、商品データ格納部117とを備えている。なお、検品データに含まれる検品すべき商品を検品商品、検品すべき数量を検品数量、これに対して検品作業を行う作業員が検品商品の候補として商品棚から取り出した商品を検品対象商品と呼ぶ。また、検品対象商品群を撮像した画像を検品対象画像と呼ぶ。また、検品対象画像から切り出した検品商品の候補となる一まとまりの画像を商品画像と呼ぶ。
FIG. 2 is a block diagram showing an example of the configuration of the inspection processing apparatus according to the first embodiment.
As shown in FIG. 2, the
制御判定部101は、他の機能部へ、情報の伝達や処理の指示を行う。
重量取得部102は、重量計測器が測定した検品対象商品の重量を、重量計測器から取得する。
商品画像取得部103は、撮像装置に検品対象商品の撮像指示を行い、撮像装置から撮像装置が撮像した検品対象画像を取得する。
入力受付部104は、作業員の入力操作を受け付ける。また、入力受付部104は、作業員による検品データの入力操作に基づいて、検品データを取得する。
表示情報出力部105は、検品作業に必要な各種情報を生成し、検品処理装置100に接続された表示装置に出力する。
特徴量計算部106は、商品画像取得部103が取得した検品対象画像の特徴量を、例えば図形特徴量を算出するなどの一般的な特徴量計算手法により計算する。
検品データ保存部107は、作業員が入力した検品作業の対象となる検品データを検品データ格納部116に記録する。
目標総重量計算部108は、検品データに含まれる検品商品の総重量(目標総重量)を計算する。また、目標総重量計算部108は、計算した目標総重量と重量取得部102が取得した検品対象商品の重量とを比較し、差を計算する。
The
The
The product
The
The display
The feature
The inspection
The target total
商品データ登録部109は、商品データ格納部117に検品商品を撮像した画像、単位重量などを登録する。商品データ登録部109は、商品画像決定部110と商品重量計算部114とを備える。
商品画像決定部110は、画像抽出部111と、画像分析部112と、商品特定部113とを備えている。
画像抽出部111は、検品対象画像から前記検品対象商品の候補となる一まとまりの画像(商品画像)を切り出す。
画像分析部112は、切り出した商品画像を互いに照合し、検品対象画像に含まれる商品画像の種類別の数量を算出する。
商品特定部113は、商品画像の種類別の数量と、検品データに含まれる検品商品ごとの検品数量とを比較して、商品画像の各々が示す商品を特定する。
商品画像決定部110は、商品特定部113が特定した商品画像と検品商品とを対応付けて商品データ格納部117(商品マスタ)に記録する。
The product
The product
The
The
The
The product
商品重量計算部114は、検品データに含まれる検品商品ごとの単位重量および検品商品ごとの検品数量と、検品データに含まれる検品商品および検品数量と一致する商品群の重量を測定した重量データとの関係を示す方程式に基づいて、検品商品ごとの単位重量を算出する。
照合部115は、商品データ格納部117が記憶する商品のマスタ画像を用いて、検品商品を撮像した検品対象画像を照合して検品対象画像に写る商品を特定し、特定した商品が検品データに含まれる検品商品と一致するかどうかを判定する。
The product
The
検品データ格納部116は、検品対象の検品データに含まれる検品商品の商品名、検品数量などを格納するデータベースである。
商品データ格納部117は、商品ごとに、商品名、商品の画像(マスタ画像)、商品画像の特徴量、単位重量などを格納するデータベースである。
なお、制御判定部101、重量取得部102、商品画像取得部103、入力受付部104、表示情報出力部105、特徴量計算部106、検品データ保存部107、商品データ登録部109、商品画像決定部110、画像抽出部111、画像分析部112、商品特定部113、商品重量計算部114、照合部115の少なくとも一部は検品処理装置100の備えるCPUがハードディスクなどの記憶部からプログラムを読み出し実行することで備わる機能である。
The inspection
The product
The
図3は、本発明の第一の実施形態による検品システムの一例を示す図である。
以下、図3を用いて、本実施形態の検品システムの説明を行う。
図3に示す通り、検品システム1は、検品処理装置100と、撮像装置200と、重量計測器300と、表示装置400と、入力装置500とを備えている。また、重量計測器300には1つまたは複数の検品対象商品(検品対象商品600)が置かれている。なお、重量計測器300の表面(検品対象商品を置く面)には、格子状など特徴のある既知の模様が描かれている。
FIG. 3 is a diagram showing an example of an inspection system according to the first embodiment of the present invention.
Hereinafter, the inspection system of this embodiment will be described with reference to FIG.
As shown in FIG. 3, the
撮像装置200は、検品対象商品を撮像する例えばカメラである。重量計測器300は、検品対象商品の重量を測定する装置である。図3において、撮像装置200は、重量計測器300の上に載せられた検品対象商品を真上から撮像できるようにレンズを地面側に向けて支柱302に取り付けられている。支柱302は、土台301によって固定され、重量計測器300は、土台301の上に設置されている。撮像装置200の取り付け位置は、この図の例に限定されない。検品処理装置100は、撮像装置200と接続されており、撮像装置200が撮像した検品対象商品の画像を取得する。検品処理装置100は、重量計測器300と接続されており、重量計測器300が測定した検品対象商品の重量を取得する。
The
表示装置400は、例えばディスプレイである。表示装置400は、検品処理装置100と接続されており、検品処理装置100が生成した検品作業に必要な情報を表示する。入力装置500は、キーボード、マウス、あるいは任意のデータ読み取り手段(記憶媒体読み取り装置など)である。作業員は、表示装置400に表示される情報を参照しながら、入力装置500を用いて検品処理装置100を操作し、検品作業を行う。
The
次に、図3を用いて検品作業の大まかな流れについて説明する。まず、作業員は、検品作業の対象となる1枚の伝票に記載された1つまたは複数の検品商品の候補を商品棚などから取り出し重量計測器300の上に置く。重量計測器300の上に置かれた検品対象商品600は、作業員が誤って類似する商品を選択する場合もある。1枚の伝票には、複数種類の商品が含まれていることも多く、その場合、検品対象商品600には、複数種類の商品が含まれることになる。作業員が検品対象商品600を重量計測器300の上に置くと、重量計測器300は、検品対象商品600の重量を測定し、測定した重量データを検品処理装置100に送信する。検品処理装置100は、重量データを受信したタイミングで撮像装置200に撮像指示信号を送信する。撮像装置200は、撮像指示信号を受信すると、検品対象商品600を上から撮像し、撮像した検品対象画像を検品処理装置100に送信する。
また、これらの処理と並行して、作業員は、1枚の伝票に含まれる検品データ(検品商品の名称、検品数量など)を、入力装置500を用いて入力する。例えば、伝票のデータは電子化されたファイルで、作業員は、記憶媒体に格納されたそのファイルを、記憶媒体読取装置を介して検品処理装置100に入力する。なお、検品データに含まれる1つずつの明細を明細情報と呼ぶ。
Next, a rough flow of the inspection work will be described with reference to FIG. First, the worker takes out one or a plurality of inspected product candidates described in one voucher to be inspected from a product shelf or the like and places them on the
Further, in parallel with these processes, the worker inputs the inspection data (name of inspection product, inspection quantity, etc.) included in one voucher using the
検品対象画像を取得すると、検品処理装置100は、商品データ格納部117が記憶する商品のマスタ画像と照合処理を行って、検品対象画像に含まれる商品を特定する。また、検品処理装置100は、照合処理の結果、画像に写っていると特定した商品と、検品データに含まれる検品商品とが一致するかどうかを判定する。検品処理装置100は、検品データに含まれる全ての検品商品についてこの照合処理および判定処理を行う。また、検品処理装置100は、検品データに含まれる全ての検品商品の総重量を計算し、重量計測器300が測定した重量データと比較する。
そして、検品処理装置100は、全ての検品対象商品についての照合処理結果と、重量データの比較結果とを表示装置400に表示する。また、検品処理装置100は、検品データの一覧を表示装置400に表示する。
When the inspection target image is acquired, the
Then, the
作業員は、表示装置400に表示された検品データの一覧、照合処理結果、重量データ比較結果を目視によって確認し、検品結果を把握する。作業員は、過不足分の数量の検品対象商品600を重量計測器300に載せたり、取り除いたりして数量の調整を行う。以上の作業と処理の結果、作業員が表示装置400に表示された商品の数量が検品データ通りになれば、その検品データについての検品作業は終了である。
The worker visually confirms the list of inspection data displayed on the
ところで、物流業者が扱う商品は1万点を超える場合があり、例えば新商品が開発され市場へと提供された場合、新たにその新商品のマスタ画像を商品データ格納部117へ登録しなければならない。新商品が出る度にマスタ画像の登録を行わなければならないのは手間がかかる。特に、その新商品が立体物の場合、作業員が、どの面を上にして重量計測器300に載せるのかが分からない為、全ての側面のマスタ画像を登録する必要があり、さらに多くの手間や時間を費やすことになる。また、マスタ画像が多く登録されると、それだけ照合処理に時間が掛かるという問題も存在する。
By the way, the product handled by the logistics company may exceed 10,000 items. For example, when a new product is developed and provided to the market, the master image of the new product must be newly registered in the product
そこで、本実施形態では、新商品など商品データ格納部117に登録されていない商品について、目視検品を行った結果の情報を記録し、記録した情報に基づいて、自動的に未登録商品のマスタ画像、単位重量を商品データ格納部117に登録する方法を提供する。次に本実施形態における未登録商品の商品画像、単位重量の登録処理について説明を行う。
Therefore, in the present embodiment, information about the result of visual inspection of a product such as a new product that is not registered in the product
図4は、本発明の第一の実施形態による検品処理装置を用いた検品処理の一例を示すフローチャートである。
図5は、本発明の第一の実施形態による検品確認画面の一例を示す第一の図である。
まず、作業員がある1つの検品データを検品処理装置100に入力する。検品処理装置100では、入力受付部104がその検品データを取得し、制御判定部101に出力する。すると、目標総重量計算部108は、制御判定部101の指示に基づいて目標総重量を計算する(ステップS11)。具体的には、目標総重量計算部108は、入力された検品データについて、検品商品ごとに商品データ格納部117が記憶するその検品商品の単位重量と、その検品商品の検品数量とを乗算して検品数量分の重量(検品重量とよぶ)を計算する。目標総重量計算部108は、全ての検品重量を合計して目標総重量を計算し、目標総重量をメモリに記録する。なお、検品データに含まれる検品商品が未登録の場合、単位重量の情報が得られないので、その検品商品についての検品重量は0となる。
FIG. 4 is a flowchart showing an example of the inspection processing using the inspection processing apparatus according to the first embodiment of the present invention.
FIG. 5 is a first diagram showing an example of the inspection confirmation screen according to the first embodiment of the present invention.
First, a worker inputs one piece of inspection data to the
次に、作業員は、検品処理装置100に入力した検品データを参照して検品対象商品600を商品棚などから取り出し重量計測器300に置く。検品対象商品600が重量計測器300に置かれると、重量取得部102は、重量計測器300が測定した検品対象商品600の重量データを取得する(ステップS12)。重量取得部102は、取得した重量データを制御判定部101に出力する。制御判定部101は、重量データをメモリに記録する。
次に、制御判定部101は、重量データを取得したことを契機として、商品画像取得部103に撮像指示信号を出力する。すると、商品画像取得部103は、撮像装置200に撮像指示を行い、撮像装置200が検品対象商品600の検品対象画像を撮像する。商品画像取得部103は、撮像装置200が撮像した検品対象画像を取得し(ステップS13)、メモリに格納する。
Next, the worker refers to the inspection data input to the
Next, the
メモリに画像が格納されると、制御判定部101は、特徴量計算部106に、格納した画像の特徴量を計算するように指示を行う。特徴量計算部106は、メモリから検品対象画像を読み出して、所定の公知の特徴計算手法により特徴量を計算し(ステップS14)、計算結果を制御判定部101に出力する。この計算結果には、検品対象画像上の特徴量の分布が含まれている。また、この特徴量分布には、重量計測器300に置かれた検品対象商品600の全ての商品による特徴量が含まれている。制御判定部101は、特徴量をメモリに記録する。
When the image is stored in the memory, the
次に、照合部115は、商品データ格納部117に記録されたマスタ画像に基づいて、検品対象画像に含まれる商品を検索する(ステップS15)。具体的には、照合部115は、商品データ格納部117に登録された全商品のマスタ画像のうち、検品データに含まれる検品商品のマスタ画像を読み出して、それらのマスタ画像と検品対象画像とを比較して、検品対象画像に写る商品を特定する。例えば、照合部115は、検品データに含まれる商品名に基づいて商品データ格納部117からその商品の特徴量を読み出す。そして、商品特定部113は、読み出した照合商品の特徴量と検品対象画像の特徴量分布とを比較して、検品商品の特徴量が検品対象画像の特徴量分布に含まれているかどうかを照合する検索処理を行う。照合部115は、検品商品の特徴量と検品対象画像に含まれる特徴量との類似度が所定の閾値以上であれば、検品対象画像に検品商品が写っていると判定する。照合部115は、検品データに含まれる各検品商品について検索処理を行い、その検索結果(検索できた数量)を制御判定部101に出力する。
Next, the
照合部115から検索結果を取得すると、制御判定部101は、その検索結果を表示情報出力部105に出力し、検品確認画面を表示するよう指示する。次に表示情報出力部105は、検品データ格納部116に記録された「明細番号」、「商品コード」、「検品数量」、商品データ格納部117に記録された「単位重量」を読み出す。また、表示情報出力部105は、制御判定部101に、目標総重量、重量取得部102が取得した重量データ、総重量誤差の情報を要求する。総重量誤差は、目標総重量計算部108が計算した目標総重量と重量取得部102が取得した重量データとの差である。制御判定部101は、目標総重量計算部108に総重量誤差の計算を指示する。目標総重量計算部108は、先に計算した目標総重量と重量取得部102が取得した重量データとをメモリから読み出して、総重量誤差を計算する。目標総重量計算部108は、目標総重量、重量データ、計算した総重量誤差を、制御判定部101に出力する。制御判定部101は、それらの情報を表示情報出力部105に出力する。また、表示情報出力部105は、メモリから検品対象画像を取得する。
表示情報出力部105は、照合部115の判定結果、検品データ格納部116から取得した検品データ、目標総重量計算部108が出力した総重量誤差などのデータ、検品対象画像を用いて、作業員が検品作業に使用する検品確認画面の画像を生成し、表示装置400に表示する(ステップS16)。
When the search result is acquired from the
The display
ここで、図5を用いて、検品確認画面について説明する。図5は、検品確認画面の一例を示す図である。図示するように、検品確認画面は、検品データ表示欄61、検品対象画像表示欄62、画像照合結果表示欄63、重量比較結果表示欄64、OKボタン65を含む。表示情報出力部105は、検品データ表示欄61に検品データ格納部116等から取得した検品データ(「明細番号」、「商品コード」、「検品数量」、「単位重量」の各欄)および照合部115から取得した検索結果(「検品実績」欄)を表示する。表示情報出力部105は、取得した検品対象画像を検品対象画像表示欄62に表示する。また、表示情報出力部105は、商品特定部113による判定結果を画像照合結果表示欄63に表示する。例えば、表示情報出力部105は、照合部115から取得した検索結果が検品データに含まれている全ての商品と一致することを示している場合、「画像OK」などの表示を行い、検品データに含まれている商品と一致しないとの判定結果が一つでも含まれていれば、「画像NG」などの表示を行う。また、表示情報出力部105は、目標総重量計算部108から取得した総重量誤差などのデータに基づいて重量比較結果表示欄64の表示を行う。例えば、総重量誤差が0の場合、表示情報出力部105は、重量比較結果表示欄64に「重量OK」などの表示を行う。また、総重量誤差が0ではない場合、表示情報出力部105は、重量比較結果表示欄64に「重量NG」などの表示を行う。また、表示情報出力部105は、目標総重量、重量データ、総重量誤差を重量比較結果表示欄64に表示する。また、表示情報出力部105は、OKボタン65を表示する。OKボタン65は、作業員が現在表示している検品データに対する検品作業が終了すると押下するボタンである。
Here, the inspection confirmation screen will be described with reference to FIG. FIG. 5 is a diagram showing an example of the inspection confirmation screen. As illustrated, the inspection confirmation screen includes an inspection
作業員は、商品を全て特定できたかどうかを確認する(ステップS17)。例えば、作業員は、検品対象画像表示欄62に「画像OK」が表示されているかどうかで商品を全て特定できたかどうかを確認することができる。特定できなかった場合(ステップS17;No)、表示情報出力部105は、目視検品画面(図示せず)の画像を生成し、表示装置400に表示する(ステップS18)。目視検品画面は、重量計測器300に置かれた各検品対象商品600を目視によって確認するための画面である。目視検品画面では、各検品対象商品がより拡大されて表示されてもよい。作業者は検品確認画面を見て、表示された商品の画像や商品名を目視によって確認する。検品対象商品や数量に過不足がある場合、作業員は、商品の過不足を調整する。目視検品の結果、全ての検品対象商品が正しく重量計測器300に載せられた場合、検品終了となる。なお、商品の入れ替えや、追加、削除された際に、撮像装置200は、新たな検品対象画像を撮像し、商品画像取得部103は、その画像を取得する。また、重量計測器300は、重量を再計測し、重量取得部102が再計測された新たな重量データ取得する。なお、目視確認画面のレイアウトは、検品対象商品が目視で確認できるものであれば任意でよいが、例えば、図5等に例示する検品確認画面と同様であってもよい。
The worker confirms whether all the products have been specified (step S17). For example, the worker can confirm whether or not all the products can be identified by whether or not “image OK” is displayed in the inspection target
一方、商品が特定できた場合(ステップS17;Yes)、次に作業員は、総重量誤差は許容範囲内かどうか確認する(ステップS19)。許容範囲内ではない場合(ステップS19;No)、作業員は、商品の過不足を調整する。重量計測器300に載せられた商品の数量が変化すると、重量取得部102が新たな重量データ取得する。また、目標総重量計算部108は、総重量誤差を再計算する。そして、表示情報出力部105は、重量比較結果表示欄64の表示を更新する。このような作業員の調整作業により総重量誤差が許容範囲内となると(ステップS19)、検品終了となる。
On the other hand, when the product can be specified (step S17; Yes), the worker next confirms whether the total weight error is within the allowable range (step S19). When it is not within the allowable range (step S19; No), the worker adjusts the excess or deficiency of the product. When the number of products placed on the
検品終了となると、検品データ保存部107は、検品対象画像と、重量データと、検品データとを対応付けて検品データ格納部116に記録する(ステップS20)。なお、検品対象画像と重量データは検品終了時のもの(つまり検品データの内容と一致する検品対象商品群の検品対象画像と重量データ)である。また、検品データ保存部107は、今回の検品データに目視によって検品した明細情報が含まれている場合、検品データ等と目視による検品を行ったこと示す情報とを対応付けて検品データ格納部116に記録する。次に検品処理装置100は、マスタ登録処理を行う(ステップS21)。このマスタ登録処理は、ステップS17にて、全ての商品が特定できた場合、つまり、商品データ格納部117に商品のマスタ画像が記録されている場合には必要のない処理である。次に図5〜図12用いて、マスタ登録処理の説明を行う。
When the inspection is completed, the inspection
図6は、本発明の第一の実施形態による検品確認画面の一例を示す第二の図である。
図7は、本発明の第一の実施形態による検品確認画面の一例を示す第三の図である。
図8で説明するマスタ登録処理において、商品データ格納部117に記録のない商品である商品コード「A」、「B」、「C」の商品を含む検品データ(図5〜図7)に対して、「出荷伝票1」〜「出荷伝票3」の順に図4で説明した検品処理を行うとする。また、ステップS20で記録された検品対象画像等は、図5〜図7で例示する3件の検品データについてのみであるとする。
具体的には、まず、図5で例示する検品データ「出荷伝票1」について検品処理を行うとする。「出荷伝票1」には、商品コード「A」の商品(商品Aとする)の検品数量が「2」、商品コード「B」の商品(商品Bとする)の検品数量が「1」、商品コード「C」の商品(商品Cとする)の検品数量が「1」、の明細情報が含まれている。図4で説明した検品処理の結果、検品データ格納部116には、「出荷伝票1」の検品データに対応して、目視検品画面で確認された検品対象画像と、その検品対象画像が示す状態で測定された重量データが記録される。
FIG. 6 is a second diagram showing an example of the inspection confirmation screen according to the first embodiment of the present invention.
FIG. 7 is a third diagram showing an example of the inspection confirmation screen according to the first embodiment of the present invention.
In the master registration process described with reference to FIG. 8, with respect to the inspection data (FIGS. 5 to 7) including the products of the product codes “A”, “B”, and “C” which are the products not recorded in the product
Specifically, first, it is assumed that the inspection processing is performed on the inspection data “
次に図6で例示する検品データ「出荷伝票2」について検品処理を行うとする。「出荷伝票2」には、商品Aの検品数量が「2」、商品Bの検品数量が「2」の明細情報が含まれている。図4で説明した検品処理の結果、検品データ格納部116には、「出荷伝票2」の検品データに対応して、目視検品画面で確認された検品対象画像と、対応する重量データが記録される。以下に説明するステップS39〜ステップS42のマスタ画像の登録処理については、「出荷伝票2」について検品処理を行い、ステップS20で検品対象画像などの記録を行い、次にマスタ登録処理を行う場面であると仮定して説明を行う。
次に図7で例示する検品データ「出荷伝票3」について検品処理を行うとする。「出荷伝票3」には、商品Bの検品数量が「2」、商品Cの検品数量が「1」の明細情報が含まれている。図4で説明した検品処理の結果、検品データ格納部116には、「出荷伝票3」の検品データに対応して、目視検品画面で確認された検品対象画像と、その画像に対応する重量データが記録される。以下に説明するステップS43〜ステップS45の単位重量の登録処理については、この「出荷伝票3」について検品処理を行い、ステップS20で検品対象画像などの記録を行い、次にマスタ登録処理を行う場面であると仮定して説明を行う。
Next, it is assumed that inspection processing is performed on the inspection data “
Next, it is assumed that inspection processing is performed on the inspection data “
図8は、本発明の第一の実施形態による検品処理装置のマスタ登録処理の一例を示すフローチャートである。
図9は、本発明の第一の実施形態による検品処理を説明する第一の図である。
図10は、本発明の第一の実施形態による検品処理を説明する第二の図である。
図11は、本発明の第一の実施形態による検品処理を説明する第三の図である。
図12は、本発明の第一の実施形態による検品処理を説明する第四の図である。
図8は、ステップS21のマスタ登録処理を詳細に説明する図である。
まず、商品データ登録部109が検品データをカウントする変数Nを初期化し、Nに1を設定する(ステップS31)。商品データ登録部109は、N回目の検品処理のステップS20で登録した検品データと検品対象画像・重量データを検品データ格納部116から読み出して取得する(ステップS32)。今回はN=1なので、商品データ登録部109は、図5で例示した1回目の検品データ、検品対象画像・重量データを取得する。
FIG. 8 is a flowchart showing an example of the master registration process of the inspection processing device according to the first embodiment of the present invention.
FIG. 9 is a first diagram illustrating the inspection processing according to the first embodiment of the present invention.
FIG. 10 is a second diagram illustrating the inspection processing according to the first embodiment of the present invention.
FIG. 11 is a third diagram illustrating the inspection processing according to the first embodiment of the present invention.
FIG. 12 is a fourth diagram illustrating the inspection processing according to the first embodiment of the present invention.
FIG. 8 is a diagram illustrating the master registration process of step S21 in detail.
First, the product
次に、商品データ登録部109は、1回目の検品データに目視による検品結果が1件でも含まれているかどうかを判定する(ステップS33)。目視による検品結果が1件でも含まれているかどうかとは、図4で目視検品画面にて検品を行った商品が含まれているかどうかである。例えば、商品データ登録部109は、検品データと目視による検品を行ったことを示す情報が対応付けて検品データ格納部116に記録されている場合、目視による検品結果が1件でも含まれていると判定する。N件目の検品データが目視による検品を含まない場合(ステップS33;No)ステップS37の判定にすすむ。N件目の検品データが目視による検品結果が含まれている場合(ステップS33;Yes)、商品データ登録部109は、画像抽出部111に画像の切り出しを指示する。画像抽出部111は、読み出した検品対象画像において商品画像の切り出しを行う(ステップS34)。上述のとおり重量計測器300には、例えば、格子状の模様が描かれている。画像抽出部111は、この既知の背景模様を利用して、背景差分法等の画像処理により、商品の候補となる一まとまりの物体が写った部分の画像(商品画像)を切り出す。N=1の場合、図9(a)の左図が、切り出し後の状態の例を示している。図9(a)の左図は、画像抽出部111による切り出し後、11、12、13、14の符号が付された商品画像が切り出されたことを示している。なお、ここで、同じ商品Aを撮像した画像であっても商品Aが立体形状をしている場合など、商品Aのどの面が上向きになるように置くかで、商品画像は異なるが、以下の説明においては、同じ検品対象商品については同じ面が撮影されているものとする。
Next, the product
次に、商品データ登録部109は、画像抽出部111が切り出した各商品画像の特徴量を計算するよう特徴量計算部106に指示する。特徴量計算部106は、切り出した各商品画像に対して特徴量を計算し(ステップS35)、その値を商品データ登録部109に出力する。商品データ登録部109は、特徴量を各商品画像と対応付けてメモリに記録する。例えば、図9(a)の切り出し画像「11」の特徴量が「AAA」であれば、商品データ登録部109は、「11」と「AAA」を対応付けてメモリに記録する。
Next, the product
次に、商品データ登録部109は、商品重量計算部114に方程式の作成を指示する。商品重量計算部114は、N回目の検品データとN回目の重量データとを用いて、重量データと検品データの関係を数式化する(ステップS36)。例えば、図11(a)は、1回目の検品データと重量データを示した図である。図11(a)のデータから検品データと重量データとの関係を求めると、Wa(商品Aの単位重量)×2(個)+Wb(商品Bの単位重量)×1(個)+Wc(商品Cの単位重量)×1(個)=450(総重量)となる。商品重量計算部114は、このような方程式(図12(a)の出荷伝票1の行)を生成しメモリに記録する。
Next, the product
次に、商品データ登録部109は、変数Nが検品データ格納部116に記録済みの検品データの個数と等しいかどうかを判定する(ステップS37)。変数Nが記録済みの検品データの個数と等しくない場合(ステップS37;No)、商品データ登録部109は、変数Nに1を加算し(ステップS38)、ステップS32からの処理を繰り返す。具体的には、N=2の「出荷伝票2」の検品データに対して、画像抽出部111は、図9(b)の左図のように商品画像21〜24を切り出す。また、特徴量計算部106は、商品画像21〜24それぞれの特徴量を計算する。また、商品重量計算部114は、図11(b)のデータから方程式「Wa×2+Wc×2=300」(図12(a)の出荷伝票2)を生成する。記録済みの検品データの個数が2の場合、ステップS39の処理に進む。記録済みの検品データの個数が3の場合は、商品データ登録部109は、変数Nに1を加算し、続いてN=3の「出荷伝票3」の検品データに対して同様の処理を行う。例えば、商品重量計算部114は、図11(c)のデータから方程式「Wb×2+Wc×1=450」(図12(a)の出荷伝票3)を生成する。
Next, the product
変数Nが記録済みの検品データの個数と等しい場合(ステップS37;Yes)、商品データ登録部109は、切り出した画像どうしの照合を、画像分析部112に指示する。画像分析部112は、画像抽出部111によって切り出された商品画像同士を照合する(ステップS39)。具体的には、画像分析部112は、ステップS32〜ステップS37で得られた全ての商品画像のそれぞれについて、他の商品画像と特徴量を比較する照合処理を行う。ここでは、N=2(つまり、現在、出荷伝票1および出荷伝票2の検品データが検品データ格納部116に記録済み)であるとして説明を行う。図9の商品画像11について、商品画像11と商品画像12、13、14、21、22、23、24のそれぞれを照合する。同様に商品画像12と商品画像11、13、14、21、22、23、24のそれぞれを照合する。他の商品画像13、14、21、22、23、24についても同様である。
When the variable N is equal to the number of recorded inspection data (step S37; Yes), the product
次に、画像分析部112は、全ての切り出し画像のうち、特徴量が一致する商品の画像があるかどうかを判定する(ステップS40)。画像分析部112は、例えば、商品画像11の特徴量と商品画像14の特徴量との類似度が所定の範囲内にあれば、両者は一致する商品の画像であると判定する。図10(a)は、画像分析部112による照合結果の一例を示している。図10(a)によれば、照合処理の結果、画像分析部112は、商品画像11、商品画像14、商品画像22、商品画像23は一致する商品の画像であると判定したことを示している。同様に、画像分析部112は、商品画像12、商品画像21、商品画像24は一致する商品の画像、商品画像14、商品画像22、商品画像23は一致する商品の画像、商品画像21、商品画像24は一致する商品の画像、商品画像22、商品画像23は一致する商品の画像であると判定されたことを示している。特徴量が一致する商品の画像がある場合(ステップS40;Yes)、画像分析部112は、照合を行った検品対象画像に含まれる商品画像の種類別の数量を、検品対象画像別(検品データ別)に算出する。図10(a)の例では、画像分析部112は、商品画像11と商品画像14が一致することから、出荷伝票1の検品対象画像には、商品画像11と同じ種類の商品画像が2つ(商品画像11と商品画像14)含まれることを算出する。また、画像分析部112は、商品画像12と同じ種類の商品画像が1つ(商品画像12自身)、商品画像13と同じ種類の商品画像が1つ(商品画像13自身)含まれることを算出する。画像分析部112は、同様に出荷伝票2についても、商品画像11と同じ種類の商品画像が2つ(商品画像22と商品画像23)含まれることを算出する。また、画像分析部112は、商品画像12と同じ種類の商品画像が2つ(商品画像21と商品画像24)、商品画像13と同じ種類の商品画像が0個含まれることを算出する。一方、特徴量が一致する商品の画像が無い場合(ステップS40;No)、ステップS43の処理にすすむ。
Next, the
特徴量が一致する商品の画像がある場合、次に商品特定部113は、特徴量が一致した画像の個数と伝票の検品数量が一致する商品があるかどうかを判定する(ステップS41)。具体的には、商品特定部113は、画像分析部112による検品対象画像別(検品データ別)の商品画像の種類別の数量と、検品データに含まれる検品商品の検品数量とを比較して、商品画像の各々が示す検品商品を特定する。図10(b)を用いてより詳しく説明する。図10(b)の「一致画像」欄、「出荷伝票1」欄、「出荷伝票2」欄は、画像分析部112による算出結果を表にまとめたものである。商品特定部113は、この検品対象画像別の商品画像の種類別の数量(図10(b))と、出荷伝票1(図9(a)の右図)および出荷伝票2(図9(b)の右図)とを比較する。図10(b)によると、例えば、商品画像11、14、22、23は同種、かつ出荷伝票1に2個、出荷伝票2に2個含まれることが分かる。そのような商品は商品Aのみであるため、商品特定部113は、商品画像11等が示すのは商品Aであると特定する。また、商品画像12、21、24については、出荷伝票1に1個、出荷伝票2に2個含まれる商品は、検品データに照らし合わせると商品Cであるため、商品特定部113は、商品画像12等が示すのは商品Cであると特定する。また、商品画像13について、出荷伝票1に1個、出荷伝票2に0個含まれる商品は、検品データに照らし合わせると商品Bであるため、商品特定部113は、商品画像13は商品Bを撮像した画像であると特定する。特定できた商品がある場合、商品特定部113は、特徴量が一致した画像の個数と伝票の検品数量が一致する商品があると判定する。一致する商品があると判定した場合(ステップS41)、商品特定部113は、特定した結果を商品データ登録部109に出力する。続いて、商品データ登録部109は、検品対象画像に含まれる商品画像の数量と検品データに含まれる検品数量が一致した商品画像を、その商品と対応付けて商品データ格納部117に登録する(ステップS42)。このように本実施形態によれば、事前に画像をマスタ登録しなくとも、検品作業の流れの中で自動的に商品の画像をマスタ登録することができる。
なお、一致する商品が一つもないと判定した場合(ステップS41;No)、ステップS43へ進む。
When there is an image of a product having the same characteristic amount, the
When it is determined that there is no matching product (step S41; No), the process proceeds to step S43.
次に、商品重量計算部114が、ステップS36で生成した全ての方程式を連立させて解く(ステップS43)。ここでは、N=3(つまり、現在、出荷伝票1、出荷伝票2、出荷伝票3の検品データが検品データ格納部116に記録済み)であるとして説明を行う。図12(a)に商品重量計算部114が生成した方程式を示す。なお、図中、Waは商品Aの単位重量、Wbは商品Bの単位重量、Wcは商品Cの単位重量を示している。ここで、求める変数は3種類(Wa、Wb、Wc)、方程式が3つあるので、この連立方程式を解くことにより、Wa、Wb、Wcを求めることができる。実際にこれらを解くと、商品Aの重量は100、商品Bの重量は200、商品Cの重量は50となる。図12(b)に連立方程式を解いて得た各商品A〜Cの単位重量を示す。商品重量計算部114は、連立方程式の解(単位重量)を商品と対応付けて、商品データ登録部109に出力する。また、商品重量計算部114は、連立方程式が解けない場合は、解なしなどの情報を商品データ登録部109に出力する。
Next, the product
商品データ登録部109は、商品重量計算部114から取得した情報に基づいて、連立方程式の解があるかどうかを判定する(ステップS44)。連立方程式の解がある場合(ステップS44;Yes)、商品データ登録部109は、商品重量計算部114から取得した単位重量を、商品と対応付けて商品データ格納部117に登録する(ステップS45)。連立方程式の解がない場合(ステップS44;No)、マスタ登録処理を終了する。このように本実施形態によれば、事前に単位重量をマスタ登録しなくとも、検品作業の流れの中で自動的に単位重量をマスタ登録することができる。
なお、上記の例では、商品画像の登録については、出荷伝票2の検品処理後のマスタ登録処理において商品画像の登録が可能である。また、単位重量の登録については、出荷伝票3の検品処理後のマスタ登録処理において可能となる。つまり、商品画像のマスタ登録処理と単位重量のマスタ登録処理は独立したタイミングで行われる。また、上記の説明では、ステップS32において、検品データ格納部116に格納されている全ての検品データを読み出して処理を行っているが、最後に行った検品処理で用いた検品データに含まれる検品対象商品を明細情報に含む検品データだけを読み出してもよい。
The product
In addition, in the above example, regarding the registration of the product image, the product image can be registered in the master registration process after the inspection process of the
本実施形態の検品処理装置によれば、照合部115が、商品データ格納部117に記録されているマスタ画像を用いて対象商品を撮像した画像に写る商品を特定できなかった場合でも、検品作業を何度か繰り返すうちに記録された検品データと検品対象画像に基づいて、検品商品と、その検品商品のマスタ画像とを対応付けて自動的に商品データ格納部117に登録することができる。また、検品作業を何度か繰り返すうちに記録された検品データと重量データに基づいて、検品商品と、その検品商品の単位重量とを対応付けて自動的に商品データ格納部117に登録することができる。従って、商品のマスタ画像および単位重量を予めマスタ登録する必要がなく、マスタ登録の手間を減らすことができる。また、検品時の撮像画像を用いてマスタ登録するため、実際に上を向けて置かれる側面のみのマスタ画像が登録され、そうでない側面の画像は登録されることはない。したがって、照合対象の画像数が実際に検品作業で用いられる側面のみに限定されるため、照合時間を短縮することができる。
According to the inspection processing apparatus of the present embodiment, even if the collating
<第二の実施形態>
以下、本発明の第二の実施形態による検品処理装置を図13〜図17を参照して説明する。
検品対象商品が多い場合など、重量計測器300におかれる検品対象商品同士が重なることがある。そのような場合、商品画像を商品ごとに個別に切り出すことが困難であるため、第一の実施形態と同様の処理で商品画像を、自動的にマスタ登録することは難しい。第二の実施形態では、商品同士が重なって置かれた場合でも、重なった商品の画像を分割して、それぞれの商品画像を商品データ格納部117に登録する。
図13は、本発明の第二の実施形態による検品処理装置の構成の一例を示すブロック図である。
図13で示すように、第二の実施形態による検品処理装置100Aは、第一の実施形態における表示情報出力部105、商品データ登録部109に代えて、表示情報出力部105A、商品データ登録部109Aを備えている点で第一の実施形態と異なる。表示情報出力部105Aは、作業員による検品商品と検品対象画像における当該検品商品が写った部分の対応付け操作の入力手段を提供する。商品データ登録部109Aは、商品画像決定部110Aと、商品重量計算部114とを備える。商品画像決定部110Aは、第一の実施形態と同様に画像抽出部111および画像分析部112および商品特定部113を備え、さらに本実施形態の特徴である部分画像選択部118を備えている。他の構成は、第一の実施形態と同様である。
<Second embodiment>
An inspection processing apparatus according to the second embodiment of the present invention will be described below with reference to FIGS. 13 to 17.
When there are many inspection target products, the inspection target products placed in the
FIG. 13 is a block diagram showing an example of the configuration of the inspection processing apparatus according to the second embodiment of the present invention.
As shown in FIG. 13, the
部分画像選択部118は、検品対象画像において、切り出された一まとまりの画像(商品画像)の数が、検品データに含まれる検品数量の合計に比べ小さい場合、検品データに含まれる検品商品とその検品商品が写った画像の部分とを対応付ける操作に基づいて、一まとまりの画像のうち複数の商品を含む画像であって、ある一つの検品商品(例えば、商品A)を含む画像と、同じ検品商品(商品A)を含む他の一まとまりの画像とを照合し、照合の結果、特徴量が一致する範囲の画像を、当該検品商品(商品A)の部分画像として選択する。
また、商品データ登録部109Aは、部分画像選択部118が選択した範囲の画像を、対応付けられた商品および当該画像が不完全であることを示す情報と対応付けて商品データ格納部117に登録する。また、商品データ登録部109Aは、部分画像が登録されたある一つの商品(例えば、商品A)について、当該商品の輪郭が切り出せた一まとまりの画像(商品A単体の商品画像)が得られた場合、その画像を部分画像の代わりに登録する。
When the number of cut-out images (product images) in the inspection target image is smaller than the total inspection quantity included in the inspection data, the partial image selection unit 118 and the inspection product included in the inspection data An image including a plurality of products out of a set of images based on an operation of associating with a part of an image in which an inspection product is reflected, and an image including a certain inspection product (for example, product A) and the same inspection product The other image including the product (product A) is collated, and as a result of the collation, the image in the range where the feature amounts match is selected as the partial image of the inspection product (product A).
Further, the product
次に図14〜図16を用いて、第二の実施形態に固有の処理について説明する。
図14は、本発明の第二の実施形態による検品確認画面の一例を示す図である。
図14に示すのは「出荷伝票4」について検品処理を行った場合に表示される検品確認画面の例である。「出荷伝票4」には、商品Aが2つ、商品Bが1つ、商品Cが3つ含まれている。また、商品A、商品B、商品Cは、商品データ格納部117に登録されていないとする。その為、画像照合結果表示欄63には「画像NG」、重量比較結果表示欄64に「重量NG」が表示されている。この「出荷伝票4」についての検品作業において、商品A〜商品Cは、重量計測器300上に、検品対象画像表示欄62に示すように置かれている。つまり、1つの商品Aの一部と商品Cが重なるように置かれ、もう一つの商品Aの一部と商品Bが重なるように置かれている。このように商品同士が重なるように置かれた場合、画像抽出部111が商品画像の切り出しを行うと、重なるように置かれた商品Aと商品Cは一つのまとまった商品画像として切り出される(破線で囲った商品画像41)。また、重なるように置かれた商品Aと商品Bは一つのまとまった商品画像として切り出される(破線で囲った商品画像44)。つまり、実際には、6個の商品が重量計測器300に置かれているところ、背景差分法等による画像処理では、4つの商品しか切り出すことができない。そこで、本実施形態では、部分画像選択部118が、重なって置かれた商品の画像を商品ごとに分割して、半自動的なマスタ登録処理を実現する。より具体的には、目視検品画面(図4のステップS18)において、入力受付部104は、作業員による検品データに含まれる検品商品と、検品対象画像におけるその検品商品が写った画像部分を対応付ける操作を受け付ける。部分画像選択部118は、この操作に基づいて、商品画像の分割を行う。なお、本実施形態において目視検品画面は、検品対象画像を表示し、検品対象画像のうちある商品が写った画像部分とその商品とを対応付ける操作の入力手段を有していれば、任意のものであって構わないが、ここでは、図14に例示した検品確認画面と同様の画面であるとして以下の説明を行う。
Next, processing unique to the second embodiment will be described with reference to FIGS. 14 to 16.
FIG. 14 is a diagram showing an example of the inspection confirmation screen according to the second embodiment of the present invention.
FIG. 14 shows an example of the inspection confirmation screen displayed when the inspection processing is performed on "shipping slip 4". The “shipment slip 4” includes two products A, one product B, and three products C. Further, it is assumed that the products A, B, and C are not registered in the product
図15は、本発明の第二の実施形態によるマスタ登録処理を説明する第一の図である。
図15の左図は、作業員による商品とその商品が写った画像部分とを対応付ける操作を行った後の検品対象画像表示欄62の一例である。図15の右図は、「出荷伝票4」の明細データである。作業員は、例えば、図14の検品確認画面と同様の目視確認画面において、検品データ表示欄61の1行目をマウス等で選択する操作を行い、さらに検品対象画像表示欄62に写った商品Aをマウス等で選択する(図15の点41A、44A)操作を行う。そして、作業員は、指さし確認ボタン66を押下する。これが、検品データに含まれる検品商品(商品A)と検品対象画像におけるその検品商品(商品A)が写った画像部分を対応付ける操作の例である。作業員がこの対応付け操作を行うと、入力受付部104はこの操作を受け付け、商品Aの識別情報と作業員が選択した画像部分の座標情報とを、制御判定部101を介して、商品データ登録部109Aに出力する。商品データ登録部109Aでは、部分画像選択部118がこれらの情報を取得する。また、部分画像選択部118は、画像抽出部111による切り出し後の商品画像41、商品画像44を取得する。また、部分画像選択部118は、特徴量計算部106が計算した商品画像41、商品画像44の特徴量を取得する。部分画像選択部118は、これらの情報を用いて、重なり合った商品の画像を分割する処理を行う。なお、同様に作業員は、商品B、商品Cについても、商品とその商品が写った画像部分を対応付ける操作を行ってもよい。その場合、部分画像選択部118は、商品Bの識別情報と商品Bの座標情報、商品Cの識別情報と商品Cの座標情報を取得する。
FIG. 15 is a first diagram illustrating a master registration process according to the second embodiment of the present invention.
The left diagram of FIG. 15 is an example of the inspection target
図16は、本発明の第二の実施形態によるマスタ登録処理を説明する第二の図である。
図16を用いて部分画像選択部118の切り出し処理について説明する。部分画像選択部118は、商品画像41と商品画像44に対して、移動、回転などの画像処理を行いつつ両画像を照合し、両画像の特徴量が重なり合う位置関係を探す。すると、図16(a)のように、商品Aが写っている領域が部分的に一致する位置関係が見つかる。部分画像選択部118は、図16(a)に例示する特徴量が一致するような位置関係で重ね合わせた画像から、特徴量が一致する範囲の領域のみを切り出す。すると、部分画像選択部118は、図16(b)に例示する商品Aの部分的な画像を得る。このとき、図16(a)のように商品Aが他商品の下に一部隠れていた場合、商品Aの画像の中に他の商品が写りこむことがある。従って、部分画像選択部118は、図16(a)に例示する画像からでは、商品Aの正確な輪郭を認識できず、部分的な画像しか得られない場合がある。しかし、切り出された部分的な画像の中に、商品Aの特徴量が十分含まれていれば、検品処理において商品Aの照合処理を行うことができる。そこで、本実施形態では、部分画像選択部118が切り出した部分的な画像(部分画像)を商品Aの画像として、商品データ格納部117に登録する。
FIG. 16 is a second diagram illustrating the master registration process according to the second embodiment of the present invention.
The clipping process of the partial image selection unit 118 will be described with reference to FIG. The partial image selection unit 118 collates the
次に図17を用いて本実施形態のマスタ登録処理について説明する。前提として、図4のステップS17にてNoの場合、目視検品画面(例えば、図14の検品確認画面と同様であってよい)において、入力受付部104は、作業員による検品商品とその検品商品が写った画像部分とを対応付ける操作を受け付ける。入力受付部104は、対応付けられた検品商品の識別情報と作業員が選択した画像部分の座標情報とを、制御判定部101へ出力する。制御判定部101は、これらの情報をメモリに記録する。また、ステップS20において、制御判定部101は、検品対象画像と、重量データと、検品データと、商品の識別情報と、作業員が選択した画像部分の座標情報とを対応付けて検品データ格納部116に記録する。
なお、表示情報出力部105Aが目視検品画面を出力する際、例えば、画像抽出部111が検品対象画像から商品の切り出し処理を行い、商品データ登録部109Aが、検品データに含まれる検品数量の合計と切り出された商品画像数とを比較して、両者の数量が一致しない場合、表示情報出力部105Aに「重ねて置かれた商品が存在するので、検品商品とその検品商品が写った画像部分を対応付ける操作を行ってください」等のメッセージを表示して、作業員に対応付け操作を促してもよい。
Next, the master registration process of this embodiment will be described with reference to FIG. As a premise, in the case of No in step S17 of FIG. 4, in the visual inspection screen (for example, the inspection confirmation screen of FIG. 14 may be the same), the
When the display
図17は、本発明の第二の実施形態による検品処理装置のマスタ登録処理の一例を示すフローチャートである。
図8と同様の処理については簡単に説明を行う。まず、商品データ登録部109Aが変数Nに1を設定する(ステップS31)。商品データ登録部109Aは、N回目に登録した検品データと検品対象画像・重量データを検品データ格納部116から読み出して取得する(ステップS32)。次に、商品データ登録部109Aは、N回目の検品データに目視による検品結果が1件でも含まれているかどうかを判定する(ステップS33)。N件目の検品データが目視による検品を含まない場合(ステップS33;No)ステップS37の判定にすすむ。目視による検品結果が含まれている場合(ステップS33;Yes)、画像抽出部111は、検品対象画像について商品画像の切り出しを行う(ステップS34)。次に特徴量計算部106は、切り出した各商品画像に対して特徴量を計算する(ステップS35)。商品データ登録部109Aは、画像抽出部111が切り出した商品画像、その商品画像の特徴量を取得する。次に商品データ登録部109Aは、切り出された商品画像の数とN回目の検品データに含まれる全検品商品の個数とが一致するかどうか判定する(ステップS351)。一致する場合(ステップS351;Yes)、ステップS36へ進む。
FIG. 17 is a flowchart showing an example of the master registration process of the inspection processing device according to the second embodiment of the present invention.
Processing similar to that in FIG. 8 will be briefly described. First, the product
一致しない場合(ステップS351;No)、制御判定部101は、検品データ格納部116に記録された、商品の識別情報とその商品の画像部分の座標情報とを読み出して(ステップS352)、これらの情報を、商品データ登録部109Aへ出力する。次に商品データ登録部109Aでは部分画像選択部118が、部分画像を切り出す処理を行う(ステップS353)。具体的には、図16を用いて説明したように、部分画像選択部118が、同じ商品を含む複数の画像を、その画像が含む特徴量の分布が一致するように重ね合わせる画像処理を行う。そして、部分画像選択部118は、特徴量が一致する部分の範囲のみを切り出す(図16の例では商品A)。なお、商品Aのように重なって写った商品が複数種類ある場合、部分画像選択部118は、それら複数の種類の商品のそれぞれについて部分画像の切り出し処理を行う。また、部分画像選択部118は、切り出された画像以外の部分の画像(図15の例では、商品画像41の商品Cが写った部分、商品画像44の商品Bが写った部分)についても複数商品を含んだ商品画像からの切り出しを行う。ステップS353の処理では、部分画像選択部118は、商品Aの特徴量が含まれる2つの画像と、商品Aを切り出した後の商品Bの特徴量を含む画像1つと、商品Cの特徴量を含む画像1つとを得る。
If they do not match (step S351; No), the
次に、商品重量計算部114は、N回目の検品データとそれに対応する重量データとを用いて、重量データと検品データの関係を数式化する(ステップS36)。次に、商品データ登録部109Aは、変数Nが記録済みの検品データの個数と等しいかどうかを判定する(ステップS37)。変数Nが記録済みの検品データの個数と等しくない場合(ステップS37;No)、商品データ登録部109Aは、変数Nに1を加算し(ステップS38)、ステップS32からの処理を繰り返す。変数Nが記録済みの検品データの個数と等しい場合(ステップS37;Yes)、画像分析部112は、画像抽出部111、部分画像選択部118による切り出し画像同士(一つの商品が写った商品画像と、複数の商品が写った商品画像から切り出した部分画像が含まれる)を照合する(ステップS39)。図15のような検品対象画像が得られた場合、画像分析部112は、画像抽出部111が切り出した商品Cの画像2つ、部分画像選択部118が切り出した商品Aの画像2つ、部分画像選択部118が切り出した残りの商品Bの画像1つと商品Cの画像1つ、及び、他の出荷伝票の検品対象画像から切り出された商品画像を用い、それらの中で互いに特徴量が一致する画像があるかどうか総当たりで照合処理を行う。次に、画像分析部112は、全ての切り出し画像のうち、一致する商品の画像があるかどうかを判定する(ステップS40)。一致する商品の画像が無い場合(ステップS40;No)、ステップS43の処理に進む。
Next, the product
一致する商品の画像がある場合(ステップS40;Yes)、画像分析部112は、照合を行った検品対象画像に含まれる商品画像および部分画像の種類別の数量を、検品対象画像別に算出する。次に商品特定部113は、特徴量が一致した画像の個数と検品データの検品数量が一致する商品があるかどうかを判定する(ステップS41)。一致する商品がある場合(ステップS41;Yes)、商品データ登録部109Aは、検品対象画像に含まれる商品画像等の数量と検品データに含まれる検品数量が一致した商品の商品画像や部分画像を、その商品と対応付けて商品データ格納部117に登録する(ステップS42)。このとき、登録する画像が部分画像であって、商品の輪郭が不明確な商品については、商品データ登録部109Aは、画像が不完全であることを示す情報と対応付けて登録する。なお、特徴量が一致した画像の個数と検品データの検品数量が一致する商品が無い場合(ステップS41;No)、ステップS43の処理に進む。
When there is an image of the matching product (step S40; Yes), the
次に、商品重量計算部114が、ステップS36で生成した全ての方程式を連立させて解く(ステップS43)。連立方程式の解がある場合(ステップS44;Yes)、商品データ登録部109Aは、商品重量計算部114が計算した単位重量を、商品と対応付けて商品データ格納部117に登録する(ステップS45)。連立方程式の解がない場合(ステップS44;No)、ステップS46に進む。
次に商品データ登録部109Aは、部分画像が登録された商品について、輪郭が含まれた画像が得られるかどうかを判定する(ステップS46)。部分画像が登録された商品とは、例えば上記の「出荷伝票4」の商品Aのような商品のことである。ここで、「出荷伝票4」の次に「出荷伝票5」の検品処理を行ったとする。その場合、商品データ登録部109Aは、出荷伝票5の検品データに含まれる商品について、商品データ格納部117を検索し、不完全な画像であることを示す情報と対応付けて登録されたマスタ画像が登録されているかどうかを確認する。例えば、「出荷伝票5」の検品データに商品Aが含まれていれば、商品データ登録部109Aは、商品データ格納部117を検索し、検品データに部分画像が登録された商品が含まれていると判定する。続いて、商品データ登録部109Aは、「出荷伝票5」の検品対象画像に商品Aの輪郭がわかる形態で写っているかどうか判定する。例えば、画像抽出部111が検品対象画像から全ての商品を切り出し、商品データ登録部109Aが切り出された商品画像数と検品データに含まれる検品数量の合計が一致するかどうかを判定する。一致する場合、画像分析部112が、画像抽出部111によって切り出された各画像のそれぞれと、商品データ格納部117に登録された商品Aの部分画像とを照合する。照合の結果、商品画像の中に、商品Aの部分画像と特徴量が一致する画像が見つかれば、その商品画像は商品Aの特徴量が含まれた商品Aの輪郭が分かる画像であると考えられる。この場合、商品データ登録部109Aは、輪郭が含まれた画像が得られると判定する。輪郭が含まれた画像が得られると判定した場合(ステップS46;Yes)、画像分析部112は輪郭が含まれた商品画像を、商品データ登録部109Aへ出力する。商品データ登録部109Aは、その商品画像で登録済みの商品Aの部分画像を更新する(ステップS47)。例えば、商品データ登録部109Aは、画像分析部112が照合の結果一致すると判定した商品Aの商品画像を、商品Aと対応付けて商品データ格納部117に登録する。また、登録済みの商品Aの部分画像と商品Aに対応付けられた不完全な画像であることを示す情報とを商品データ格納部117から削除する。輪郭が含まれた画像が得られないと判定した場合(ステップS46;No)、マスタ登録処理を終了する。
Next, the product
Next, the product
本実施形態によれば、第一の実施形態の効果に加えて、商品同士が重なるように置かれた状況下においても、事前に画像をマスタ登録せずに、検品作業の流れの中で半自動的にマスタ画像を商品データ格納部117に登録することができる。また、検品作業を続ける中で、部分画像を登録した検品商品について、重なりのない状態で撮像された商品画像が検品対象画像に含まれる場合、マスタ画像をその商品画像に差し替える処理を行えば、他商品と重なった状態で登録されたマスタ画像を是正することができ、より照合の精度を高めることができる。
According to the present embodiment, in addition to the effects of the first embodiment, even in a situation where products are placed so as to overlap each other, semi-automatic in the inspection work flow without registering images in advance as master Therefore, the master image can be registered in the product
<第三の実施形態>
以下、本発明の第三の実施形態による検品処理の一例を、図18を参照して説明する。
第三の実施形態では、商品の画像が商品データ格納部117に登録されていない場合、作業員の指さし確認操作によって、その商品の商品画像を商品データ格納部117に登録することができる。指さし確認操作とは、検品商品とその商品が写った画像部分を対応付ける操作である。第三の実施形態の構成は、例えば、第二実施形態の検品処理装置100Aと同様である。次に図18を用いて、本実施形態の検品処理および商品画像の登録処理について説明する。
<Third embodiment>
Hereinafter, an example of the inspection processing according to the third embodiment of the present invention will be described with reference to FIG.
In the third embodiment, when the image of the product is not registered in the product
図18は、本発明の第三の実施形態による検品処理装置を用いた検品処理の一例を示すフローチャートである。
図19は、本発明の第三の実施形態による検品確認画面の一例を示す図である。
第一実施形態の図4と同様の処理については簡単に説明する。
前提として検品データが検品処理装置100Aに入力されたとする。すると、目標総重量計算部108は、検品データに含まれる検品商品の単位重量、検品数量を用いて目標総重量を計算する(ステップS11)。次に、作業員は、検品対象商品600を重量計測器300に置く。すると、重量計測器300が重量を測定し、重量取得部102は、重量データを取得する(ステップS12)。次に撮像装置200が検品対象商品600の検品対象画像を撮像し、商品画像取得部103がその検品対象画像を取得する(ステップS13)。次に特徴量計算部106は、検品対象画像の特徴量を計算する(ステップS14)。次に照合部115は、商品データ格納部117に登録されたマスタ画像を用いて検品対象画像に検品商品が写っているかどうかを検索する(ステップS15)。次に表示情報出力部105Aは、図19で例示する検品確認画面の画像を生成し、表示装置400に表示する(ステップS16)。
FIG. 18 is a flowchart showing an example of the inspection processing using the inspection processing device according to the third embodiment of the present invention.
FIG. 19 is a diagram showing an example of the inspection confirmation screen according to the third embodiment of the present invention.
Processing similar to that of FIG. 4 of the first embodiment will be briefly described.
As a premise, it is assumed that the inspection data is input to the
次に作業員は、商品を全て特定できたかどうかを確認する(ステップS17)。例えば、特定できなかった場合(ステップS17;No)、表示情報出力部105Aは目視確認画面(例えば、図19で例示する検品確認画面と同様であってよい)を表示する(ステップS18)。作業員は、目視確認画面上で、目視による検品が完了するまで重量計測器300に載せる商品の調整を行う。検品データに含まれる検品商品を過不足なく重量計測器300に置くと、作業員は、未登録商品の登録操作を行う。目視確認画面が図19で例示する画面と同様であるとして登録操作の説明を行う。まず、作業員は、検品商品とその検品商品が写った画像部分を対応付ける操作を行う。例えば、作業員は、検品データ表示欄61の1行目を選択する操作を行い、さらに、検品対象画像表示欄62の商品Aが写った部分2箇所を選択する操作を行う。そして、作業員は、指さし確認ボタン66を押下する。作業員は、商品B、商品Cについても同様の操作を行う。入力受付部104は、作業員による検品商品とその検品商品が写った画像部分を対応付ける操作を受け付ける(ステップS22)。入力受付部104は、対応付けられた検品商品の識別情報と作業員が選択した画像部分の座標情報を、制御判定部101を介して、商品データ登録部109Aへ出力する。次に商品データ登録部109Aが、商品の画像を商品データ格納部117に登録する(ステップS23)。具体的には、画像抽出部111が検品対象画像から各商品画像を切り出す処理を行い、商品データ登録部109Aが、切り出された商品画像のうち、作業員が選択した部分の座標情報を含む商品画像を、作業員がその商品画像に対応付けた検品商品と対応付けて商品データ格納部117に登録する。これにより、検品終了となる。
Next, the worker confirms whether all the products have been specified (step S17). For example, when it cannot be specified (step S17; No), the display
一方、商品が特定できている場合(ステップS17;Yes)、作業員は、総重量誤差は許容範囲内かどうか確認する(ステップS19)。許容範囲内ではなかった場合(ステップS19;No)、作業員は、商品の過不足を調整する。作業員の調整作業により総重量誤差が許容範囲内となると(ステップS19)、検品終了となる。検品終了となると、制御判定部101は、検品対象画像と、重量データと、検品データとを対応付けて検品データ格納部116に記録する(ステップS20)。次に検品処理装置100は、マスタ登録処理を行う(ステップS24)。本実施形態のマスタ処理においては、マスタ画像の登録処理は、作業員の操作によって完了しているので、商品重量計算部114が単位重量の算出を行い、商品データ登録部109Aが商品ごとの単位重量を商品データ格納部117に登録する。
On the other hand, when the product can be identified (step S17; Yes), the worker confirms whether the gross weight error is within the allowable range (step S19). When it is not within the allowable range (step S19; No), the worker adjusts the excess or deficiency of the product. When the total weight error is within the allowable range due to the adjustment work of the worker (step S19), the inspection is finished. When the inspection is completed, the
本実施形態によれば、マスタ画像が商品データ格納部117に登録されていない検品商品が存在する場合、作業員は、検品作業中に当該検品商品とその検品商品の画像とを対応付ける操作を行うだけでマスタ画像の登録を行うことができる。これによって、マスタ画像の事前登録が不要となり手間を省くことができる。また、目視確認画面において、作業員が、検品対象画像に写る各商品画像と検品データに含まれる検品商品とを指さし確認することによって、検品作業における誤りを低減する効果が期待できる。
According to the present embodiment, when there is an inspection product whose master image is not registered in the product
<変形例>
なお、第一の実施形態における商品データ登録部109、第二の実施形態における商品データ登録部109Aは、独立した装置として構成し、商品マスタ登録装置として用いることができる。
図20は、本発明に係る商品マスタ登録装置の構成の一例を示すブロック図である。
図20に示すように、商品マスタ登録装置150は、制御判定部101と、入力受付部104と、商品データ登録部109とを備えている。
商品マスタ登録装置150では、入力受付部104は、複数の検品データと、それらの検品データに対する検品済みの検品対象画像および重量データとを取得する。商品データ登録部109は、例えば、作業員のマスタ登録指示操作などに基づいて、入力受付部104が取得したデータを用いて、図8で説明した処理によって、検品データに含まれる商品のマスタ画像、単位重量を求め、それらの情報を商品マスタ151に登録する。商品マスタ登録装置150によれば、検品作業で得られた検品データ、検品対象画像、重量データを利用して、商品マスタ151へのマスタ画像等の登録を行うことができる。
<Modification>
The product
FIG. 20 is a block diagram showing an example of the configuration of the product master registration device according to the present invention.
As shown in FIG. 20, the product
In the product
図21は、本発明の検品処理装置および商品データ登録装置のハードウェア構成の一例を示すブロック図である。
図21に示す通り、検品処理装置100、100Aは、CPU901と、メモリ902と、ハードディスク等の記憶装置903と、ネットワーク接続用の通信IF904(通信インターフェース)とを含む、コンピュータ装置によって実現される。ただし、検品処理装置100、100Aの構成は、図21に示すコンピュータ装置に限定されない。例えば、検品処理装置100、100Aは、通信IF904を介して外部に画像または重量データを送信し、外部で検品対象の商品の照合を行い、その結果を受信してもよい。商品マスタ登録装置150についても同様である。
FIG. 21 is a block diagram showing an example of the hardware configuration of the inspection processing device and the product data registration device of the present invention.
As shown in FIG. 21, the
なお、本実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェアおよびソフトウェアの任意の組み合わせによって実現される。また、検品処理装置100、100A、商品マスタ登録装置150は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
It should be noted that the block diagram used in the present embodiment does not show a configuration in hardware units but shows blocks in functional units. These functional blocks are realized by an arbitrary combination of hardware and software. Further, the
なお、上述の検品処理装置100、100A、商品マスタ登録装置150は内部にコンピュータを有している。そして、上述した検品処理装置100、100A、商品マスタ登録装置150の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
The
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 Further, the program may be for realizing a part of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above-mentioned functions in combination with a program already recorded in the computer system.
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。 In addition, it is possible to appropriately replace the constituent elements in the above-described embodiments with known constituent elements without departing from the spirit of the present invention. Further, the technical scope of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
1・・・検品システム
100・・・検品処理装置
101・・・制御判定部
102・・・重量取得部
103・・・商品画像取得部
104・・・入力受付部
105、105A・・・表示情報出力部
106・・・特徴量計算部
107・・・検品データ保存部
108・・・目標総重量計算部
109・・・商品データ登録部
110・・・商品画像決定部
111・・・画像抽出部
112・・・画像分析部
113・・・商品特定部
114・・・商品重量計算部
115・・・照合部
116・・・検品データ格納部
117・・・商品データ格納部
118・・・部分画像選択部
150・・・商品マスタ登録装置
151・・・商品マスタ
200・・・撮像装置
300・・・重量計測器
301・・・土台
302・・・支柱
400・・・表示装置
500・・・入力装置
600・・・検品対象商品
901・・・CPU
902・・・メモリ
903・・・記憶装置
904・・・通信IF
1...
902...
Claims (12)
前記商品画像決定部が特定した画像を記憶部に登録する商品データ登録部と、
前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する照合部と、
を備える検品処理装置。 Based on the inspection data including the inspection product and the inspection quantity, and the inspection target image in which the inspection product included in the inspection data and the product group that matches the inspection quantity are imaged, the product image determination for specifying the image for each inspection product Department,
A product data registration unit that registers the image specified by the product image determination unit in a storage unit;
A collating unit that identifies a product included in the inspection target image corresponding to the new inspection data based on the image stored in the storage unit;
An inspection processing apparatus including.
前記検品対象画像から前記検品商品の画像の候補となる一まとまりの画像を切り出す画像抽出部と、
前記切り出した画像を互いに照合し、それらの画像の種類別の数量を算出する画像分析部と、
前記画像の種類別の数量と、前記検品データに含まれる検品商品ごとの検品数量とを比較して、前記画像の各々が示す検品商品を特定する商品特定部と、
を備える請求項1に記載の検品処理装置。 The product image determination unit,
An image extraction unit that cuts out a set of images that are candidates for the image of the inspection product from the inspection target image,
An image analysis unit that collates the cut out images with each other and calculates the quantity of each of the images by type,
A quantity specifying unit for identifying the inspection goods indicated by each of the images by comparing the quantity of each type of the image and the inspection quantity for each of the inspection goods contained in the inspection data.
The inspection processing apparatus according to claim 1, further comprising:
一つ又は複数の前記検品データと、各々の検品データに対する検品処理において得られた当該検品データに含まれる検品商品および検品数量に一致する検品対象画像と、に基づいて、前記一つ又は複数の検品データに含まれる検品商品ごとの画像を特定する、
請求項1または請求項2に記載の検品処理装置。 The product image determination unit,
Based on one or more of the inspection data and an inspection target image matching the inspection product and the inspection quantity included in the inspection data obtained in the inspection processing for each inspection data, the one or more of the Specify the image for each inspected product included in the inspection data,
The inspection processing apparatus according to claim 1 or 2.
をさらに備える請求項1から請求項3の何れか1項に記載の検品処理装置。 Based on the equation showing the relationship between the unit weight and the inspection quantity of the inspected product based on the inspection data, and the weight data obtained by measuring the weight of the product group, a product weight calculator that calculates the unit weight of the inspected product,
The inspection processing apparatus according to any one of claims 1 to 3, further comprising:
一つ又は複数の前記検品データと、各々の検品データに対する検品処理において得られた当該検品データに含まれる検品商品および検品数量に一致する前記商品群の重量データとに基づいて、前記一つ又は複数の検品データに含まれる検品商品ごとの単位重量を算出する、
請求項4に記載の検品処理装置。 The product weight calculator is
Based on one or more of the inspection data and the weight data of the product group that matches the inspection product and the inspection quantity included in the inspection data obtained in the inspection processing for each inspection data, the one or Calculate the unit weight for each inspected product included in multiple inspection data,
The inspection processing apparatus according to claim 4.
をさらに備え、
前記商品データ登録部は、前記部分画像選択部が選択した部分画像を、前記一つの検品商品および当該画像が不完全であることを示す情報と対応付けて登録する、
をさらに備える請求項1から請求項5の何れか1項に記載の検品処理装置。 In the inspection target image, when the number of cut-out batches of images is smaller than the total of the inspection quantity included in the inspection data, the inspection product included in the inspection data and the part of the image showing the inspection product An image including a plurality of the inspection products among the one set of images based on an operation of associating with, an image including one inspection product among the inspection products, and another including the one inspection product. A partial image selection unit that compares a group of images with each other and, as a result of the comparison, selects an image in a range in which the feature amounts match, as a partial image of the one inspection product.
Further equipped with,
The product data registration unit registers the partial image selected by the partial image selection unit in association with the one inspection product and information indicating that the image is incomplete.
The inspection processing apparatus according to any one of claims 1 to 5, further comprising:
請求項6に記載の検品処理装置。 The product data registration unit, for the one inspection product, when a set of images in which the contour of the one inspection product is cut out is obtained, register the image instead of the partial image,
The inspection processing apparatus according to claim 6.
前記検品データに含まれる検品商品と前記検品対象画像における当該検品商品が写った部分とを対応付ける操作に基づいて、前記検品対象画像から切り出された一まとまりの画像を、前記操作によって対応付けられた検品商品の画像として前記記憶部に登録する、
請求項1から請求項7の何れか1項に記載の検品処理装置。 The product data registration unit is
Based on an operation of associating an inspection product included in the inspection data with a portion in which the inspection product is reflected in the inspection target image, a set of images cut out from the inspection target image is associated with the operation. Registered as an image of the inspection product in the storage unit,
The inspection processing apparatus according to any one of claims 1 to 7.
前記商品群の重量を測定する重量計測器と、
前記撮像装置が撮像した検品対象画像と、前記重量計測器が測定した重量を取得する請求項1から請求項8の何れか1項に記載の検品処理装置と、
を備えることを特徴とする検品システム。 An image pickup device for picking up an image of an inspected product included in inspection data and a product group matching the inspected quantity,
A weight measuring device for measuring the weight of the product group,
The inspection processing apparatus according to claim 1, wherein the inspection target image captured by the imaging device and the weight measured by the weight measuring device are acquired.
An inspection system comprising:
前記商品画像決定部が特定した画像を商品マスタに登録する商品データ登録部と、
を備える商品マスタ登録装置。 Based on the inspection data including the inspection product and the inspection quantity, and the inspection target image in which the inspection product included in the inspection data and the product group that matches the inspection quantity are imaged, the product image determination for specifying the image for each inspection product Department,
A product data registration unit that registers the image specified by the product image determination unit in a product master;
A device for registering a product master.
検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定し、
前記特定した画像を記憶部に登録し、
前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する、
検品処理方法。 The inspection processing device
Inspection data including an inspection product and an inspection quantity, based on an inspection target image obtained by capturing an inspection product and a product group matching the inspection quantity included in the inspection data, an image for each inspection product is specified,
Register the specified image in the storage unit,
Based on the image stored in the storage unit, specify the product included in the inspection target image corresponding to the new inspection data,
Inspection processing method.
検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定する手段、
前記特定した画像を記憶部に登録する手段、
前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する手段、
として機能させるためのプログラム。 Computer of inspection processing equipment,
Inspection data including an inspection product and an inspection quantity, based on an inspection target image obtained by imaging an inspection product and a product group matching the inspection quantity included in the inspection data, a means for specifying an image for each inspection product,
Means for registering the specified image in the storage unit,
Means for identifying a product included in the inspection target image corresponding to the new inspection data, based on the image stored in the storage unit,
Program to function as.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016069899A JP6724484B2 (en) | 2016-03-31 | 2016-03-31 | Inspection processing device, inspection system, product master registration device, inspection processing method and program |
SG11201807007PA SG11201807007PA (en) | 2016-03-31 | 2017-03-24 | Inspection processing device, inspection system, commodity master registration device, inspection processing method, and program |
PCT/JP2017/012121 WO2017170260A1 (en) | 2016-03-31 | 2017-03-24 | Inspection processing device, inspection system, commodity master registration device, inspection processing method, and program |
TW106110272A TWI770015B (en) | 2016-03-31 | 2017-03-28 | Inspection processing device, inspection system, item master registration device, inspection processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016069899A JP6724484B2 (en) | 2016-03-31 | 2016-03-31 | Inspection processing device, inspection system, product master registration device, inspection processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017178574A JP2017178574A (en) | 2017-10-05 |
JP6724484B2 true JP6724484B2 (en) | 2020-07-15 |
Family
ID=59964579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016069899A Active JP6724484B2 (en) | 2016-03-31 | 2016-03-31 | Inspection processing device, inspection system, product master registration device, inspection processing method and program |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6724484B2 (en) |
SG (1) | SG11201807007PA (en) |
TW (1) | TWI770015B (en) |
WO (1) | WO2017170260A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7291264B2 (en) * | 2017-11-02 | 2023-06-14 | 株式会社オービック | Computational processing device, computational processing method and computational processing program |
JP7067812B2 (en) * | 2018-03-20 | 2022-05-16 | 日本電気株式会社 | Information processing device and control method |
CN110443553B (en) * | 2019-08-15 | 2022-08-23 | 深圳市海思睿科技有限公司 | Unattended article management method based on article storage box |
JP7388871B2 (en) | 2019-10-18 | 2023-11-29 | 株式会社キッツ | Judgment device, judgment method and judgment program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0891543A (en) * | 1994-09-28 | 1996-04-09 | Omron Corp | Image processing method, and device therefor |
JP2004318488A (en) * | 2003-04-16 | 2004-11-11 | Konica Minolta Photo Imaging Inc | Product inspection method and product inspection device |
US8131055B2 (en) * | 2008-01-31 | 2012-03-06 | Caterpillar Inc. | System and method for assembly inspection |
BRPI0800754A2 (en) * | 2008-03-25 | 2020-09-24 | Sicpa Holding S.A. | PRODUCTION CONTROL SYSTEM INTEGRATED BY IMAGE PROCESSING AND AUTOMATED CODING |
JP2011039872A (en) * | 2009-08-13 | 2011-02-24 | Komatsu Denshi Kk | Device and method for counting article |
CN103901489B (en) * | 2012-12-27 | 2017-07-21 | 清华大学 | Check method, display methods and the equipment of object |
-
2016
- 2016-03-31 JP JP2016069899A patent/JP6724484B2/en active Active
-
2017
- 2017-03-24 WO PCT/JP2017/012121 patent/WO2017170260A1/en active Application Filing
- 2017-03-24 SG SG11201807007PA patent/SG11201807007PA/en unknown
- 2017-03-28 TW TW106110272A patent/TWI770015B/en active
Also Published As
Publication number | Publication date |
---|---|
SG11201807007PA (en) | 2018-09-27 |
JP2017178574A (en) | 2017-10-05 |
TWI770015B (en) | 2022-07-11 |
WO2017170260A1 (en) | 2017-10-05 |
TW201804381A (en) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6724484B2 (en) | Inspection processing device, inspection system, product master registration device, inspection processing method and program | |
JP6605711B2 (en) | Measuring system and measuring method | |
JP6679891B2 (en) | Inspection processing device, inspection system, inspection processing method and program | |
WO2016158438A1 (en) | Inspection processing apparatus, method, and program | |
US20160063519A1 (en) | Data analysis apparatus, data analysis system, commodity exchange forecasting apparatus, commodity exchange forecasting system, data analysis method, commodity exchange forecasting method, and computer-readable medium | |
JP6481460B2 (en) | Article management apparatus, article management system, article management method and program | |
JP2013539102A5 (en) | ||
US8957970B1 (en) | Receiving items into inventory | |
JP5888358B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
JP6520218B2 (en) | INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING PROGRAM | |
JP2014191423A (en) | Selling commercial article recognition device and selling commercial article recognition method of automatic vending machine and computer program | |
JP6052448B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
JP6769554B2 (en) | Object identification device, object identification method, computing device, system and recording medium | |
JP6651169B2 (en) | Display status judgment system | |
CN111832381A (en) | Object information registration device and object information registration method | |
US20220036529A1 (en) | Device and method for the calibrated checking of a printing on an article | |
CN110268449B (en) | Method, apparatus and machine readable medium for locating a region of interest on an object | |
JP2018005500A (en) | Image processing system, image processing method, and image processing program | |
US9045283B2 (en) | Object information management system and program | |
JP6769555B2 (en) | Article identification device, article identification method, calculation device, system and program | |
JP6582875B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
JP6532116B1 (en) | Inspection system, information collection device, inspection method, information collection method and program | |
JP2016018403A (en) | Image processing device, image processing system, image processing method, and image processing program | |
JP4379038B2 (en) | Image collation apparatus, image collation method, and image collation program | |
JP6454249B2 (en) | Drug inspection apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6724484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |