JP6841352B2 - Product registration device, control method, and program - Google Patents

Product registration device, control method, and program Download PDF

Info

Publication number
JP6841352B2
JP6841352B2 JP2020008978A JP2020008978A JP6841352B2 JP 6841352 B2 JP6841352 B2 JP 6841352B2 JP 2020008978 A JP2020008978 A JP 2020008978A JP 2020008978 A JP2020008978 A JP 2020008978A JP 6841352 B2 JP6841352 B2 JP 6841352B2
Authority
JP
Japan
Prior art keywords
product
information
image
container
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020008978A
Other languages
Japanese (ja)
Other versions
JP2020074189A (en
Inventor
和記 土持
和記 土持
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2020008978A priority Critical patent/JP6841352B2/en
Publication of JP2020074189A publication Critical patent/JP2020074189A/en
Application granted granted Critical
Publication of JP6841352B2 publication Critical patent/JP6841352B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)

Description

本発明は、装置により認識された商品が正しい商品であるか否かを判断する技術に関する。 The present invention relates to a technique for determining whether or not a product recognized by an apparatus is a correct product.

精算対象の商品を登録する装置において、所謂バーコードといった商品を識別するコードを用いて精算対象の商品を認識した際、当該認識された商品を一時的に載置する場所に重量センサを設けて、当該装置で認識された商品の妥当性を判断する技術がある。ここでいう「妥当」とは、精算対象の商品を登録する装置において、顧客が購入する商品として正しい商品が認識されていることを意味する。この技術では、重量センサで測定される重量と、商品識別コードに紐付けられた商品の重量とに基づいて、両者が一致するか否かを判断している。 When a device that registers a product to be settled recognizes a product to be settled using a code that identifies the product, such as a so-called barcode, a weight sensor is provided at a place where the recognized product is temporarily placed. , There is a technique to judge the validity of the product recognized by the device. The term "valid" as used herein means that the device for registering the product to be settled recognizes the correct product as the product purchased by the customer. In this technique, it is determined whether or not the two match based on the weight measured by the weight sensor and the weight of the product associated with the product identification code.

他にも、精算対象の商品を登録する装置により認識された商品の妥当性を適切に判断する技術の一例が、例えば、特許文献１に記載されている。特許文献１には、商品を識別するバーコードの読み取りに応じて、当該バーコードが付された物体（商品）の画像と、当該バーコードに関連付けられた商品の基本図形とを取得し、当該画像から認識される物体の形状と読み取られたバーコードに紐付く基本図形とを用いて算出される相関値によって、認識された商品の妥当性を判定する技術が開示されている。 In addition, for example, Patent Document 1 describes an example of a technique for appropriately determining the validity of a product recognized by an apparatus for registering a product to be settled. In Patent Document 1, an image of an object (product) to which the barcode is attached and a basic figure of the product associated with the barcode are acquired in response to reading of the barcode that identifies the product. A technique for determining the validity of a recognized product based on a correlation value calculated using a shape of an object recognized from an image and a basic figure associated with a read barcode is disclosed.

特許文献２および特許文献３には、画像によるオブジェクト認識で商品を特定する技術が開示されている。詳細には、特許文献２および特許文献３には、商品ＩＤと共に商品画像が紐付けられており、当該商品画像と撮像された画像に含まれる物体とを、表面の色合い、模様、表面の凸凹などの表面状態、形状などの特徴量に基づいてマッチングし、その類似度によって画像内の物体に対応する商品の候補を特定する技術が開示されている。また、特許文献３には、遠赤外線を用いたサーモカメラを用いて画像の中から人物の手の部分にあたる領域を検出し、当該領域を除外して上述の特徴量マッチングを行う技術が開示されている。 Patent Document 2 and Patent Document 3 disclose a technique for identifying a product by object recognition using an image. Specifically, in Patent Document 2 and Patent Document 3, a product image is linked together with a product ID, and the product image and the object included in the captured image have a surface hue, a pattern, and surface irregularities. A technique for matching based on features such as surface condition and shape, and identifying product candidates corresponding to an object in an image based on the degree of similarity is disclosed. Further, Patent Document 3 discloses a technique of detecting a region corresponding to a person's hand from an image using a thermo camera using far infrared rays, excluding the region, and performing the above-mentioned feature amount matching. ing.

特開２０１４−１３２５０１号公報Japanese Unexamined Patent Publication No. 2014-132501 特開２０１３−１８２３２３号公報Japanese Unexamined Patent Publication No. 2013-182323 特開２０１４−０５２８０６号公報Japanese Unexamined Patent Publication No. 2014-052806

上述したような、精算対象の商品を登録する装置により認識された商品の妥当性を判断する技術の精度は高いほど好ましい。 As described above, the higher the accuracy of the technique for determining the validity of the product recognized by the device for registering the product to be settled, the more preferable.

本発明の目的は、精算対象の商品を登録する装置により認識された商品の妥当性を精度よく判断する技術を提供することにある。 An object of the present invention is to provide a technique for accurately determining the validity of a product recognized by an apparatus for registering a product to be settled.

本発明によれば、
撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識する画像認識手段と、
精算対象の商品の商品識別コードを取得するコード取得手段と、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得する大きさ／形状情報取得手段と、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する判定手段と、
を備える商品登録装置が提供される。 According to the present invention
An image recognition means for recognizing the size or shape of a product in the image by using an image associated with depth information indicating a distance in the depth direction of the product included in the imaging range.
Code acquisition means to acquire the product identification code of the product to be settled,
The size / shape information acquisition means for acquiring the size / shape information associated with the acquired product identification code, and
A determination means for determining whether or not the size or shape of the product recognized from the image and the size / shape information acquired by using the product identification code satisfy a predetermined criterion.
A product registration device comprising the above is provided.

本発明によれば、
コンピュータが、
撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識し、
精算対象の商品の商品識別コードを取得し、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得し、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報との差分を算出し、当該差分が所定の基準を満たしているか否かを判定する、
ことを含む制御方法が提供される。 According to the present invention
The computer
The size or shape of the product in the image is recognized by using the image associated with the depth information indicating the distance in the depth direction of the product included in the imaging range.
Obtain the product identification code of the product to be settled and
Acquire the size / shape information associated with the acquired product identification code, and
The difference between the size or shape of the product recognized from the image and the size / shape information acquired by using the product identification code is calculated, and whether or not the difference satisfies a predetermined criterion is determined. judge,
A control method including the above is provided.

本発明によれば、
コンピュータを、
撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識する画像認識手段、
精算対象の商品の商品識別コードを取得するコード取得手段、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得する大きさ／形状情報取得手段、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報との差分を算出し、当該差分が所定の基準を満たしているか否かを判定する判定手段、
として機能させるためのプログラムが提供される。 According to the present invention
Computer,
An image recognition means for recognizing the size or shape of a product in the image by using an image associated with depth information indicating a distance in the depth direction of the product included in the imaging range.
Code acquisition method to acquire the product identification code of the product to be settled,
Size / shape information acquisition means for acquiring size / shape information associated with the acquired product identification code,
The difference between the size or shape of the product recognized from the image and the size / shape information acquired by using the product identification code is calculated, and whether or not the difference satisfies a predetermined criterion is determined. Judgment means,
A program is provided to make it function as.

本発明によれば、精算対象の商品を登録する装置により認識された商品の妥当性を精度よく判断することができる。 According to the present invention, the validity of the product recognized by the device for registering the product to be settled can be accurately determined.

第１実施形態における情報処理装置の処理構成を概念的に示す図である。It is a figure which conceptually shows the processing structure of the information processing apparatus in 1st Embodiment. 大きさ／形状情報記憶部が記憶する情報の一例を示す図である。It is a figure which shows an example of the information which the size / shape information storage part stores. 情報処理装置のハードウエア構成を概念的に示す図である。It is a figure which shows the hardware structure of an information processing apparatus conceptually. 第１実施形態の情報処理装置の処理の流れを示すフローチャートである。It is a flowchart which shows the process flow of the information processing apparatus of 1st Embodiment. 第２実施形態における情報処理装置の取付例を示す図である。It is a figure which shows the installation example of the information processing apparatus in 2nd Embodiment. 第３実施形態における情報処理装置の処理構成を概念的に示す図である。It is a figure which conceptually shows the processing structure of the information processing apparatus in 3rd Embodiment. 第３実施形態の情報処理装置の処理の流れを示すフローチャートである。It is a flowchart which shows the process flow of the information processing apparatus of 3rd Embodiment. 第４実施形態における情報処理装置の処理構成を概念的に示す図である。It is a figure which conceptually shows the processing structure of the information processing apparatus in 4th Embodiment. 重量情報記憶部が記憶する情報の一例を示す図である。It is a figure which shows an example of the information which a weight information storage part stores. 第４実施形態の情報処理装置の処理の流れを示すフローチャートである。It is a flowchart which shows the process flow of the information processing apparatus of 4th Embodiment. 第５実施形態における情報処理装置の処理構成を概念的に示す図である。It is a figure which conceptually shows the processing structure of the information processing apparatus in 5th Embodiment. 第５実施形態の情報処理装置の処理の流れを示すフローチャートである。It is a flowchart which shows the process flow of the information processing apparatus of 5th Embodiment. 第６実施形態における精算システムのシステム構成を概念的に示す図である。It is a figure which conceptually shows the system structure of the settlement system in 6th Embodiment. 第６実施形態の精算システムの処理の流れを示すシーケンス図である。It is a sequence diagram which shows the process flow of the settlement system of 6th Embodiment.

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all drawings, similar components are designated by the same reference numerals, and description thereof will be omitted as appropriate.

［第１実施形態］
〔処理構成〕
図１は、第１実施形態における情報処理装置１０の処理構成を概念的に示す図である。情報処理装置１０は、精算対象の商品を登録する機能を少なくとも有する、所謂ＰＯＳ（Point of Sales）端末などの商品登録装置である。情報処理装置１０は、登録された商品の代金を精算する機能を更に有していてもよい。本実施形態の情報処理装置１０は、画像認識部１１０、商品認識部１２０（コード取得部１２２、撮像部１２４、及びサーモグラフィ情報取得部１２６）、大きさ／形状情報取得部１３０、大きさ／形状情報記憶部１３２、および判定部１４０を備える。 [First Embodiment]
[Processing configuration]
FIG. 1 is a diagram conceptually showing a processing configuration of the information processing apparatus 10 according to the first embodiment. The information processing device 10 is a product registration device such as a so-called POS (Point of Sales) terminal having at least a function of registering a product to be settled. The information processing device 10 may further have a function of settling the price of the registered product. The information processing device 10 of the present embodiment includes an image recognition unit 110, a product recognition unit 120 (code acquisition unit 122, an imaging unit 124, and a thermography information acquisition unit 126), a size / shape information acquisition unit 130, and a size / shape. It includes an information storage unit 132 and a determination unit 140.

＜精算対象の商品の登録＞
本実施形態において、精算対象の商品は次のように登録される。 <Registration of products subject to payment>
In the present embodiment, the goods to be settled are registered as follows.

精算対象の商品は、図１の点線に示されるように移動される。すなわち、精算対象の商品として登録される前の商品（以下、このような商品を「未登録商品」と表記）は、未登録商品を一時的に載置する場所から取り出され、商品認識部１２０の位置に移動される。ここで、詳細には後述するが、未登録商品が精算対象の商品として登録される。そして、精算対象として登録された商品（以下、このような商品を「登録済商品」と表記）は、登録済商品を一時的に載置する場所に移動される。 The goods to be settled are moved as shown by the dotted line in FIG. That is, the product before being registered as the product to be settled (hereinafter, such a product is referred to as "unregistered product") is taken out from the place where the unregistered product is temporarily placed, and the product recognition unit 120 Is moved to the position of. Here, as will be described in detail later, unregistered products are registered as products to be settled. Then, the product registered as the settlement target (hereinafter, such a product is referred to as "registered product") is moved to a place where the registered product is temporarily placed.

未登録商品は、例えば、以下のようにして精算対象の商品として登録される。まず、商品認識部１２０のコード取得部１２２により、コード取得部１２２は、商品認識部１２０にかざされた未登録商品の商品識別コードを、精算対象の商品の商品識別コードとして取得する。ここで、商品識別コードとは、各商品を特定するために予め決められた、文字、数字、記号などから形成されるデータである。商品識別コードには、ＰＬＵ（Price Look Up）コード（例えば、ＪＡＮ（Japan Article Number）コードなど）、またはＮｏｎ−ＰＬＵコードなどが利用され得る。 The unregistered product is registered as a product to be settled as follows, for example. First, the code acquisition unit 122 of the product recognition unit 120 acquires the product identification code of the unregistered product held over the product recognition unit 120 as the product identification code of the product to be settled. Here, the product identification code is data formed from characters, numbers, symbols, etc., which are predetermined to identify each product. As the product identification code, a PLU (Price Look Up) code (for example, a JAN (Japan Article Number) code, etc.), a Non-PLU code, or the like can be used.

商品識別コードは、商品情報シンボルを精算対象の商品から検出して解析することにより取得される。商品情報シンボルは、商品に関する情報を特定するシンボルである。ここで、シンボルとは、バーコード、２次元コード（ＱＲコード（登録商標）など）、又は文字列シンボルなどである。なお、ここでいう文字列には、数値列も含まれる。そして、商品情報シンボルは、商品情報を特定する情報（商品情報のＩＤなど）が符号化されたバーコード等、又は商品情報を特定する情報を表す文字列シンボルなどである。この場合、例えば、光源とフォトダイオードといった受光素子とを備えるコードリーダーや、レンズとＣＣＤ（Charge Coupled Device）イメージセンサーといった撮像素子とを備えるコードリーダーなどを用いることにより、商品情報シンボルから商品識別コードが取得される。またレンズと撮像素子とを備えるコードリーダーの場合、精算対象の商品を含む画像から当該商品の特徴量（例えば色、形状、包装、または商品を識別する特定の印や文字列など）を抽出し、商品識別コードと商品の特徴量とを対応付けて記憶する記憶部（図示せず）を参照してマッチング処理を行うことにより、商品識別コードを取得することもできる。 The product identification code is obtained by detecting and analyzing the product information symbol from the product to be settled. The product information symbol is a symbol that identifies information about the product. Here, the symbol is a bar code, a two-dimensional code (QR code (registered trademark), etc.), a character string symbol, or the like. The character string referred to here also includes a numerical string. The product information symbol is a bar code or the like in which information that identifies the product information (such as an ID of the product information) is encoded, or a character string symbol that represents information that identifies the product information. In this case, for example, by using a code reader having a light source and a light receiving element such as a photodiode, or a code reader having a lens and an image sensor such as a CCD (Charge Coupled Device) image sensor, a product identification code can be obtained from the product information symbol. Is obtained. In the case of a code reader equipped with a lens and an image pickup element, the feature amount of the product (for example, color, shape, packaging, or a specific mark or character string that identifies the product) is extracted from the image including the product to be settled. The product identification code can also be obtained by performing the matching process with reference to a storage unit (not shown) that stores the product identification code and the feature amount of the product in association with each other.

そして、商品認識部１２０は、コード取得部１２２により取得された商品識別コードを用いて、商品識別コードと商品情報（例えば、商品名、商品の単価、値引や割引の有無など）とを紐付けて記憶する記憶部（図示せず）を参照し、当該取得された商品識別コードに紐付けられた商品情報を読み出す。そして、商品認識部１２０は、読み出した商品情報を、情報処理装置１０で実行される精算処理に用いる情報として追加する。これにより、情報処理装置１０上で登録前商品が認識され、精算対象の商品として登録される。 Then, the product recognition unit 120 uses the product identification code acquired by the code acquisition unit 122 to link the product identification code with the product information (for example, the product name, the unit price of the product, the presence or absence of discounts or discounts, etc.). The product information associated with the acquired product identification code is read out with reference to the storage unit (not shown) that is attached and stored. Then, the product recognition unit 120 adds the read product information as information used for the settlement process executed by the information processing device 10. As a result, the pre-registered product is recognized on the information processing device 10 and registered as the product to be settled.

＜装置で認識された商品の妥当性の判定＞
また、本実施形態において、上記のとおり精算対象として登録された商品の妥当性は、以下で説明する各処理部により判定される。なお本実施形態における「妥当」とは、情報処理装置１０において、顧客が購入する商品として正しい商品が認識されていることを意味する。 <Judgment of the validity of the product recognized by the device>
Further, in the present embodiment, the validity of the product registered as the settlement target as described above is determined by each processing unit described below. The term "valid" in the present embodiment means that the information processing apparatus 10 recognizes the correct product as the product purchased by the customer.

撮像部１２４は、所謂３Ｄカメラなどであり、撮像範囲に含まれる商品（未登録商品）の奥行方向の距離を示す奥行情報を対応付けて、画像を生成可能に構成されている。撮像部１２４は、例えばステレオカメラにおける視差を用いる手法などの既知の手法によって、画像と奥行情報とを対応付けて生成する。本実施形態の撮像部１２４は、商品認識部１２０の近傍を撮像範囲に含み、商品認識部１２０に移動されてきた未登録商品を撮像できるようにその向きや位置が調整される。なお、撮像部１２４は、例えば商品をオブジェクト認識する際に用いられるカメラなどのように、情報処理装置１０と一体的に備えられていてもよいし、例えば外付けのカメラなどのように、情報処理装置１０の周囲に設置されていてもよい。 The imaging unit 124 is a so-called 3D camera or the like, and is configured to be able to generate an image by associating depth information indicating a distance in the depth direction of a product (unregistered product) included in the imaging range. The image pickup unit 124 generates the image and the depth information in association with each other by a known method such as a method using parallax in a stereo camera. The imaging unit 124 of the present embodiment includes the vicinity of the product recognition unit 120 in the imaging range, and its orientation and position are adjusted so that the unregistered product moved to the product recognition unit 120 can be imaged. The image pickup unit 124 may be provided integrally with the information processing device 10, such as a camera used when recognizing an object of a product, or information such as an external camera. It may be installed around the processing device 10.

また、撮像部１２４は、好ましくは、コード取得部１２２が商品識別コードを読み取るタイミングに応じて、画像を撮像する。例えば、コード取得部１２２は商品の商品情報シンボルの存在などを検知した場合、その旨を示す通知を撮像部１２４に送る。この通知をうけ、撮像部１２４はコード取得部１２２がコードを読み取るタイミングを知ることができる。このようにすると、上述の商品情報シンボルなどを有する商品の場合、コード取得部１２２が商品識別コードを読み取るタイミングで撮像部１２４が画像を撮像すれば、当該画像に含まれる商品の姿勢が安定し、取得される画像毎の姿勢の変化が小さくなる。これにより、画像のマッチングで用いるテンプレートの数を減らして処理負荷を低減させる効果、および、画像のマッチングによる認識精度の向上効果などが見込める。 Further, the image capturing unit 124 preferably captures an image according to the timing at which the code acquisition unit 122 reads the product identification code. For example, when the code acquisition unit 122 detects the existence of the product information symbol of the product, the code acquisition unit 122 sends a notification to that effect to the image pickup unit 124. Upon receiving this notification, the imaging unit 124 can know the timing when the code acquisition unit 122 reads the code. In this way, in the case of a product having the above-mentioned product information symbol or the like, if the imaging unit 124 captures an image at the timing when the code acquisition unit 122 reads the product identification code, the posture of the product included in the image becomes stable. , The change in posture for each acquired image becomes small. As a result, the effect of reducing the number of templates used for image matching to reduce the processing load, and the effect of improving recognition accuracy by image matching can be expected.

サーモグラフィ情報取得部１２６は、赤外線などを用いる所謂サーモグラフィカメラなどであり、撮像範囲に含まれる物体が放射する赤外放射エネルギーを捉え、当該物体の温度分布を示すサーモグラフィ情報を生成する。サーモグラフィ情報取得部１２６は、撮像部１２４の撮像タイミングに合わせて、サーモグラフィ情報を取得するように構成される。また、サーモグラフィ情報取得部１２６は、撮像部１２４の撮像範囲と同じ撮像範囲または１２４の撮像範囲を包含する撮像範囲のサーモグラフィ情報を取得可能に、その位置や向きが調整されている。そして、サーモグラフィ情報取得部１２６は、例えば画像空間の座標変換処理などによって、撮像部１２４で生成される画像とサーモグラフィ情報との位置関係を整合させる。このようにして、サーモグラフィ情報取得部１２６は、撮像部１２４で生成される画像と対応付けられたサーモグラフィ情報を取得する。 The thermography information acquisition unit 126 is a so-called thermography camera or the like that uses infrared rays or the like, captures infrared radiant energy radiated by an object included in the imaging range, and generates thermography information indicating the temperature distribution of the object. The thermography information acquisition unit 126 is configured to acquire thermography information in accordance with the imaging timing of the imaging unit 124. Further, the thermography information acquisition unit 126 is adjusted in its position and orientation so that it can acquire thermography information in the same imaging range as the imaging range of the imaging unit 124 or in an imaging range including the imaging range of 124. Then, the thermography information acquisition unit 126 matches the positional relationship between the image generated by the image pickup unit 124 and the thermography information by, for example, a coordinate conversion process of the image space. In this way, the thermography information acquisition unit 126 acquires the thermography information associated with the image generated by the imaging unit 124.

画像認識部１１０は、撮像部１２４で生成された画像、および、サーモグラフィ情報取得部１２６で取得されたサーモグラフィ情報を用いて、以下のような処理を行う。 The image recognition unit 110 performs the following processing using the image generated by the image pickup unit 124 and the thermography information acquired by the thermography information acquisition unit 126.

画像認識部１１０は、撮像部１２４で生成された画像に既知の画像認識処理を施して例えば画像内の商品のエッジなどを検出する。そして、画像認識部１１０は、例えば、検出したエッジで示される形状を、予め設定されている２次元形状または３次元形状のテンプレートデータとマッチングし、最も類似度の高い形状を商品の形状として認識する。さらに、画像認識部１１０は、撮像部１２４で生成された画像に対応付けられた奥行情報と、画像内で商品が占める領域の大きさとを用いて、例えば、画像内の商品の実際の大きさ（例えば、高さ、幅、奥行き幅、各面の面積など）を算出する。奥行情報を基に撮像装置から商品までの実際の距離が分かるため、画像認識部１１０は、その距離に基づいて、画像内で商品が占める領域の大きさを商品の実際の大きさに換算することができる。 The image recognition unit 110 performs a known image recognition process on the image generated by the image pickup unit 124 to detect, for example, an edge of a product in the image. Then, for example, the image recognition unit 110 matches the shape indicated by the detected edge with the preset two-dimensional shape or three-dimensional shape template data, and recognizes the shape having the highest degree of similarity as the shape of the product. To do. Further, the image recognition unit 110 uses, for example, the actual size of the product in the image by using the depth information associated with the image generated by the image pickup unit 124 and the size of the area occupied by the product in the image. (For example, height, width, depth width, area of each surface, etc.) are calculated. Since the actual distance from the image pickup device to the product can be known based on the depth information, the image recognition unit 110 converts the size of the area occupied by the product in the image into the actual size of the product based on the distance. be able to.

また、画像認識部１１０は、サーモグラフィ情報取得部１２６で取得されたサーモグラフィ情報を用いて、撮像部１２４で生成された画像から認識される商品の形状から、人物と推定される領域を除外する。例えば、画像認識部１１０には、例えば人物の体温の範囲（例えば３５〜４０℃）を示す情報が予め設定されており、画像認識部１１０は、設定された温度を示す領域をサーモグラフィ情報の中から抽出する。そして、画像認識部１１０は、サーモグラフィ情報取得部１２６で取得されたサーモグラフィ情報と撮像部１２４で生成された画像との位置関係に基づいて、エッジを検出する処理の対象領域から上記抽出した領域に対応する領域を除外する、あるいは、検出されたエッジを基に認識された形状から上記抽出された領域に対応する領域を除外する。これにより、画像認識部１１０は、撮像部１２４で生成された画像から、商品に対応する領域としてより正確な領域を認識することができ、結果として、当該領域から換算される商品の実際の大きさをより精度よく算出することができる。 Further, the image recognition unit 110 uses the thermography information acquired by the thermography information acquisition unit 126 to exclude a region presumed to be a person from the shape of the product recognized from the image generated by the image pickup unit 124. For example, the image recognition unit 110 is preset with information indicating, for example, a range of body temperature of a person (for example, 35 to 40 ° C.), and the image recognition unit 110 includes a region indicating the set temperature in the thermography information. Extract from. Then, the image recognition unit 110 sets the region extracted from the target region of the processing for detecting the edge based on the positional relationship between the thermography information acquired by the thermography information acquisition unit 126 and the image generated by the imaging unit 124. The corresponding region is excluded, or the region corresponding to the extracted region is excluded from the shape recognized based on the detected edge. As a result, the image recognition unit 110 can recognize a more accurate area as the area corresponding to the product from the image generated by the image pickup unit 124, and as a result, the actual size of the product converted from the area. Can be calculated more accurately.

大きさ／形状情報取得部１３０は、コード取得部１２２で取得された商品識別コードを用いて、大きさ／形状情報記憶部１３２を参照し、当該商品識別コードに紐付けられた大きさ／形状情報を取得する。大きさ／形状情報とは、各商品の大きさ（例えば、商品の高さ、幅、奥行き、およびこれらから算出される各面の面積など）および各商品の外観形状を示す情報である。大きさ／形状情報記憶部１３２は、例えば図２に示されるように、商品識別コードと大きさ／形状情報とを紐付けて記憶している。図２は、大きさ／形状情報記憶部１３２が記憶する情報の一例を示す図である。大きさ／形状情報記憶部１３２が記憶する情報は、図２の例に制限されない。 The size / shape information acquisition unit 130 refers to the size / shape information storage unit 132 by using the product identification code acquired by the code acquisition unit 122, and the size / shape associated with the product identification code. Get information. The size / shape information is information indicating the size of each product (for example, the height, width, depth of the product, and the area of each surface calculated from these) and the appearance shape of each product. As shown in FIG. 2, for example, the size / shape information storage unit 132 stores the product identification code and the size / shape information in association with each other. FIG. 2 is a diagram showing an example of information stored in the size / shape information storage unit 132. The information stored in the size / shape information storage unit 132 is not limited to the example of FIG.

大きさ／形状情報取得部１３０は、大きさ／形状情報記憶部１３２を検索してコード取得部１２２で取得された商品識別コードと同一の商品識別コードを検出し、当該検出した商品識別コードに紐付けられた大きさ／形状情報を取得する。なお、図１の例では、大きさ／形状情報記憶部１３２が情報処理装置１０に備えられている例が示されているが、大きさ／形状情報記憶部１３２は、情報処理装置１０と通信可能な他の装置に備えられていてもよい。この場合、大きさ／形状情報取得部１３０は当該他の装置と通信することにより、コード取得部１２２で取得された商品識別コードに紐付く大きさ／形状情報を取得する。 The size / shape information acquisition unit 130 searches the size / shape information storage unit 132 to detect the same product identification code as the product identification code acquired by the code acquisition unit 122, and uses the detected product identification code as the detected product identification code. Acquire the associated size / shape information. In the example of FIG. 1, an example in which the size / shape information storage unit 132 is provided in the information processing device 10 is shown, but the size / shape information storage unit 132 communicates with the information processing device 10. It may be provided in other possible devices. In this case, the size / shape information acquisition unit 130 acquires the size / shape information associated with the product identification code acquired by the code acquisition unit 122 by communicating with the other device.

判定部１４０は、撮像部１２４生成されたで画像から認識された大きさ又は形状と、商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たすか否かを判定する。ここで、所定の基準とは、商品の大きさ又は形状に関する基準であり、画像から認識される商品と、商品識別コードから識別される商品とが、同一の商品を示すことを確認可能とする基準である。例えば、判定部１４０は、大きさおよび形状に係る所定の類似度算出アルゴリズムに従って両者の類似度を算出し、その類似度が所定の基準値（同一の商品と見做す値として予め設定される閾値）以上か否かを判定する。 The determination unit 140 determines whether or not the size or shape recognized from the image by the image pickup unit 124 and the size / shape information acquired by using the product identification code satisfy a predetermined criterion. To do. Here, the predetermined standard is a standard related to the size or shape of the product, and it is possible to confirm that the product recognized from the image and the product identified from the product identification code indicate the same product. It is a standard. For example, the determination unit 140 calculates the similarity between the two according to a predetermined similarity calculation algorithm related to the size and shape, and the similarity is preset as a predetermined reference value (a value regarded as the same product). It is determined whether or not the threshold value is equal to or higher than the threshold value.

判定の結果として、両者の一致度合が所定の基準値以上であれば、商品認識部１２０の位置に移動された商品と、情報処理装置１０で認識された商品とが同一のものである可能性が高く、判定部１４０は情報処理装置１０による認識結果を妥当なものと判断できる。一方、両者の一致度合が所定の基準値未満であれば、商品認識部１２０の位置に移動された商品と、情報処理装置１０で認識された商品とが異なるものである可能性が高く、判定部１４０は、情報処理装置１０による認識結果を不当なものと判断できる。またこの場合は、例えば、コードの読取ミスや誤ったコードが張り付けられていたなど、何らかの不良が発生していると考えられる。そこで、判定部１４０は、両者の一致度合が所定の基準値未満である場合、商品の再読み込みを促すメッセージや所定の警告メッセージなどを、情報処理装置１０の表示部に表示、あるいは、音声で出力するように構成されていてもよい。 As a result of the determination, if the degree of agreement between the two is equal to or higher than the predetermined reference value, it is possible that the product moved to the position of the product recognition unit 120 and the product recognized by the information processing device 10 are the same. The determination unit 140 can determine that the recognition result by the information processing device 10 is appropriate. On the other hand, if the degree of coincidence between the two is less than the predetermined reference value, it is highly possible that the product moved to the position of the product recognition unit 120 and the product recognized by the information processing device 10 are different, and the determination is made. The unit 140 can determine that the recognition result by the information processing device 10 is unreasonable. Further, in this case, it is considered that some kind of defect has occurred, for example, a code reading error or an incorrect code is pasted. Therefore, when the degree of agreement between the two is less than a predetermined reference value, the determination unit 140 displays a message prompting the user to reload the product, a predetermined warning message, or the like on the display unit of the information processing apparatus 10, or by voice. It may be configured to output.

なお、本実施形態において、大きさ／形状情報記憶部１３２は、各商品識別コードに対して、複数の大きさ／形状情報を紐付けて記憶していてもよい。具体的には、大きさ／形状情報記憶部１３２は、例えば、正面から見た場合の大きさ／形状情報、上から見た場合の大きさ／形状情報、および斜め上から見た場合の大きさ／形状情報など、複数の方向から見た商品の姿勢を示す大きさ／形状情報を、各商品識別コードに紐付けて記憶していてもよい。この場合、判定部１４０は、各商品識別コードに紐付けられている複数の大きさ／形状情報の各々について、画像認識部１１０により認識された大きさ又は形状との類似度を算出し、両者の一致度合が所定の基準値以上か否かを判定する。このようにすることで、撮像部１２４で生成された画像に含まれる商品の姿勢によって、判定部１４０による判定の精度が下がることを抑制できる。 In the present embodiment, the size / shape information storage unit 132 may store a plurality of size / shape information in association with each product identification code. Specifically, the size / shape information storage unit 132 has, for example, the size / shape information when viewed from the front, the size / shape information when viewed from above, and the size when viewed from diagonally above. The size / shape information indicating the posture of the product as viewed from a plurality of directions, such as the shape / shape information, may be stored in association with each product identification code. In this case, the determination unit 140 calculates the similarity with the size or shape recognized by the image recognition unit 110 for each of the plurality of size / shape information associated with each product identification code, and both of them. It is determined whether or not the degree of matching of is equal to or higher than a predetermined reference value. By doing so, it is possible to prevent the accuracy of the determination by the determination unit 140 from being lowered due to the posture of the product included in the image generated by the image pickup unit 124.

〔ハードウエア構成〕
図３は、情報処理装置１０のハードウエア構成を概念的に示す図である。図３に示されるように、情報処理装置１０は、ＣＰＵ１０１、メモリ１０２、ストレージ１０３、入出力インターフェース（入出力Ｉ／Ｆ）１０４、および通信モジュール１０５などを備える。
ＣＰＵ１０１、メモリ１０２、ストレージ１０３、入出力インターフェース１０４、および通信モジュール１０５は、相互にデータを送受信するためのデータ伝送路で接続されている。 [Hardware configuration]
FIG. 3 is a diagram conceptually showing the hardware configuration of the information processing device 10. As shown in FIG. 3, the information processing device 10 includes a CPU 101, a memory 102, a storage 103, an input / output interface (input / output I / F) 104, a communication module 105, and the like.
The CPU 101, the memory 102, the storage 103, the input / output interface 104, and the communication module 105 are connected by a data transmission line for transmitting and receiving data to and from each other.

メモリ１０２は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ１０３は、例えばハードディスク、ＳＳＤ（Solid State Drive）、又はメモリカードなどの記憶装置である。ストレージ１０３は、情報処理装置１０の画像認識部１１０、商品認識部１２０、コード取得部１２２、撮像部１２４、サーモグラフィ情報取得部１２６、大きさ／形状情報取得部１３０、及び判定部１４０を含む各処理部の機能を実現するためのプログラムモジュールを記憶している。ＣＰＵ１０１は、これら各プログラムモジュールを実行することで、各処理部の機能をそれぞれ実現する。ＣＰＵ１０１は、上記各モジュールを実行する際、これらのモジュールをメモリ１０２上に読み出してから実行してもよいし、メモリ１０２上に読み出さずに実行してもよい。また、ストレージ１０３は、大きさ／形状情報記憶部１３２としても機能する。 The memory 102 is, for example, a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory). The storage 103 is, for example, a storage device such as a hard disk, an SSD (Solid State Drive), or a memory card. The storage 103 includes an image recognition unit 110, a product recognition unit 120, a code acquisition unit 122, an imaging unit 124, a thermography information acquisition unit 126, a size / shape information acquisition unit 130, and a determination unit 140 of the information processing device 10. It stores the program module for realizing the function of the processing unit. The CPU 101 realizes the functions of each processing unit by executing each of these program modules. When executing each of the above modules, the CPU 101 may read these modules onto the memory 102 and then execute the modules, or may execute the modules without reading them onto the memory 102. The storage 103 also functions as a size / shape information storage unit 132.

入出力インターフェース１０４は、表示装置１０４１、入力装置１０４２、撮像装置１０４３、および読取装置１０４４などと接続される。表示装置１０４１は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１０１やＧＰＵ（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示する装置である。入出力インターフェース１０４には１つまたはそれ以上の表示装置１０４１が接続され得る。入力装置１０４２は、オペレータの操作による入力を受け付ける装置であり、例えば、キーボード、マウス、タッチセンサ等として実現される。表示装置１０４１および入力装置１０４２は一体化され、タッチパネルとして実現されていてもよい。撮像装置１０４３は、所謂３Ｄカメラなどであり、単眼式の撮像モジュールまたは２眼式の撮像モジュール（図示せず）を備える。この場合、撮像装置１０４３は、上述の撮像部１２４の機能を実現し得る。また、撮像装置１０４３は、所謂サーモグラフィカメラなどであり、物体から放射される赤外線エネルギーを検知し、その赤外線エネルギー量により物体の温度分布を示す画像を生成する撮像モジュール（図示せず）を備える。この場合、撮像装置１０４３は、上述のサーモグラフィ情報取得部１２６の機能を実現し得る。読取装置１０４４は、光源とフォトダイオードといった受光素子とを備えるコードリーダーや、レンズとＣＣＤ（Charge Coupled Device）イメージセンサーといった撮像素子とを備えるコードリーダーなどの装置である。読取装置１０４４は、上述のコード取得部１２２の機能を実現し得る。 The input / output interface 104 is connected to a display device 1041, an input device 1042, an image pickup device 1043, a reading device 1044, and the like. The display device 1041 displays a screen corresponding to drawing data processed by a CPU 101, a GPU (Graphics Processing Unit) (not shown), or the like, such as an LCD (Liquid Crystal Display) or a CRT (Cathode Ray Tube) display. It is a device. One or more display devices 1041 may be connected to the input / output interface 104. The input device 1042 is a device that receives an input operated by an operator, and is realized as, for example, a keyboard, a mouse, a touch sensor, or the like. The display device 1041 and the input device 1042 may be integrated and realized as a touch panel. The image pickup apparatus 1043 is a so-called 3D camera or the like, and includes a monocular image pickup module or a binocular image pickup module (not shown). In this case, the image pickup apparatus 1043 can realize the function of the image pickup unit 124 described above. Further, the imaging device 1043 is a so-called thermography camera or the like, and includes an imaging module (not shown) that detects infrared energy radiated from an object and generates an image showing the temperature distribution of the object based on the amount of the infrared energy. In this case, the image pickup apparatus 1043 can realize the function of the thermography information acquisition unit 126 described above. The reading device 1044 is a device such as a code reader including a light source and a light receiving element such as a photodiode, and a code reader including a lens and an image sensor such as a CCD (Charge Coupled Device) image sensor. The reading device 1044 can realize the function of the code acquisition unit 122 described above.

通信モジュール１０５は、外部の装置等との間でデータを送受信するために用いられる。なお、通信モジュール１０５を介して情報処理装置１０と外部の装置とを接続する方法は様々である。例えばこの接続は、バス回線（例えばＵＳＢ（Universal Serial Bus）回線）を介したバス接続や、ネットワーク回線を介したネットワーク接続などである。なお、ネットワーク回線は無線回線であってもよいし有線回線であってもよい。 The communication module 105 is used for transmitting and receiving data to and from an external device or the like. There are various methods for connecting the information processing device 10 and the external device via the communication module 105. For example, this connection is a bus connection via a bus line (for example, a USB (Universal Serial Bus) line), a network connection via a network line, or the like. The network line may be a wireless line or a wired line.

なお、情報処理装置１０のハードウエア構成は図３に示される構成に制限されない。例えば、入出力インターフェース１０４には、商品の精算処理に必要な各種装置（金銭投入装置、釣銭払出装置など）が接続されていてもよい。 The hardware configuration of the information processing device 10 is not limited to the configuration shown in FIG. For example, various devices (money input device, change payout device, etc.) necessary for the settlement process of the product may be connected to the input / output interface 104.

〔動作例〕
図４を用いて、本実施形態の情報処理装置１０の動作例を説明する。図４は、第１実施形態の情報処理装置１０の処理の流れを示すフローチャートである。 [Operation example]
An operation example of the information processing apparatus 10 of the present embodiment will be described with reference to FIG. FIG. 4 is a flowchart showing a processing flow of the information processing apparatus 10 of the first embodiment.

商品認識部１２０の位置に商品が移動されると、コード取得部１２２は当該商品の商品識別コードを取得する（Ｓ１０１）。また、商品識別コードの取得に応じて、撮像部１２４は、奥行方向の距離を示す奥行情報を対応付けて商品の画像を生成し（Ｓ１０２）、サーモグラフィ情報取得部１２６は、撮像部１２４で生成された画像に対応付けて、サーモグラフィ情報を取得する（Ｓ１０３）。 When the product is moved to the position of the product recognition unit 120, the code acquisition unit 122 acquires the product identification code of the product (S101). Further, in response to the acquisition of the product identification code, the imaging unit 124 generates an image of the product by associating the depth information indicating the distance in the depth direction (S102), and the thermography information acquisition unit 126 is generated by the imaging unit 124. The thermography information is acquired in association with the image (S103).

そして、画像認識部１１０は、生成された画像と、当該画像に対応付けられた奥行情報およびサーモグラフィ情報とを用いて、商品の大きさ又は形状を認識する（Ｓ１０４）。例えば、画像認識部１１０は、奥行情報から得られる商品までの実際の距離を用いて、当該商品が画像内で占める領域の大きさを、商品の実際の大きさに換算する。また例えば、画像認識部１１０は、エッジ処理など既知の画像認識処理を用いて画像から商品の領域を抽出し、当該領域の形状を商品の形状として取得する。 Then, the image recognition unit 110 recognizes the size or shape of the product by using the generated image and the depth information and the thermography information associated with the image (S104). For example, the image recognition unit 110 converts the size of the area occupied by the product in the image into the actual size of the product by using the actual distance from the depth information to the product. Further, for example, the image recognition unit 110 extracts a product area from the image using a known image recognition process such as edge processing, and acquires the shape of the area as the product shape.

また、大きさ／形状情報取得部１３０は、コード取得部１２２で取得された商品識別コードを用いて大きさ／形状情報記憶部１３２を参照し、当該商品識別コードに紐付けられた大きさ／形状情報を大きさ／形状情報記憶部１３２から読み出す（Ｓ１０５）。 Further, the size / shape information acquisition unit 130 refers to the size / shape information storage unit 132 using the product identification code acquired by the code acquisition unit 122, and the size / shape associated with the product identification code. The shape information is read from the size / shape information storage unit 132 (S105).

判定部１４０は、画像認識部１１０で認識された商品の大きさ又は形状と、商品識別コードに紐付けられた大きさ／形状情報とを比較し、所定の基準を満たすか否かを判定する（Ｓ１０６）。例えば、判定部１４０は、所定の類似度算出アルゴリズムに従って両者の類似度を算出し、その類似度が所定の閾値以上か否かによって、両者が所定の基準を満たすか否かを判定することができる。判定部１４０は、所定の基準を満たすと判定した場合（Ｓ１０６：ＹＥＳ）、情報処理装置１０によって正常に商品が認識されたと判断し、後述のＳ１０７の処理を実行しない。一方、判定部１４０は、所定の基準を満たさないと判定した場合（Ｓ１０６：ＮＯ）、所定の出力（例えば商品の再読み込みを促すメッセージ、警告メッセージ、警告音など）を図示しないディスプレイやスピーカーなどを介して出力する（Ｓ１０７）。 The determination unit 140 compares the size or shape of the product recognized by the image recognition unit 110 with the size / shape information associated with the product identification code, and determines whether or not it satisfies a predetermined criterion. (S106). For example, the determination unit 140 may calculate the similarity between the two according to a predetermined similarity calculation algorithm, and determine whether or not the two satisfy a predetermined criterion depending on whether the similarity is equal to or higher than a predetermined threshold value. it can. When the determination unit 140 determines that the predetermined criterion is satisfied (S106: YES), the determination unit 140 determines that the product has been normally recognized by the information processing apparatus 10, and does not execute the process of S107 described later. On the other hand, when the determination unit 140 determines that the predetermined criteria are not satisfied (S106: NO), a display, a speaker, or the like that does not show a predetermined output (for example, a message prompting the product to be reloaded, a warning message, a warning sound, etc.) Is output via (S107).

〔第１実施形態の作用および効果〕
以上、本実施形態によれば、商品認識部１２０で読み取られた商品について、画像から算出される当該商品の実際の大きさ又は形状と、当該商品の商品識別コードに紐付けられた、当該商品の大きさ又は形状を示す大きさ／形状情報との類似度が算出される。そして、両者の類似度が所定の閾値（同一の商品と見做す値として予め設定される閾値）以上か否かによって、両者が所定の基準を満たすか否かが判定される。そして、両者の大きさ又は形状が略一致し、所定の基準を満たしていれば、商品認識部１２０の位置に移動された商品と、情報処理装置１０で認識された商品とが同一のものである可能性が高く、判定部１４０によって、情報処理装置１０による認識結果が妥当なものと判断される。一方、両者の大きさ又は形状が一致せず、所定の基準を満たさない場合であれば、商品認識部１２０の位置に移動された商品と、情報処理装置１０で認識された商品とが異なるものである可能性が高く、判定部１４０によって、情報処理装置１０による認識結果が不当なものと判断される。このように、画像から認識される商品の実際の大きさ又は形状と、商品識別コードに紐付けられた、商品の理論的な大きさ又は形状とを比較することにより、情報処理装置１０により認識された商品の妥当性を精度よく判断することができる。 [Action and effect of the first embodiment]
As described above, according to the present embodiment, the product read by the product recognition unit 120 is associated with the actual size or shape of the product calculated from the image and the product identification code of the product. The degree of similarity with the size / shape information indicating the size or shape of the product is calculated. Then, it is determined whether or not both satisfy the predetermined criteria depending on whether or not the similarity between the two is equal to or higher than a predetermined threshold value (a threshold value preset as a value regarded as the same product). Then, if the sizes or shapes of the two are substantially the same and satisfy the predetermined criteria, the product moved to the position of the product recognition unit 120 and the product recognized by the information processing device 10 are the same. There is a high possibility that there is a possibility, and the determination unit 140 determines that the recognition result by the information processing device 10 is appropriate. On the other hand, if the sizes or shapes of the two do not match and do not meet the predetermined criteria, the product moved to the position of the product recognition unit 120 and the product recognized by the information processing device 10 are different. The determination unit 140 determines that the recognition result by the information processing device 10 is unreasonable. In this way, by comparing the actual size or shape of the product recognized from the image with the theoretical size or shape of the product associated with the product identification code, the information processing device 10 recognizes the product. It is possible to accurately judge the validity of the product.

［第２実施形態］
顧客が購入する商品を入れて持ち運ぶバスケットに、精算対象の商品を読み取る装置を取り付け、バスケットに商品を入れる際に精算対象の商品として登録し、レジ端末では代金の精算のみを行う運用方法もある。このような場合において、第１実施形態の情報処理装置１０と同様の構成を有する装置を当該バスケットに備えることにより、第１実施形態と同様の効果を得ることができる。 [Second Embodiment]
There is also an operation method in which a device that reads the product to be settled is attached to the basket that the customer carries with the product to be purchased, registered as the product to be settled when the product is put into the basket, and only the payment is settled at the cash register terminal. .. In such a case, by equipping the basket with an apparatus having the same configuration as the information processing apparatus 10 of the first embodiment, the same effect as that of the first embodiment can be obtained.

〔処理構成／ハードウエア構成〕
本実施形態の情報処理装置１０は、図１に示される構成と同様に、画像認識部１１０、商品認識部１２０（コード取得部１２２、撮像部１２４、サーモグラフィ情報取得部１２６）、大きさ／形状情報取得部１３０、大きさ／形状情報記憶部１３２、及び判定部１４０を備える。また、本実施形態の情報処理装置１０も、第１実施形態と同様のハードウエア構成を有し、第１実施形態と同様にして各処理部を実現する。但し、図４に示される情報処理装置１０の各ハードウエア構成要素は、バスケット２０に取り付けるために、第１実施形態よりも小型化される。 [Processing configuration / Hardware configuration]
The information processing device 10 of the present embodiment has an image recognition unit 110, a product recognition unit 120 (code acquisition unit 122, an imaging unit 124, a thermography information acquisition unit 126), and a size / shape, similar to the configuration shown in FIG. It includes an information acquisition unit 130, a size / shape information storage unit 132, and a determination unit 140. Further, the information processing apparatus 10 of the present embodiment also has the same hardware configuration as that of the first embodiment, and realizes each processing unit in the same manner as that of the first embodiment. However, each hardware component of the information processing apparatus 10 shown in FIG. 4 is made smaller than the first embodiment in order to be attached to the basket 20.

図５は、第２実施形態における情報処理装置１０の取付例を示す図である。情報処理装置１０は、図５に示されるように、バスケット２０に取り付けられている。図５に示されるように、未登録商品は、情報処理装置１０で精算対象の商品として登録された後に、バスケット２０の中に載置される。 FIG. 5 is a diagram showing an installation example of the information processing device 10 according to the second embodiment. The information processing device 10 is attached to the basket 20 as shown in FIG. As shown in FIG. 5, the unregistered product is placed in the basket 20 after being registered as a product to be settled by the information processing device 10.

〔動作例〕
本実施形態の情報処理装置１０は、図４で示されるように、第１実施形態の情報処理装置１０と同様に動作する。 [Operation example]
As shown in FIG. 4, the information processing device 10 of the present embodiment operates in the same manner as the information processing device 10 of the first embodiment.

〔第２実施形態の作用および効果〕
以上、本実施形態によっても、第１実施形態と同様の作用および効果を得ることができる。 [Action and effect of the second embodiment]
As described above, the same actions and effects as those of the first embodiment can be obtained by this embodiment as well.

［第３実施形態］
本実施形態は、情報処理装置１０が個数取得部１５０を更に備える点を除いて、第１実施形態および第２実施形態と同様である。 [Third Embodiment]
The present embodiment is the same as the first embodiment and the second embodiment except that the information processing apparatus 10 further includes the number acquisition unit 150.

〔処理構成〕
図６は、第３実施形態における情報処理装置１０の処理構成を概念的に示す図である。図６に示されるように、本実施形態の情報処理装置１０は、個数取得部１５０を更に備える。 [Processing configuration]
FIG. 6 is a diagram conceptually showing the processing configuration of the information processing apparatus 10 according to the third embodiment. As shown in FIG. 6, the information processing apparatus 10 of the present embodiment further includes a number acquisition unit 150.

個数取得部１５０は、撮像部１２４で生成された画像の撮像範囲に含まれる商品の個数を取得する。詳細には、個数取得部１５０は、画像認識部１１０により認識された商品の形状の個数を、商品の個数として取得する。または、個数取得部１５０は、予め記憶された商品の特徴量のパターンマッチングによって、画像内から検出されたオブジェクトの個数を、商品の個数として取得する。 The quantity acquisition unit 150 acquires the number of products included in the imaging range of the image generated by the imaging unit 124. Specifically, the quantity acquisition unit 150 acquires the number of product shapes recognized by the image recognition unit 110 as the number of products. Alternatively, the quantity acquisition unit 150 acquires the number of objects detected in the image as the number of products by pattern matching of the feature amount of the product stored in advance.

本実施形態の判定部１４０は、コード取得部１２２で取得された商品識別コードの個数と、個数取得部１５０で取得された商品の個数とが一致するか否かを判定する。なお、ここでの「一致」は完全一致を意味する。本実施形態において、画像内に複数の商品情報シンボルが存在する場合、コード取得部１２２は、例えば画像認識処理を行って各商品情報シンボルをそれぞれ検出し、略同じタイミングで複数の商品識別コードを取得する。本実施形態のコード取得部１２２は、ここで取得された商品識別コードの数を判定部１４０に更に通知する。 The determination unit 140 of the present embodiment determines whether or not the number of product identification codes acquired by the code acquisition unit 122 matches the number of products acquired by the quantity acquisition unit 150. In addition, "match" here means an exact match. In the present embodiment, when a plurality of product information symbols exist in the image, the code acquisition unit 122 performs, for example, image recognition processing to detect each product information symbol, and obtains a plurality of product identification codes at substantially the same timing. get. The code acquisition unit 122 of the present embodiment further notifies the determination unit 140 of the number of product identification codes acquired here.

〔ハードウエア構成〕
本実施形態の情報処理装置１０も、第１実施形態および第２実施形態と同様に、図４に示されるようなハードウエア構成を有する。ストレージ１０３は、個数取得部１５０の機能を実現するプログラムモジュールを更に記憶しており、ＣＰＵ１０１が当該プログラムモジュールを実行することにより、個数取得部１５０が実現される。 [Hardware configuration]
The information processing device 10 of the present embodiment also has a hardware configuration as shown in FIG. 4, similarly to the first embodiment and the second embodiment. The storage 103 further stores a program module that realizes the function of the number acquisition unit 150, and the number acquisition unit 150 is realized when the CPU 101 executes the program module.

〔動作例〕
図７を用いて、本実施形態の情報処理装置１０の動作例について説明する。図７は、第３実施形態の情報処理装置１０の処理の流れを示すフローチャートである。なお、以下では、第１実施形態および第２実施形態と異なる工程（Ｓ２０１〜Ｓ２０３）について主に説明する。 [Operation example]
An operation example of the information processing apparatus 10 of the present embodiment will be described with reference to FIG. 7. FIG. 7 is a flowchart showing a processing flow of the information processing apparatus 10 of the third embodiment. In the following, steps (S201 to S203) different from those of the first embodiment and the second embodiment will be mainly described.

コード取得部１２２は、商品識別コードを取得する際、取得された商品識別コードの個数を集計する（Ｓ２０１）。そして、個数取得部１５０は、画像認識部１１０で認識された商品の形状の個数を、撮像部１２４で生成された画像に含まれる商品の個数として取得する（Ｓ２０２）。また、判定部１４０は、Ｓ２０１で集計された商品識別コードの個数と、Ｓ２０２で取得された商品の個数とを比較し、両者が一致するか否かを確認する（Ｓ２０３）。商品の個数と商品識別コードの個数とが一致しない場合は（Ｓ２０３：ＮＯ）、判定部１４０は、商品の読み取りミスなどの何らかのエラーが発生していると判定し、例えば商品の再読み込みを促すメッセージや警告メッセージといった所定のメッセージなどを、ディスプレイに表示、または、音声情報として出力する（Ｓ１０７）。一方、商品の個数と商品識別コードの個数とが一致する場合（Ｓ２０３：ＹＥＳ）、判定部１４０は、商品の読み取りミスといったエラーは発生していないと判定し、第１実施形態でその詳細を説明したように、画像から得られる大きさ又は形状と、商品識別コードから得られる大きさ／形状情報とが所定の基準を満たすか否かを確認する（Ｓ１０６）。 When acquiring the product identification code, the code acquisition unit 122 totals the number of acquired product identification codes (S201). Then, the number acquisition unit 150 acquires the number of product shapes recognized by the image recognition unit 110 as the number of products included in the image generated by the image pickup unit 124 (S202). Further, the determination unit 140 compares the number of product identification codes aggregated in S201 with the number of products acquired in S202, and confirms whether or not they match (S203). If the number of products and the number of product identification codes do not match (S203: NO), the determination unit 140 determines that some error such as a product reading error has occurred, and prompts, for example, to reload the product. A predetermined message such as a message or a warning message is displayed on the display or output as voice information (S107). On the other hand, when the number of products and the number of product identification codes match (S203: YES), the determination unit 140 determines that an error such as a product reading error has not occurred, and details the details in the first embodiment. As described, it is confirmed whether or not the size or shape obtained from the image and the size / shape information obtained from the product identification code satisfy a predetermined criterion (S106).

〔第３実施形態の作用および効果〕
以上、本実施形態では、画像から認識される商品の個数と、情報処理装置１０で実際に認識された商品識別コードの個数とが一致するか否かが更に判定される。これにより、本実施形態によれば、商品の読み取りミスなどのエラーが発生しているか否かを判定することができ、そのようなエラーが発生している場合には、情報処理装置１０における商品の認識を正確に行うように促すことができる。 [Action and effect of the third embodiment]
As described above, in the present embodiment, it is further determined whether or not the number of products recognized from the image matches the number of product identification codes actually recognized by the information processing device 10. Thereby, according to the present embodiment, it is possible to determine whether or not an error such as a reading error of the product has occurred, and if such an error has occurred, the product in the information processing apparatus 10 Can be encouraged to recognize correctly.

［第４実施形態］
本実施形態は、重量センサを用いる技術に、上記各実施形態で説明した情報処理装置１０を組み合わせる形態について説明する。 [Fourth Embodiment]
This embodiment describes a mode in which the information processing apparatus 10 described in each of the above embodiments is combined with the technique using the weight sensor.

重量センサで測定される重量と、商品識別コードに紐付けられた商品の重量とに基づいて、情報処理装置１０で認識される商品の妥当性を判定する場合、商品の重量が極端に軽い場合や、同じ商品でも重量にばらつきがある場合などは、正しい判定結果が得られないことがある。本実施形態の情報処理装置１０は、そのような商品を対象とする場合は、上述の各実施形態で説明したような、画像から認識される商品の大きさ又は形状と、商品識別コードから取得される大きさ／形状情報とに基づいて、認識の妥当性を判定する。 When determining the validity of a product recognized by the information processing device 10 based on the weight measured by the weight sensor and the weight of the product associated with the product identification code, when the weight of the product is extremely light. Or, if the weight of the same product varies, the correct judgment result may not be obtained. When the information processing device 10 of the present embodiment targets such a product, it is acquired from the size or shape of the product recognized from the image and the product identification code as described in each of the above-described embodiments. The validity of recognition is judged based on the size / shape information to be obtained.

〔処理構成〕
図８は、第４実施形態における情報処理装置１０の処理構成を概念的に示す図である。なお、本実施形態の情報処理装置１０は、未登録商品の載置場所および登録済商品の載置場所に、それぞれ重量センサ（１６０および１６２）を備え、基本的には、この重量センサで計測される重量の変化量によって、情報処理装置１０で認識される商品の妥当性を判定している。 [Processing configuration]
FIG. 8 is a diagram conceptually showing the processing configuration of the information processing apparatus 10 according to the fourth embodiment. The information processing device 10 of the present embodiment is provided with weight sensors (160 and 162) at the places where the unregistered products are placed and the places where the registered products are placed, respectively, and basically, the weight sensors are used for measurement. The validity of the product recognized by the information processing apparatus 10 is determined by the amount of change in the weight.

図８に示されるように、本実施形態の情報処理装置１０は重量情報記憶部１４２を更に備える。重量情報記憶部１４２は、商品識別コードに紐付けて、当該商品識別コードの商品１つあたりの重量を示す情報（以下、重量情報と表記）、または、当該商品の重量偏差を示す情報（以下、重量偏差情報と表記）の少なくともいずれか一方を記憶している。重量情報記憶部１４２が記憶する情報の一例を図９に示す。図９は、重量情報記憶部１４２が記憶する情報の一例を示す図である。図９の例では、重量情報記憶部１４２は、商品識別コードに紐付けて、重量情報および重量偏差情報を記憶している。 As shown in FIG. 8, the information processing device 10 of the present embodiment further includes a weight information storage unit 142. The weight information storage unit 142 is associated with the product identification code to indicate information indicating the weight of each product of the product identification code (hereinafter referred to as weight information) or information indicating the weight deviation of the product (hereinafter referred to as weight deviation). , Weight deviation information and notation) is stored at least one of them. FIG. 9 shows an example of the information stored in the weight information storage unit 142. FIG. 9 is a diagram showing an example of information stored in the weight information storage unit 142. In the example of FIG. 9, the weight information storage unit 142 stores the weight information and the weight deviation information in association with the product identification code.

本実施形態の判定部１４０は、コード取得部１２２から商品識別コードを取得し、当該商品識別コードを用いて重量情報記憶部１４２から、コード取得部１２２で取得された商品識別コードに紐付けられた重量情報または重量偏差情報を取得する。重量情報記憶部１４２が図９に示されるような情報を記憶している場合、判定部１４０は、重量情報と重量偏差情報とを取得することができる。そして、判定部１４０は、取得した重量情報または重量偏差情報に基づいて、（１）取得された商品識別コードに紐付けられた重量が基準値以上である、（２）取得された商品識別コードに紐付けられた重量が未設定である、（３）取得された商品識別コードに紐付けられた重量偏差が所定の閾値以上である、という条件うちの少なくともいずれか１つを満たすか否かを判定する。 The determination unit 140 of the present embodiment acquires the product identification code from the code acquisition unit 122, and is associated with the product identification code acquired by the code acquisition unit 122 from the weight information storage unit 142 using the product identification code. Acquire weight information or weight deviation information. When the weight information storage unit 142 stores the information as shown in FIG. 9, the determination unit 140 can acquire the weight information and the weight deviation information. Then, based on the acquired weight information or weight deviation information, the determination unit 140 (1) the weight associated with the acquired product identification code is equal to or greater than the reference value, and (2) the acquired product identification code. Whether or not at least one of the conditions that the weight associated with is not set and (3) the weight deviation associated with the acquired product identification code is equal to or greater than a predetermined threshold value is satisfied. To judge.

これらの条件は、コード取得部１２２で取得された商品識別コードの商品が、重量センサによる処理に向かない商品か否かを判定する条件である。上記（１）は、例えば、商品が非常に軽い場合など、重量センサで検知できる重量の変化量が小さい商品は重量センサによる処理で誤認識が発生しやすく、そのような商品か否かを判定する条件である。また、上記（２）は、重量が未設定である場合、そもそも重量センサによる処理ができず、そのような商品か否かを判定する条件である。また、上記（３）は、重量のばらつきが大きい商品などは、重量センサによる処理で誤認識が発生しやすく、そのような商品か否かを判定する条件である。 These conditions are conditions for determining whether or not the product of the product identification code acquired by the code acquisition unit 122 is a product that is not suitable for processing by the weight sensor. In (1) above, for example, when a product is very light, a product having a small amount of change in weight that can be detected by the weight sensor is likely to be erroneously recognized by processing by the weight sensor, and it is determined whether or not the product is such a product. It is a condition to do. Further, the above (2) is a condition for determining whether or not the product is such a product because the weight sensor cannot process the product when the weight is not set. Further, the above (3) is a condition for determining whether or not a product or the like having a large variation in weight is likely to be erroneously recognized by the processing by the weight sensor.

本実施形態の判定部１４０は、上記（１）から（３）の何れかに該当すると判定した場合、上述の各実施形態で説明した判定、すなわち、商品の大きさ又は形状を用いた情報処理装置１０による認識の妥当性を判定する処理を実行する。具体的には、本実施形態の判定部１４０は、上記（１）から（３）の何れかに該当すると判定した場合、画像認識部１１０および大きさ／形状情報取得部１３０に対して、上述の各実施形態で説明した処理の実行要求を通知する。この通知を受けた画像認識部１１０は、撮像部１２４で生成された画像から認識される商品の大きさ又は形状を判定部１４０に送る。また、この通知を受けたコード取得部１２２は、コード取得部１２２で取得された商品識別コードに紐付けられた大きさ／形状情報を判定部１４０に送る。判定部１４０は、画像認識部１１０から受け取った商品の大きさ又は形状と、大きさ／形状情報取得部１３０から受け取った大きさ／形状情報を用いて、上述の各実施形態の説明したように、判定処理を実行する。 When the determination unit 140 of the present embodiment determines that any of the above (1) to (3) applies, the determination described in each of the above embodiments, that is, information processing using the size or shape of the product. A process of determining the validity of recognition by the device 10 is executed. Specifically, when it is determined that the determination unit 140 of the present embodiment corresponds to any of the above (1) to (3), the image recognition unit 110 and the size / shape information acquisition unit 130 are described above. Notify the execution request of the process described in each embodiment of. Upon receiving this notification, the image recognition unit 110 sends the size or shape of the product recognized from the image generated by the image pickup unit 124 to the determination unit 140. Further, the code acquisition unit 122 that has received this notification sends the size / shape information associated with the product identification code acquired by the code acquisition unit 122 to the determination unit 140. As described in each of the above-described embodiments, the determination unit 140 uses the size or shape of the product received from the image recognition unit 110 and the size / shape information received from the size / shape information acquisition unit 130. , Execute the judgment process.

〔ハードウエア構成〕
本実施形態の情報処理装置１０も、第１実施形態および第２実施形態と同様に、図４に示されるようなハードウエア構成を有する。ストレージ１０３は、本実施形態の判定部１４０の機能を実現するプログラムモジュールを更に記憶しており、ＣＰＵ１０１が当該プログラムモジュールを実行することにより、本実施形態の判定部１４０が実現される。また、ストレージ１０３は、重量情報記憶部１４２の機能を実現し得る。 [Hardware configuration]
The information processing device 10 of the present embodiment also has a hardware configuration as shown in FIG. 4, similarly to the first embodiment and the second embodiment. The storage 103 further stores a program module that realizes the function of the determination unit 140 of the present embodiment, and when the CPU 101 executes the program module, the determination unit 140 of the present embodiment is realized. Further, the storage 103 can realize the function of the weight information storage unit 142.

〔動作例〕
図１０を用いて、本実施形態の情報処理装置１０の動作例について説明する。図１０は、第４実施形態の情報処理装置１０の処理の流れを示すフローチャートである。なお、以下の説明では、図４のフローチャートをベースとして、本実施形態で追加される処理（Ｓ３０１〜Ｓ３０３）について主に説明する。 [Operation example]
An operation example of the information processing apparatus 10 of the present embodiment will be described with reference to FIG. FIG. 10 is a flowchart showing a processing flow of the information processing apparatus 10 according to the fourth embodiment. In the following description, the processes (S301 to S303) added in the present embodiment will be mainly described based on the flowchart of FIG.

判定部１４０は、Ｓ１０１でコード取得部１２２により取得された商品識別コードを用いて、重量情報記憶部１４２を参照し、当該商品識別コードに紐付く重量情報または重量偏差情報を取得する（Ｓ３０１）。そして、判定部１４０は、取得した重量情報または重量偏差情報を用いて、Ｓ１０１でコード取得部１２２により取得された商品識別コードの商品が、重量センサを用いた判定処理に向かない商品か否かを判定する（Ｓ３０２）。判定部１４０は、具体的には、（１）取得された商品識別コードに紐付けられた重量が基準値以上である、（２）取得された商品識別コードに紐付けられた重量が未設定である、（３）取得された商品識別コードに紐付けられた重量偏差が所定の閾値以上である、という条件うちの少なくともいずれか１つを満たすか否かを判定する。 The determination unit 140 refers to the weight information storage unit 142 by using the product identification code acquired by the code acquisition unit 122 in S101, and acquires the weight information or the weight deviation information associated with the product identification code (S301). .. Then, the determination unit 140 uses the acquired weight information or the weight deviation information to determine whether or not the product of the product identification code acquired by the code acquisition unit 122 in S101 is not suitable for the determination process using the weight sensor. Is determined (S302). Specifically, in the determination unit 140, (1) the weight associated with the acquired product identification code is equal to or greater than the reference value, and (2) the weight associated with the acquired product identification code is not set. (3) It is determined whether or not at least one of the conditions that the weight deviation associated with the acquired product identification code is equal to or greater than a predetermined threshold value is satisfied.

Ｓ１０１でコード取得部１２２により取得された商品識別コードの商品が、重量センサを用いた判定処理に向かない商品である場合（Ｓ３０２：ＹＥＳ）、判定部１４０は、画像認識部１１０および大きさ／形状情報取得部１３０にその旨を通知し、第１実施形態で説明した処理が実行される（Ｓ１０２〜Ｓ１０７）。一方、Ｓ１０１でコード取得部１２２により取得された商品識別コードの商品が、重量センサを用いた判定処理を行っても問題ない商品である場合（Ｓ３０２：ＮＯ）、重量センサを用いた判定処理が実行される（Ｓ３０３）。 When the product of the product identification code acquired by the code acquisition unit 122 in S101 is a product that is not suitable for the determination process using the weight sensor (S302: YES), the determination unit 140 is the image recognition unit 110 and the size / size / The shape information acquisition unit 130 is notified to that effect, and the processes described in the first embodiment are executed (S102 to S107). On the other hand, when the product of the product identification code acquired by the code acquisition unit 122 in S101 is a product that does not have any problem even if the determination process using the weight sensor is performed (S302: NO), the determination process using the weight sensor is performed. It is executed (S303).

〔第４実施形態の作用と効果〕
以上、本実施形態では、コード取得部１２２で取得された商品識別コードの商品が重量センサを用いた判定処理に向かない商品か否かが判定される。そして、コード取得部１２２で取得された商品識別コードの商品が重量センサを用いた判定処理に向かない商品と判定された場合、画像から認識される商品の大きさ又は形状と、商品識別コードに紐付けられた大きさ／形状情報とに基づく判定処理が実行される。これにより、重量センサなどを用いた場合に発生し得る誤認識を防止し、情報処理装置１０で認識される商品の妥当性を判定する精度を向上させることができる。 [Action and effect of the fourth embodiment]
As described above, in the present embodiment, it is determined whether or not the product of the product identification code acquired by the code acquisition unit 122 is not suitable for the determination process using the weight sensor. Then, when the product of the product identification code acquired by the code acquisition unit 122 is determined to be a product that is not suitable for the determination process using the weight sensor, the size or shape of the product recognized from the image and the product identification code are used. Judgment processing based on the associated size / shape information is executed. As a result, it is possible to prevent erroneous recognition that may occur when a weight sensor or the like is used, and improve the accuracy of determining the validity of the product recognized by the information processing device 10.

〔第４実施形態の変形例〕
本実施形態において、判定部１４０は、基本的には、重量センサで計測される重量の変化量による判定処理を行い、所定の条件を満たす商品に関しては、画像から認識される大きさ又は形状に基づく判定処理を行う例を示した。しかし、これに限らず、判定部１４０は、基本的には、画像から認識される大きさ又は形状に基づく判定処理を行い、上記所定の条件とは異なる条件を満たす商品に関しては、重量センサで計測される重量の変化量による判定処理を行うように構成されていてもよい。ここで「異なる条件を満たす商品」とは、例えば、厚さを持たない薄い商品など、向きや姿勢によっては多くの特徴点が認識される可能性があり、画像認識処理に向かない商品である。このような場合、情報処理装置１０は、画像認識処理に向かない商品の商品識別コードを図示しない記憶部に記憶しており、判定部１４０は、当該記憶部に記憶されている商品識別コードと同じ商品識別コードがコード取得部１２２により取得されると、重量センサで計測される重量の変化に基づいて、情報処理装置１０で認識される商品の妥当性を判定する。 [Modified example of the fourth embodiment]
In the present embodiment, the determination unit 140 basically performs determination processing based on the amount of change in weight measured by the weight sensor, and with respect to a product satisfying a predetermined condition, the size or shape recognized from the image is obtained. An example of performing the judgment processing based on is shown. However, not limited to this, the determination unit 140 basically performs determination processing based on the size or shape recognized from the image, and with respect to a product satisfying conditions different from the above-mentioned predetermined conditions, the weight sensor is used. It may be configured to perform the determination process based on the amount of change in the measured weight. Here, the "product satisfying different conditions" is a product that is not suitable for image recognition processing because many feature points may be recognized depending on the orientation and posture, such as a thin product having no thickness. .. In such a case, the information processing device 10 stores a product identification code of a product unsuitable for image recognition processing in a storage unit (not shown), and the determination unit 140 and the product identification code stored in the storage unit When the same product identification code is acquired by the code acquisition unit 122, the validity of the product recognized by the information processing device 10 is determined based on the change in weight measured by the weight sensor.

［第５実施形態］
本実施形態は、本発明の効果を得ることのできる最小の構成を有する情報処理装置１０について説明する。精算対象の商品を登録する装置（以下、商品登録装置と表記）とは別の装置（例えばサーバ装置）として、商品登録装置と例えばＬＡＮ（Local Area Network）を介して通信可能に設けられる。 [Fifth Embodiment]
The present embodiment describes the information processing apparatus 10 having the minimum configuration capable of obtaining the effect of the present invention. As a device (for example, a server device) different from the device for registering the product to be settled (hereinafter referred to as the product registration device), the product registration device is provided so as to be able to communicate with the product registration device via, for example, a LAN (Local Area Network).

〔処理構成〕
図１１は、第５実施形態における情報処理装置１０の処理構成を概念的に示す図である。図１１に示されるように、本実施形態の情報処理装置１０は、画像認識部１１０、コード取得部１２２、大きさ／形状情報取得部１３０、および判定部１４０を備える。 [Processing configuration]
FIG. 11 is a diagram conceptually showing the processing configuration of the information processing apparatus 10 according to the fifth embodiment. As shown in FIG. 11, the information processing device 10 of the present embodiment includes an image recognition unit 110, a code acquisition unit 122, a size / shape information acquisition unit 130, and a determination unit 140.

画像認識部１１０は、撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、画像内の商品の大きさ又は形状を認識する。コード取得部１２２は、大きさ／形状情報取得部１３０は、取得された商品識別コードに紐付けられた大きさ／形状情報を取得する。判定部１４０は、画像から認識された商品の大きさ又は形状と、商品識別コードを用いて取得された大きさ／形状情報とが所定の基準を満たすか否かを判定する。 The image recognition unit 110 recognizes the size or shape of the product in the image by using the image associated with the depth information indicating the distance in the depth direction of the product included in the imaging range. The code acquisition unit 122 acquires the size / shape information acquisition unit 130, which acquires the size / shape information associated with the acquired product identification code. The determination unit 140 determines whether or not the size or shape of the product recognized from the image and the size / shape information acquired by using the product identification code satisfy a predetermined criterion.

〔ハードウエア構成〕
本実施形態の情報処理装置１０は、図３に示されるようなハードウエア構成を有する。なお、本実施形態の情報処理装置１０の入出力インターフェース１０４には、撮像装置１０４３および読取装置１０４４が接続されておらず、通信モジュール１０５を介して他の装置から画像や商品識別コードを取得可能に構成されていてもよい。本実施形態の画像認識部１１０、コード取得部１２２、大きさ／形状情報取得部１３０、および判定部１４０は、上述の各実施形態と同様に、ＣＰＵ１０１が各処理部の機能を実現するプログラムモジュールを実行することにより実現される。 [Hardware configuration]
The information processing device 10 of the present embodiment has a hardware configuration as shown in FIG. The image pickup device 1043 and the reading device 1044 are not connected to the input / output interface 104 of the information processing device 10 of the present embodiment, and an image or a product identification code can be acquired from another device via the communication module 105. It may be configured in. The image recognition unit 110, the code acquisition unit 122, the size / shape information acquisition unit 130, and the determination unit 140 of the present embodiment are program modules in which the CPU 101 realizes the functions of the respective processing units, as in each of the above-described embodiments. It is realized by executing.

〔動作例〕
図１２を用いて、本実施形態の情報処理装置１０の動作例について説明する。図１２は、第５実施形態の情報処理装置１０の処理の流れを示すフローチャートである。 [Operation example]
An operation example of the information processing apparatus 10 of the present embodiment will be described with reference to FIG. FIG. 12 is a flowchart showing a processing flow of the information processing apparatus 10 according to the fifth embodiment.

コード取得部１２２は、例えばＬＡＮなどのネットワークを介して商品登録装置と通信し、商品登録装置で読み取られた精算対象の商品の商品識別コードを取得する（Ｓ４０１）。そして、大きさ／形状情報取得部１３０は、Ｓ４０１で取得された商品識別コードを用いて、当該商品識別コードに紐付く大きさ／形状情報を読み出す（Ｓ４０２）。本実施形態において、大きさ／形状情報は、例えば、情報処理装置１０と通信可能な他の装置の記憶部（図示せず）などに、商品識別コードと紐付けて記憶されている。 The code acquisition unit 122 communicates with the product registration device via a network such as a LAN, and acquires the product identification code of the product to be settled read by the product registration device (S401). Then, the size / shape information acquisition unit 130 reads out the size / shape information associated with the product identification code by using the product identification code acquired in S401 (S402). In the present embodiment, the size / shape information is stored in association with the product identification code in, for example, a storage unit (not shown) of another device capable of communicating with the information processing device 10.

また、画像認識部１１０は、例えばＬＡＮなどのネットワークを介して商品登録装置と通信し、商品登録装置に設けられた撮像手段などにより生成された画像を取得する（Ｓ４０３）。この商品登録装置に設けられた撮像手段は、所謂３Ｄカメラであり、画像と奥行情報とを対応付けて生成することができる。そして、画像認識部１１０は、既知の画像認識処理を用いて画像内の商品の形状を認識し、また、画像に対応付けられた奥行情報と画像内の商品の領域の大きさとに基づいて当該商品の実際の大きさを算出する（Ｓ４０４）。 Further, the image recognition unit 110 communicates with the product registration device via a network such as a LAN, and acquires an image generated by an imaging means provided in the product registration device (S403). The image pickup means provided in this product registration device is a so-called 3D camera, and can generate an image and depth information in association with each other. Then, the image recognition unit 110 recognizes the shape of the product in the image by using a known image recognition process, and also makes the said based on the depth information associated with the image and the size of the area of the product in the image. The actual size of the product is calculated (S404).

判定部１４０は、Ｓ４０２で取得された大きさ／形状情報と、Ｓ４０４で取得された商品の大きさおよび形状が所定の基準を満たすか否かを判定し（Ｓ４０５）、その結果を商品登録装置へ送信する（Ｓ４０６）。 The determination unit 140 determines whether or not the size / shape information acquired in S402 and the size and shape of the product acquired in S404 satisfy a predetermined criterion (S405), and the result is the product registration device. (S406).

〔第５実施形態の作用と効果〕
以上、本実施形態では、画像から認識される商品の実際の大きさ又は形状と、商品識別コードに紐付けられた、商品の理論的な大きさ又は形状とが比較される。これにより、商品登録装置により認識された商品の妥当性を精度よく判断することができる。 [Action and effect of the fifth embodiment]
As described above, in the present embodiment, the actual size or shape of the product recognized from the image is compared with the theoretical size or shape of the product associated with the product identification code. As a result, the validity of the product recognized by the product registration device can be accurately determined.

［第６実施形態］
本実施形態では、精算対象の商品の登録処理を行う商品登録装置と、精算対象として登録された商品の代金の精算処理を行う精算装置とを含む精算システムについて説明する。 [Sixth Embodiment]
In the present embodiment, a settlement system including a product registration device for registering a product to be settled and a settlement device for performing a settlement process for the price of the product registered as a settlement target will be described.

〔システム構成〕
図１３は、第６実施形態における精算システム１のシステム構成を概念的に示す図である。図１３に示されるように、精算システム１は、商品登録装置として機能する情報処理装置１０と、情報処理装置１０で登録された商品の代金の精算処理を行う精算装置３０と、サーバ装置４０と、を含む。この場合、情報処理装置１０、精算装置３０、及びサーバ装置４０はＬＡＮなどのネットワークを介して通信可能に接続されている。また、情報処理装置１０は、第１乃至第４実施形態のいずれか１つと同様の構成を有する。以下の説明では、本実施形態の情報処理装置１０が、第１実施形態と同様に、図１の構成を有する場合を例示する。なお、図１３の例に限らず、情報処理装置１０の画像認識部１１０、コード取得部１２２、大きさ／形状情報取得部１３０、及び判定部１４０は、第５実施形態で説明したように、商品登録装置とは別の装置（例えば、サーバ装置４０）として、当該商品登録装置と例えばＬＡＮなどを介して通信可能に設けられていてもよい。この場合、商品登録装置は、情報処理装置１０のコード取得部１２２とは別に、商品情報シンボルなどから商品識別コードを取得する処理部を有する。 〔System configuration〕
FIG. 13 is a diagram conceptually showing the system configuration of the settlement system 1 according to the sixth embodiment. As shown in FIG. 13, the settlement system 1 includes an information processing device 10 that functions as a product registration device, a settlement device 30 that performs settlement processing for the product registered in the information processing device 10, and a server device 40. ,including. In this case, the information processing device 10, the settlement device 30, and the server device 40 are communicably connected via a network such as a LAN. Further, the information processing device 10 has the same configuration as any one of the first to fourth embodiments. In the following description, a case where the information processing apparatus 10 of the present embodiment has the configuration of FIG. 1 as in the first embodiment will be illustrated. Not limited to the example of FIG. 13, the image recognition unit 110, the code acquisition unit 122, the size / shape information acquisition unit 130, and the determination unit 140 of the information processing device 10 are as described in the fifth embodiment. As a device (for example, a server device 40) different from the product registration device, the product registration device may be provided so as to be able to communicate with the product registration device via, for example, a LAN. In this case, the product registration device has a processing unit that acquires a product identification code from a product information symbol or the like, in addition to the code acquisition unit 122 of the information processing device 10.

〔動作例〕
図１４を用いて、本実施形態の精算システム１の処理の流れを説明する。図１４は、第６実施形態の精算システム１の処理の流れを示すシーケンス図である。 [Operation example]
The processing flow of the settlement system 1 of the present embodiment will be described with reference to FIG. FIG. 14 is a sequence diagram showing a processing flow of the settlement system 1 of the sixth embodiment.

情報処理装置１０は、第１実施形態で説明したように、図４のフローチャートのＳ１０１〜Ｓ１０５の処理を実行する。そして、図４のフローチャートのＳ１０６の判定を行う。判定部１４０が所定の基準を満たさないと判定した場合（Ｓ１０６：ＮＯ）、判定部１４０は所定の出力（例えば、商品の再認識を促す出力）を行い（Ｓ１０７）、Ｓ１０１〜Ｓ１０５の処理が再度実行される。一方、商品認識部１２０は、判定部１４０が所定の基準を満たすと判定した場合（Ｓ１０６：ＹＥＳ）、情報処理装置１０によって正常に商品が認識されたと判断し、コード取得部１２２で取得された商品識別コードに紐付けられた商品情報を読み出す（Ｓ５０１）。具体的には、商品認識部１２０は、コード取得部１２２で取得された商品識別コードを用いて、商品識別コードと商品情報（例えば、商品名、商品の単価、値引や割引の有無など）とを紐付けて記憶する記憶部（図示せず）を参照し、当該取得された商品識別コードに紐付けられた商品情報を読み出す。そして、商品認識部１２０は、読み出した商品情報を、情報処理装置１０で実行される精算処理に用いる情報（以下、精算情報と表記）として追加する（Ｓ５０２）。精算情報は、少なくとも、精算対象の各商品の名称、精算対象の各商品の単価および個数、精算対象の商品全ての合計金額などを含む。Ｓ１０１〜Ｓ１０７、Ｓ５０１、およびＳ５０２の処理は、１つの取引における精算対象の商品の登録が完了するまで繰り返される（Ｓ５０３：ＮＯ）。情報処理装置１０は、例えば、情報処理装置１０に設けられた入力装置などによる「小計」ボタンの押下といったイベントを検知し、１つの取引における精算対象の商品の登録が完了したことを検出する。 As described in the first embodiment, the information processing device 10 executes the processes of S101 to S105 in the flowchart of FIG. Then, the determination of S106 in the flowchart of FIG. 4 is performed. When the determination unit 140 determines that the predetermined criteria are not satisfied (S106: NO), the determination unit 140 performs a predetermined output (for example, an output for promoting re-recognition of the product) (S107), and the processes of S101 to S105 are performed. It will be executed again. On the other hand, when the determination unit 140 determines that the determination unit 140 satisfies the predetermined criterion (S106: YES), the product recognition unit 120 determines that the product has been normally recognized by the information processing device 10, and the product is acquired by the code acquisition unit 122. Read the product information associated with the product identification code (S501). Specifically, the product recognition unit 120 uses the product identification code acquired by the code acquisition unit 122 to obtain the product identification code and the product information (for example, the product name, the unit price of the product, the presence or absence of discounts or discounts, etc.). With reference to a storage unit (not shown) that stores the product in association with and, the product information associated with the acquired product identification code is read out. Then, the product recognition unit 120 adds the read product information as information used for the settlement process executed by the information processing apparatus 10 (hereinafter, referred to as settlement information) (S502). The settlement information includes at least the name of each product to be settled, the unit price and quantity of each product to be settled, the total amount of all the products to be settled, and the like. The processes of S101 to S107, S501, and S502 are repeated until the registration of the goods to be settled in one transaction is completed (S503: NO). The information processing device 10 detects an event such as pressing the "subtotal" button by an input device or the like provided in the information processing device 10, and detects that the registration of the product to be settled in one transaction is completed.

１つの取引における精算対象の商品の登録が完了したことが検出された場合（Ｓ５０３：ＹＥＳ）、情報処理装置１０は、Ｓ５０２で生成された当該取引の精算情報を、サーバ装置４０を介して、精算装置３０に送信する（Ｓ５０４）。情報処理装置１０は、例えば、情報処理装置１０のオペレータの入力操作により、精算情報を送信すべき精算装置３０を特定し、精算情報を送信する。この場合、情報処理装置１０は、精算情報と当該精算情報の送信先の精算装置３０を指定する情報とをサーバ装置４０に送信する。そして、サーバ装置４０は、情報処理装置１０により指定された精算装置３０に対して精算情報を送信し、精算装置３０は、サーバ装置４０から送信された精算情報を用いて代金の精算処理を行う（Ｓ５０５）。また、これに限らず、情報処理装置１０は、精算情報を例えばサーバ装置４０に送信すると共に、当該精算情報を識別する情報を含み、精算装置３０で読み取り可能な可搬型媒体を顧客に払い出し、当該可搬媒体を顧客の操作により任意の精算装置３０に読み込ませてもよい。この場合、精算装置３０は、可搬型媒体に含まれる識別情報を用いてサーバ装置４０から精算情報を読み出し、代金の精算処理を行う（Ｓ５０５）。 When it is detected that the registration of the product to be settled in one transaction is completed (S503: YES), the information processing device 10 transmits the settlement information of the transaction generated in S502 via the server device 40. It is transmitted to the settlement device 30 (S504). The information processing device 10 identifies the settlement device 30 to which the settlement information should be transmitted by an input operation of the operator of the information processing device 10, and transmits the settlement information. In this case, the information processing device 10 transmits the settlement information and the information for designating the settlement device 30 to which the settlement information is transmitted to the server device 40. Then, the server device 40 transmits the settlement information to the settlement device 30 designated by the information processing device 10, and the settlement device 30 performs the payment settlement process using the settlement information transmitted from the server device 40. (S505). Further, not limited to this, the information processing device 10 transmits the settlement information to, for example, the server device 40, and pays out to the customer a portable medium that includes the information identifying the settlement information and can be read by the settlement device 30. The portable medium may be read into an arbitrary settlement device 30 by the operation of the customer. In this case, the settlement device 30 reads the settlement information from the server device 40 using the identification information included in the portable medium, and performs the payment settlement process (S505).

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and various configurations other than the above can be adopted.

例えば、第１実施形態などにおいて、撮像部１２４は、商品認識部１２０に登録前の商品をかざすために、未登録商品の載置場所（例えばバスケットなど）から商品が取り出されるときの画像を取得し、画像認識部１１０は当該画像から商品の大きさ又は形状を認識するように構成されていてもよい。この場合、当該載置場所から取り出された未登録商品と、実際に精算対象として登録された商品とが一致するか否かを判断することができる。また例えば、撮像部１２４は、登録済商品が載置場所に置かれるときの画像を取得し、画像認識部１１０は当該画像から商品の大きさ又は形状を認識するように構成されていてもよい。この場合、当該載置場所に置かれた登録済商品と、実際に精算対象として登録された商品とが一致するか否かを判断することができる。このようにすることで、商品登録時における商品のすり替えといった不正行為を発見し、認識された商品が正しい商品であるか否かを判断することができる。 For example, in the first embodiment or the like, the imaging unit 124 acquires an image when the product is taken out from a place (for example, a basket) where the unregistered product is placed in order to hold the product before registration over the product recognition unit 120. However, the image recognition unit 110 may be configured to recognize the size or shape of the product from the image. In this case, it is possible to determine whether or not the unregistered product taken out from the storage location and the product actually registered as the settlement target match. Further, for example, the imaging unit 124 may be configured to acquire an image when the registered product is placed in the placement location, and the image recognition unit 110 may be configured to recognize the size or shape of the product from the image. .. In this case, it is possible to determine whether or not the registered product placed at the storage location and the product actually registered as the settlement target match. By doing so, it is possible to detect fraudulent acts such as product replacement at the time of product registration and determine whether or not the recognized product is the correct product.

また、上述の説明で用いた複数のフローチャート、または、シーケンス図では、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。 Further, in the plurality of flowcharts or sequence diagrams used in the above description, a plurality of steps (processes) are described in order, but the execution order of the steps executed in each embodiment is the order of description. Not limited to. In each embodiment, the order of the illustrated steps can be changed within a range that does not hinder the contents. In addition, the above-described embodiments can be combined as long as the contents do not conflict with each other.

以下、参考形態の例を付記する。
１．
撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識する画像認識手段と、
精算対象の商品の商品識別コードを取得するコード取得手段と、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得する大きさ／形状情報取得手段と、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する判定手段と、
を備える商品登録装置。
２．
前記画像に対応付けてサーモグラフィ情報を取得するサーモグラフィ情報取得手段を更に備え、
前記画像認識手段は、
前記取得されたサーモグラフィ情報を用いて、前記画像から認識する前記商品の形状から、人物と推定される部分を除外する、
１．に記載の商品登録装置。
３．
前記商品識別コードには、複数の前記大きさ／形状情報が紐付けられており、
前記判定手段は、前記認識された大きさ又は形状と、各々の前記複数の大きさ／形状情報とについて、前記所定の基準を満たしているか否かを判定する、
１．または２．に記載の商品登録装置。
４．
前記コード取得手段が前記商品識別コードを読み取るタイミングに応じて、前記画像を撮像する撮像手段を更に備える、
１．から３．のいずれか１つに記載の商品登録装置。
５．
前記撮像範囲に含まれる商品の個数を取得する個数取得手段を更に備え、
前記判定手段は、前記取得された商品識別コードの個数と、前記取得された商品の個数とが一致するか否かを判定する、
１．から４．のいずれか１つに記載の商品登録装置。
６．
前記商品識別コードには、当該商品識別コードの商品の重量または重量偏差が更に紐付けられており、
前記判定手段は、前記取得された商品識別コードに紐付けられた前記重量が基準値以上の場合、前記取得された商品識別コードに紐付けられた前記重量が未設定の場合、または、前記取得された商品識別コードに紐付けられた前記重量偏差が所定の閾値以上である場合、の少なくともいずれか１つの場合に、前記判定を実行する、
１．から５．のいずれか１つに記載の商品登録装置。
７．
コンピュータが、
撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識し、
精算対象の商品の商品識別コードを取得し、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得し、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報との差分を算出し、当該差分が所定の基準を満たしているか否かを判定する、
ことを含む制御方法。
８．
前記コンピュータが、
前記画像に対応付けてサーモグラフィ情報を取得し、
前記取得されたサーモグラフィ情報を用いて、前記画像から認識する前記商品の形状から、人物と推定される部分を除外する、
ことを含む７．に記載の制御方法。
９．
前記商品識別コードには、複数の前記大きさ／形状情報が紐付けられており、
前記コンピュータが、
前記認識された大きさ又は形状と、各々の前記複数の大きさ／形状情報とについて、前記所定の基準を満たしているか否かを判定する、
ことを含む７．または８．に記載の制御方法。
１０．
前記コンピュータが、
前記商品識別コードを読み取るタイミングに応じて、前記画像を撮像する、
ことを含む７．から９．のいずれか１つに記載の制御方法。
１１．
前記コンピュータが、
前記撮像範囲に含まれる商品の個数を取得し、
前記取得された商品識別コードの個数と、前記取得された商品の個数とが一致するか否かを判定する、
ことを含む７．から１０．のいずれか１つに記載の制御方法。
１２．
前記商品識別コードには、当該商品識別コードの商品の重量または重量偏差が更に紐付けられており、
前記コンピュータが、
前記取得された商品識別コードに紐付けられた前記重量が基準値以上の場合、前記取得された商品識別コードに紐付けられた前記重量が未設定の場合、または、前記取得された商品識別コードに紐付けられた前記重量偏差が所定の閾値以上である場合、の少なくともいずれか１つの場合に、前記判定を実行する、
ことを含む７．から１１．のいずれか１つに記載の制御方法。
１３．
コンピュータを、
撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識する画像認識手段、
精算対象の商品の商品識別コードを取得するコード取得手段、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得する大きさ／形状情報取得手段、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報との差分を算出し、当該差分が所定の基準を満たしているか否かを判定する判定手段、
として機能させるためのプログラム。
１４．
前記コンピュータを、
前記画像に対応付けてサーモグラフィ情報を取得するサーモグラフィ情報取得手段、
前記画像認識手段であって、
前記取得されたサーモグラフィ情報を用いて、前記画像から認識する前記商品の形状から、人物と推定される部分を除外する手段、
として更に機能させるための１３．に記載のプログラム。
１５．
前記商品識別コードには、複数の前記大きさ／形状情報が紐付けられており、
前記コンピュータを、
前記判定手段であって、前記認識された大きさ又は形状と、各々の前記複数の大きさ／形状情報とについて、前記所定の基準を満たしているか否かを判定する手段、
として更に機能させるための１３．または１４．に記載のプログラム。
１６．
前記コンピュータを、
前記コード取得手段が前記商品識別コードを読み取るタイミングに応じて、前記画像を撮像する撮像手段、
として更に機能させるための１３．から１５．のいずれか１つに記載のプログラム。
１７．
前記コンピュータを、
前記撮像範囲に含まれる商品の個数を取得する個数取得手段、
前記判定手段であって、前記取得された商品識別コードの個数と、前記取得された商品の個数とが一致するか否かを判定する手段、
として更に機能させるための１３．から１６．のいずれか１つに記載のプログラム。
１８．
前記商品識別コードには、当該商品識別コードの商品の重量または重量偏差が更に紐付けられており、
前記コンピュータを、
前記判定手段であって、前記取得された商品識別コードに紐付けられた前記重量が基準値以上の場合、前記取得された商品識別コードに紐付けられた前記重量が未設定の場合、または、前記取得された商品識別コードに紐付けられた前記重量偏差が所定の閾値以上である場合、の少なくともいずれか１つの場合に、前記判定を実行する手段、
として機能させるための１３．から１７．のいずれか１つに記載のプログラム。 Hereinafter, an example of the reference form will be added.
1. 1.
An image recognition means for recognizing the size or shape of a product in the image by using an image associated with depth information indicating a distance in the depth direction of the product included in the imaging range.
Code acquisition means to acquire the product identification code of the product to be settled,
The size / shape information acquisition means for acquiring the size / shape information associated with the acquired product identification code, and
A determination means for determining whether or not the size or shape of the product recognized from the image and the size / shape information acquired by using the product identification code satisfy a predetermined criterion.
Product registration device equipped with.
2. 2.
Further provided with a thermography information acquisition means for acquiring thermography information in association with the image.
The image recognition means
Using the acquired thermography information, a portion presumed to be a person is excluded from the shape of the product recognized from the image.
1. 1. Product registration device described in.
3. 3.
The product identification code is associated with a plurality of the size / shape information.
The determination means determines whether or not the recognized size or shape and each of the plurality of size / shape information satisfy the predetermined criteria.
1. 1. Or 2. Product registration device described in.
4.
An image pickup means for capturing the image is further provided according to the timing at which the code acquisition means reads the product identification code.
1. 1. From 3. The product registration device according to any one of the above.
5.
Further provided with a quantity acquisition means for acquiring the number of products included in the imaging range,
The determination means determines whether or not the number of acquired product identification codes matches the number of acquired products.
1. 1. From 4. The product registration device according to any one of the above.
6.
The product weight or weight deviation of the product of the product identification code is further associated with the product identification code.
The determination means means that the weight associated with the acquired product identification code is equal to or greater than the reference value, the weight associated with the acquired product identification code is not set, or the acquisition When the weight deviation associated with the product identification code is at least one of a predetermined threshold value, the determination is executed.
1. 1. From 5. The product registration device according to any one of the above.
7.
The computer
The size or shape of the product in the image is recognized by using the image associated with the depth information indicating the distance in the depth direction of the product included in the imaging range.
Obtain the product identification code of the product to be settled and
Acquire the size / shape information associated with the acquired product identification code, and
The difference between the size or shape of the product recognized from the image and the size / shape information acquired by using the product identification code is calculated, and whether or not the difference satisfies a predetermined criterion is determined. judge,
Control methods including that.
8.
The computer
Acquire thermography information in association with the image,
Using the acquired thermography information, a portion presumed to be a person is excluded from the shape of the product recognized from the image.
Including 7. The control method described in.
9.
The product identification code is associated with a plurality of the size / shape information.
The computer
It is determined whether or not the recognized size or shape and each of the plurality of size / shape information satisfy the predetermined criteria.
Including 7. Or 8. The control method described in.
10.
The computer
The image is captured according to the timing of reading the product identification code.
Including 7. From 9. The control method according to any one of the above.
11.
The computer
Obtain the number of products included in the imaging range and
It is determined whether or not the number of acquired product identification codes and the number of acquired products match.
Including 7. To 10. The control method according to any one of the above.
12.
The product weight or weight deviation of the product of the product identification code is further associated with the product identification code.
The computer
When the weight associated with the acquired product identification code is equal to or greater than the reference value, when the weight associated with the acquired product identification code is not set, or when the acquired product identification code is not set. When the weight deviation associated with is equal to or greater than a predetermined threshold value, the determination is executed in at least one of the cases.
Including 7. From 11. The control method according to any one of the above.
13.
Computer,
An image recognition means for recognizing the size or shape of a product in the image by using an image associated with depth information indicating a distance in the depth direction of the product included in the imaging range.
Code acquisition method to acquire the product identification code of the product to be settled,
Size / shape information acquisition means for acquiring size / shape information associated with the acquired product identification code,
The difference between the size or shape of the product recognized from the image and the size / shape information acquired by using the product identification code is calculated, and whether or not the difference satisfies a predetermined criterion is determined. Judgment means,
A program to function as.
14.
The computer
Thermography information acquisition means for acquiring thermography information in association with the image,
The image recognition means
A means for excluding a portion presumed to be a person from the shape of the product recognized from the image by using the acquired thermography information.
To further function as 13. The program described in.
15.
The product identification code is associated with a plurality of the size / shape information.
The computer
A means for determining whether or not the recognized size or shape and each of the plurality of size / shape information satisfy the predetermined criteria.
To further function as 13. Or 14. The program described in.
16.
The computer
An imaging means that captures the image according to the timing at which the code acquisition means reads the product identification code.
To further function as 13. To 15. The program described in any one of.
17.
The computer
A quantity acquisition means for acquiring the number of products included in the imaging range,
A means for determining whether or not the number of acquired product identification codes matches the number of acquired products, which is the determination means.
To further function as 13. From 16. The program described in any one of.
18.
The product weight or weight deviation of the product of the product identification code is further associated with the product identification code.
The computer
In the determination means, when the weight associated with the acquired product identification code is equal to or greater than the reference value, the weight associated with the acquired product identification code is not set, or A means for executing the determination when the weight deviation associated with the acquired product identification code is at least one of a predetermined threshold value or more.
13. To function as. From 17. The program described in any one of.

１ 精算システム
１０ 情報処理装置
１０１ ＣＰＵ
１０２ メモリ
１０３ ストレージ
１０４ 入出力インターフェース
１０４１ 表示装置
１０４２ 入力装置
１０４３ 撮像装置
１０４４ 読取装置
１０５ 通信モジュール
１１０ 画像認識部
１２０ 商品認識部
１２２ コード取得部
１２４ 撮像部
１２６ サーモグラフィ情報取得部
１３０ 大きさ／形状情報取得部
１３２ 大きさ／形状情報記憶部
１４０ 判定部
１４２ 重量情報記憶部
１５０ 個数取得部
１７０ 重量情報取得部
２０ バスケット
３０ 精算装置
４０ サーバ装置 1 Settlement system 10 Information processing device 101 CPU
102 Memory 103 Storage 104 Input / output interface 1041 Display device 1042 Input device 1043 Imaging device 1044 Reading device 105 Communication module 110 Image recognition unit 120 Product recognition unit 122 Code acquisition unit 124 Imaging unit 126 Thermography information acquisition unit 130 Size / shape information acquisition Unit 132 Size / shape information storage unit 140 Judgment unit 142 Weight information storage unit 150 Quantity acquisition unit 170 Weight information acquisition unit 20 Basket 30 Settlement device 40 Server device

Claims (11)

商品を収容して運ぶための容器に設けられ、精算対象の商品に関する商品情報を取得する第１の取得手段と、
前記容器に設けられ、当該容器内に載置された商品の画像情報を取得する第２の取得手段と、
第１及び第２の取得手段により取得された情報を用いて前記容器内に載置された商品が不当なものと判定された場合に、警告を出力する出力手段と、
を備え、
前記第２の取得手段が前記画像情報を取得するタイミングは、前記第１の取得手段が前記商品情報を取得するタイミングの後である情報処理システム。 A first acquisition means for acquiring product information about products to be settled , which is provided in a container for storing and carrying products, and
A second acquisition means provided in the container and acquiring image information of the product placed in the container, and
An output means that outputs a warning when it is determined that the product placed in the container is unreasonable using the information acquired by the first and second acquisition means.
Equipped with a,
The timing of the second acquisition means acquires the image information, der Ru information processing system after the timing that the first acquisition unit acquires the product information. 前記商品情報及び前記画像情報を用いて前記容器内に載置された商品の妥当性を判定する判定手段を更に備え、
前記出力手段は、前記判定手段が、前記容器内に載置された商品が不当なものと判定した場合に、警告を出力する、
請求項１に記載の情報処理システム。 Further provided with a determination means for determining the validity of the product placed in the container using the product information and the image information.
The output means outputs a warning when the determination means determines that the product placed in the container is unreasonable.
The information processing system according to claim 1. 前記判定手段は、前記第１の取得手段が商品情報を取得した商品とは異なる商品が前記容器内に載置されている場合に、前記容器内に載置された商品が不当なものと判定する、
請求項２に記載の情報処理システム。 Said determination means determines, when the first acquisition means is different goods and products that acquires the product information is placed in the container, placed on the product in the container is an unjustified To do,
The information processing system according to claim 2. 前記商品情報に紐づけられた外観情報を取得する第１の外観情報取得手段と、
前記画像情報を用いて、商品の外観情報を取得する第２の外観情報取得手段と、を更に備え、
前記判定手段は、前記第１の外観情報取得手段及び前記第２の外観情報取得手段が取得した情報を用いて、前記容器内に載置された商品の妥当性を判定する、
請求項２又は３に記載の情報処理システム。 A first appearance information acquisition means for acquiring appearance information associated with the product information, and
Using said image information further comprises a second appearance information acquisition means for acquiring the appearance information of the product, and
The determination means determines the validity of the product placed in the container by using the information acquired by the first appearance information acquisition means and the second appearance information acquisition means.
The information processing system according to claim 2 or 3. 前記容器に設けられ、前記画像情報に含まれる商品の個数を取得する個数取得手段を更に備え、
前記判定手段は、前記第１の取得手段が商品情報を取得した商品の個数と、前記個数取得手段が取得した商品の個数とを用いて、前記容器内に載置された商品の妥当性を判定する、
請求項２乃至４のいずれか１項に記載の情報処理システム。 The container is further provided with a quantity acquisition means for acquiring the quantity of products included in the image information.
The determination means uses the number of products for which the first acquisition means has acquired product information and the number of products acquired by the quantity acquisition means to determine the validity of the products placed in the container. judge,
The information processing system according to any one of claims 2 to 4. 前記容器に設けられ、前記容器内に載置された商品の重量情報を取得する第３の取得手段を更に備え、
前記判定手段は、前記重量情報を用いて、前記容器内に載置された商品の妥当性を判定する、
請求項２乃至５のいずれか１項に記載の情報処理システム。 Further provided with a third acquisition means provided in the container and acquiring weight information of the product placed in the container.
The determination means determines the validity of the product placed in the container by using the weight information.
The information processing system according to any one of claims 2 to 5. 前記第１の取得手段が取得する情報には、商品の重量または重量偏差が更に紐付けられており、
前記判定手段は、前記第１の取得手段が取得する情報に紐付けられた前記重量が基準値以下の場合、前記第１の取得手段が取得する情報に紐付けられた前記重量が未設定の場合、または、前記第１の取得手段が取得する情報に紐付けられた前記重量偏差が所定の閾値以上である場合、の少なくともいずれか１つの場合に、前記容器内に載置された商品の妥当性を判定する、
請求項２乃至６のいずれか１項に記載の情報処理システム。 The information acquired by the first acquisition means is further associated with the weight or weight deviation of the product.
In the determination means, when the weight associated with the information acquired by the first acquisition means is equal to or less than the reference value, the weight associated with the information acquired by the first acquisition means is not set. In the case, or in at least one of the cases where the weight deviation associated with the information acquired by the first acquisition means is equal to or greater than a predetermined threshold value, the product placed in the container is placed in the container. Judging the validity,
The information processing system according to any one of claims 2 to 6. 商品を収容して運ぶための容器に設けられたコンピュータが、
精算対象の商品に関する商品情報を取得し、
前記容器内に載置された商品の画像情報を取得し、
前記商品情報及び前記画像情報を用いて前記容器内に載置された商品が不当なものと判定された場合に、警告を出力し、
前記画像情報が取得されるタイミングは、前記商品情報が取得されるタイミングの後である制御方法。 A computer installed in a container for storing and carrying goods
Get product information about the products to be settled,
The image information of the product placed in the container is acquired, and the image information is obtained.
When it is determined that the product placed in the container is unreasonable using the product information and the image information , a warning is output.
The control method in which the timing at which the image information is acquired is after the timing at which the product information is acquired. 商品を収容して運ぶための容器に設けられたコンピュータに、
精算対象の商品に関する商品情報を取得し、
前記容器内に載置された商品の画像情報を取得し、
前記商品情報及び前記画像情報を用いて前記容器内に載置された商品が不当なものと判定された場合に、警告を出力する、
処理を実行させ、
前記画像情報が取得されるタイミングは、前記商品情報が取得されるタイミングの後であるプログラム。 In a computer installed in a container for storing and carrying goods,
Get product information about the products to be settled,
The image information of the product placed in the container is acquired, and the image information is obtained.
When it is determined that the product placed in the container is unreasonable by using the product information and the image information, a warning is output.
Let the process be executed
Timing at which the image information is acquired, the product information der Ru program after the timing to be acquired. 商品を収容して運ぶための容器に設けられ、
精算対象の商品に関する商品情報を取得する第１の取得手段と、
前記容器に設けられ、前記容器内に載置された商品の画像情報を取得する第２の取得手段と、
第１及び第２の取得手段により取得された情報を用いて前記容器内に載置された商品が不当なものと判定された場合に、警告を出力する出力手段と、
を備え、
前記第２の取得手段が前記画像情報を取得するタイミングは、前記第１の取得手段が前記商品情報を取得するタイミングの後である情報処理装置。 Provided in a container for storing and carrying goods
The first acquisition method for acquiring product information related to the product to be settled,
A second acquisition means for acquiring image information of a product provided in the container and placed in the container, and
An output means that outputs a warning when it is determined that the product placed in the container is unreasonable using the information acquired by the first and second acquisition means.
Equipped with a,
The timing of the second acquisition means acquires the image information, der Ru information processing apparatus after the timing that the first acquisition unit acquires the product information. 商品を収容して運ぶための容器に設けられ、
精算対象の商品の商品識別コードを取得するコード取得手段と、
前記容器に設けられ、前記容器内に載置され、前記商品識別コードを取得された商品を少なくとも撮像範囲に含み、商品の奥行方向の距離を示す奥行情報が対応付けられた画像を取得する画像取得手段と、
前記画像取得手段が取得した画像から、前記商品識別コードを取得された商品の外観を認識する画像認識手段と、
前記取得された商品識別コードに紐づけられた外観情報を取得する外観情報取得手段と、
前記画像から認識された商品の外観と、前記商品識別コードに紐づけられた外観情報とを用いて、前記画像から認識された商品と前記商品識別コードから識別される商品とが同一の商品を示すことを判定する判定手段と、
前記判定手段の判定結果に応じて警告を出力する出力手段と、
を備え、
前記画像取得手段が前記画像を取得するタイミングは、前記コード取得手段が前記商品識別コードを取得するタイミングの後である情報処理装置。
 Provided in a container for storing and carrying goods
Code acquisition means to acquire the product identification code of the product to be settled,
An image for acquiring an image in which a product provided in the container , placed in the container, and for which the product identification code has been acquired is included in at least an imaging range, and depth information indicating a distance in the depth direction of the product is associated with the product. Acquisition method and
An image recognition means for recognizing the appearance of a product for which the product identification code has been obtained from an image acquired by the image acquisition means, and an image recognition means.
Appearance information acquisition means for acquiring appearance information associated with the acquired product identification code, and
Using the appearance of the product recognized from the image and the appearance information associated with the product identification code, the product recognized from the image and the product identified from the product identification code are the same product. Judgment means for determining to indicate and
An output means that outputs a warning according to the determination result of the determination means, and
Equipped with a,
The timing of the image acquisition unit acquires the image, der Ru information processing apparatus after the timing of the code acquiring means for acquiring the product identification code.
JP2020008978A 2020-01-23 2020-01-23 Product registration device, control method, and program Active JP6841352B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020008978A JP6841352B2 (en) 2020-01-23 2020-01-23 Product registration device, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020008978A JP6841352B2 (en) 2020-01-23 2020-01-23 Product registration device, control method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015072039A Division JP6651705B2 (en) 2015-03-31 2015-03-31 Information processing apparatus, information processing method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021024297A Division JP7078148B2 (en) 2021-02-18 2021-02-18 Product registration device, control method, and program

Publications (2)

Publication Number Publication Date
JP2020074189A JP2020074189A (en) 2020-05-14
JP6841352B2 true JP6841352B2 (en) 2021-03-10

Family

ID=70610350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020008978A Active JP6841352B2 (en) 2020-01-23 2020-01-23 Product registration device, control method, and program

Country Status (1)

Country Link
JP (1) JP6841352B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022201679A1 (en) * 2021-03-25 2022-09-29 日本電気株式会社 Detection system, detection method, and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2993830B2 (en) * 1993-11-18 1999-12-27 富士通株式会社 Stored and transported goods and POS system with self-scan function
JP4255964B2 (en) * 2006-07-21 2009-04-22 東芝テック株式会社 Product sales data processing device
JP5535508B2 (en) * 2009-03-31 2014-07-02 Ｎｅｃインフロンティア株式会社 Self-POS device and operation method thereof
JP2013041354A (en) * 2011-08-12 2013-02-28 Seiko Epson Corp Product sales system, portable terminal, management server, and method and program for controlling product sales system
JP5372099B2 (en) * 2011-10-03 2013-12-18 東芝テック株式会社 Commodity data processing device, settlement device and POS system

Also Published As

Publication number Publication date
JP2020074189A (en) 2020-05-14

Similar Documents

Publication Publication Date Title
US10490032B2 (en) Product registration apparatus for determining a correct product, control method, and program
US10089552B2 (en) Product recognition apparatus and control method for product recognition apparatus
US10762486B2 (en) Information processing apparatus, information processing method, and non-transitory storage medium
US9390314B2 (en) Methods and apparatus for determining dimensions of an item using 3-dimensional triangulation
JP2018129038A (en) Article recognition device and article recognition method
EP2897110A1 (en) Commodity reading apparatus, sales data processing apparatus having the same and method for recognizing commodity
US20190139122A1 (en) Commodity-data processing apparatus, commodity-data processing system, and commodity-data processing program
JP6841352B2 (en) Product registration device, control method, and program
CN108320403B (en) Commodity identification device, control method and terminal equipment
JP7078148B2 (en) Product registration device, control method, and program
CN112154488B (en) Information processing apparatus, control method, and program
EP3518143B1 (en) Article recognition device and commodity settlement device
JP2016126515A (en) Object recognition scanner system
US20230177828A1 (en) Information processing system, information processing apparatus, and method for processing information
US11386573B2 (en) Article recognition apparatus
JP7322945B2 (en) Processing device, processing method and program
US20190328157A1 (en) Inspection system, information collection apparatus, inspection method, information collection method, and non-transitory storage medium
WO2019186974A1 (en) Image identification register device, image identification register system, product information display method, and program
JP7318039B2 (en) Image processing device, information processing device, system and program
JP7274644B2 (en) Article recognition device
JP2018129037A (en) Article recognition device and article recognition method
KR101893577B1 (en) Signature Pad Device and Sales Analyzing Method Using Signature Pad
JP2023018746A (en) Marker processor and marker sheet
JP2019192105A (en) Product registration device, product registration method, and program
JP2024096164A (en) Article data processing system and article data processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210201

R150 Certificate of patent or registration of utility model

Ref document number: 6841352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150