WO2021131563A1 - 画像データ登録システム、画像データ登録方法 - Google Patents

画像データ登録システム、画像データ登録方法 Download PDF

Info

Publication number
WO2021131563A1
WO2021131563A1 PCT/JP2020/044958 JP2020044958W WO2021131563A1 WO 2021131563 A1 WO2021131563 A1 WO 2021131563A1 JP 2020044958 W JP2020044958 W JP 2020044958W WO 2021131563 A1 WO2021131563 A1 WO 2021131563A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data registration
image data
registration system
input
Prior art date
Application number
PCT/JP2020/044958
Other languages
English (en)
French (fr)
Inventor
暁艶 戴
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP20908272.6A priority Critical patent/EP4083950A4/en
Priority to US17/757,958 priority patent/US20230057369A1/en
Priority to CN202080090644.8A priority patent/CN114902302A/zh
Publication of WO2021131563A1 publication Critical patent/WO2021131563A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated

Definitions

  • Patent Document 1 a technique for automatically identifying a product using an image captured by a camera is disclosed (for example, Patent Document 1).
  • the image data registration system which is one aspect of the present disclosure, includes a first storage unit and an image processing unit.
  • the first storage unit stores the image input by the input unit.
  • the image processing unit acquires at least one or more images satisfying a predetermined condition from the images stored in the first storage unit, and associates the acquired images with the input product code.
  • the image input by the input unit is stored in the first storage unit, the product code input by the input unit is acquired, and the first storage unit is used. This includes acquiring at least one or more images satisfying a predetermined condition from the above and associating the acquired images with the product code.
  • the image data registration system includes an input unit 1, an image processing unit 2, and a first storage unit 3a. Further, the image data registration system may be configured to include a second storage unit 3b, a holding unit 4, a mounting surface 5, and a housing 6.
  • the input unit 1 inputs an image of the product or a product code described later into the image processing unit 2 described later.
  • the input unit 1 includes an image pickup optical system and an image pickup element in order to image the product code or the product.
  • the imaging optical system includes, for example, one or more lenses and optical members such as an aperture.
  • the lens may be any lens regardless of the focal length, and may be, for example, a general lens, a wide-angle lens including a fisheye lens, or a zoom lens having a variable focal length.
  • the imaging optical system forms a subject image on the light receiving surface of the image sensor.
  • the image sensor includes, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor. The image sensor captures a subject image formed on a light receiving surface to generate an captured image.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the photographing optical system may be installed as shown in FIG. 2, or may be installed at a position where the input operation can be photographed, such as the ceiling. That is, in order to scan the product code, the input unit 1 may include a code scanner based on a code scanning method including a CCD method, a laser method, a pen method, and the like.
  • the imaging optical system and the code scanner do not necessarily have to be provided integrally, and may be provided separately.
  • the input unit 1 may be provided in a payment device used for payment of products purchased by consumers.
  • the checkout device includes, for example, a cash register terminal.
  • the first storage unit 3a stores the image captured by the input unit 1.
  • the image processing unit 2 includes a first processing unit 21 and a second processing unit 22.
  • the first processing unit 21 acquires the product code input to the input unit 1.
  • the image meaning the product code here
  • the image is recognized based on machine learning including deep learning, pattern matching, or the like, or input.
  • the matching process based on the product code given to the product, which is input to the part 1, is included.
  • the product code includes, for example, a barcode, a QR code® or an identification marker.
  • the first processing unit 21 may acquire information related to the image and the product code given to the product included in the image (including, for example, the amount of money, the product name, or the producer) by identifying the product code. it can.
  • the second processing unit 22 acquires at least one or more images satisfying a predetermined condition from the images stored in the first storage unit 3a, and the acquired images and the product code input to the input unit 1 A linked data set is generated and stored in a second storage unit 3b, which will be described later.
  • the second storage unit 3b stores the image captured by the input unit 1 in association with the recognition result of the image processing unit 2.
  • the first storage unit 3a and the second storage unit 3b may be configured by using any one or more of, for example, a semiconductor memory, a magnetic memory, an optical memory, and the like.
  • the semiconductor memory may include a volatile memory and a non-volatile memory.
  • the magnetic memory may include, for example, a hard disk, a magnetic tape, or the like.
  • the optical memory may include, for example, a CD (Compact Disc), a DVD (Digital None Disc), a BD (Blu-ray (registered trademark) Disc), or the like.
  • the image processing unit 2, the first storage unit 3a, and the second storage unit 3b do not necessarily have to be on-premises.
  • at least one of the image processing unit 2, the first storage unit 3a, and the second storage unit 3b may be processed in the cloud on the Web service.
  • only the input unit 1 may be used as a physical component.
  • the holding unit 4 holds the input unit 1.
  • the material, shape, size, etc. of the holding portion 4 are not particularly limited. Regarding the arrangement, in FIG. 2, the holding portion 4 is provided in the housing 6 described later, but it is not necessarily provided in the housing 6. That is, any holding unit 4 may be used as long as the input unit 1 can be held.
  • the mounting surface 5 is a surface on which a product imaged by the input unit 1 is placed.
  • the material, shape, size, etc. of the housing 6 are not particularly limited. Further, when the image data registration system does not include the holding unit 4 and the mounting surface 5, the housing 6 does not need to be provided.
  • the image data registration system according to the first embodiment as a predetermined condition for acquiring an image, the captured images at the time of acquiring the product code and before and after the acquisition of the product code are acquired. Under this condition, the image data registration system can register images of a plurality of products at once.
  • n which means a frame number
  • m X (X is an arbitrary natural number), respectively. Then, the process proceeds to ⁇ S102>.
  • the first processing unit 21 assigns n as a frame number to the image stored in the first storage unit 3a. Then, the process proceeds to ⁇ S104>.
  • the first processing unit 21 acquires the product code input from the input unit 1. Then, the process proceeds to ⁇ S107>.
  • the first processing unit 21 acquires an image having a frame number of nm or more and n or less from the first storage unit 3a. Then, the process proceeds to ⁇ S110>.
  • the first processing unit 21 acquires all the images stored in the first storage unit 3a. Then, the process proceeds to ⁇ S110>.
  • the input unit 1 takes an image of the product and stores the image generated by the image in the first storage unit 3a. Then, the process proceeds to ⁇ S111>.
  • the first processing unit 21 assigns n as a frame number to the image stored in the first storage unit 3a. Then, the process proceeds to ⁇ S112>.
  • the first processing unit 21 acquires an image having a frame number n from the first storage unit 3a. Then, the process proceeds to ⁇ S113>.
  • the first processing unit 21 determines whether n ⁇ m. If n ⁇ m is satisfied, the process proceeds to ⁇ S114>, and if n ⁇ m is not satisfied, the process proceeds to ⁇ S115>.
  • the second processing unit 22 associates the acquired at least one or more images (hereinafter referred to as an image group) with the product code, and generates the association data. Then, the process proceeds to ⁇ S116>.
  • the second processing unit 22 stores the associated data in the second storage unit 3b. After that, the process ends.
  • the number of images of the product before and after the product code was input was determined only by the parameter m, but it is not always necessary to determine by only one parameter.
  • the number of acquired sheets may be set using two or more parameters.
  • these parameters may be arbitrarily changed.
  • the configuration of the image data registration system according to the second embodiment is the same as that of the image data registration system according to the first embodiment.
  • the image data registration system according to the first embodiment can efficiently acquire an image, but there is a possibility that a noise image (for example, an image in which the target product is not shown) is included in the image. come. Therefore, the image data registration system according to the third embodiment determines whether the acquired image contains a noise image, and prevents the image determined to be a noise image from being stored in the second storage unit 3b. It is characterized by that. Due to the above-mentioned features, the image data registration system according to the third embodiment can efficiently acquire clean image data that does not include a noise image. That is, in the image data registration system according to the second embodiment, acquisition of a noise image is added to the condition of the image data registration system according to the first embodiment as a predetermined condition for image acquisition. It becomes a shape.
  • a noise image for example, an image in which the target product is not shown
  • the first processing unit 21 determines whether or not a noise image is included in the image group acquired from the first storage unit 3a.
  • a noise image for example, an image in which most of the product is not captured, an image in which the product code cannot be recognized, or an image in which a part of the body including fingers occupies a predetermined ratio area of the image is noise. It may be judged as an image. Alternatively, in a known image recognition process, an image for which object detection or object recognition cannot be performed may be determined as a noise image. If it is determined that the noise image is included, the process proceeds to ⁇ S216>. If it is determined that the noise image is not included, the process proceeds to ⁇ S217>.
  • the first processing unit 21 excludes the image group determined to be a noise image from the acquired image group. Then, the process proceeds to ⁇ S217>.
  • the image data registration system according to the third embodiment further acquires product-related information and associates it as one attribute of the association data. It is a feature.
  • the product-related information includes, for example, character information included in the product label. Due to the above-mentioned features, the image data registration system according to the third embodiment can store richer associative data in the second storage unit 3b.
  • the first processing unit 21 acquires product-related information for the image group acquired from the first storage unit 3a. Then, the process proceeds to ⁇ S318>.
  • the second processing unit 22 associates the product code, the image group acquired from the first storage unit 3a, and the product-related information, and generates the associated data. Then, the process proceeds to ⁇ S319>.
  • FIG. 7 is an image diagram of a database registered by the image registration process of the image data registration system according to the third embodiment. From FIG. 7, it can be seen that the character information that can be obtained from the image associated with the product code is associated with the product-related information.
  • the present disclosure of the image data registration system has been described based on various drawings and examples, but it should be noted that those skilled in the art can easily make various modifications and modifications based on the present disclosure. ..
  • the processing flow related to the image registration process has been described with reference to FIGS. 3, 5 and 6, but the operator separately prepares the process flow.
  • the processing flow may be repeated until the end of the registration work is input to the image data registration system via the input device. That is, for example, in the image data registration system according to the first embodiment, when FIG. 3 is used, it is determined whether or not the end of the registration work by the operator has been input to the image data registration system after the processing of ⁇ S116>.
  • the processing may be terminated as it is, otherwise the process may be returned to ⁇ S102>, or the product code input is performed in ⁇ S102>. If it is determined that there is no such case, ⁇ S102> may be continuously executed.
  • the product-related information is not limited to character information, and may be, for example, image information such as a logo.
  • the extracted product-related information may be subjected to noise removal processing using a known character recognition technique, an image recognition technique including an object recognition technique, or the like.
  • two or more combinations of the present disclosure and the methods modified and modified based on the present disclosure may be used. It should be noted, therefore, that any modifications or amendments to this disclosure, including these, are within the scope of this disclosure.
  • the solutions of the present disclosure have been described as an image data registration system, an image registration device, and an image data registration method, but the present disclosure can also be realized as an embodiment including these. It should be understood that these are also included in the scope of the present disclosure because they can be realized as a program and a storage medium on which a program is recorded, which is substantially equivalent to these.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

第１の保存部３ａと画像処理部２とを含んで構成される画像データ登録システムであって、第１の保存部３ａは、入力部１によって入力された画像を保存し、画像処理部２は、前記第１の保存部３ａに保存された画像から所定の条件を満たす少なくとも１枚以上の画像を取得し、前記取得した画像と前記入力された商品コードとを紐づけることを含む。

Description

画像データ登録システム、画像データ登録方法 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１９－２３４５８１号（２０１９年１２月２５日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本発明は、画像データ登録システム及び画像データ登録方法に関するものである。
　ＰＯＳ（Ｐｏｉｎｔ　оｆ　ｓａｌｅ　ｓｙｓｔｅｍ）システムにおいて、カメラの撮像画像を用いて商品の自動識別を行う技術が開示されている（例えば、特許文献１）。
特開２０１７－２２０１９８号公報
　本開示の一側面である画像データ登録システムは、第１の保存部と画像処理部とを含む。第１の保存部は、入力部によって入力された画像を保存する。画像処理部は、前記第１の保存部に保存された画像から所定の条件を満たす少なくとも１枚以上の画像を取得し、前記取得した画像と前記入力された商品コードとを紐づける。
　また、本開示の一側面である画像データ登録方法は、入力部によって入力された画像を第１の保存部に保存し、前記入力部によって入力された商品コードを取得し、第１の保存部から所定の条件を満たす少なくとも１枚以上の画像を取得し、前記取得した画像と前記商品コードとを紐づけることを含む。
図１は、本開示の第１の実施形態に係る画像データ登録システムの概略構成を示す機能ブロック図である。 図２は、本開示の第１の実施形態に係る画像データ登録システムの外観図である。 図３は、本開示の第１の実施形態に係る画像データ登録システムの画像データ登録方法を示すフローチャート図である。 図４は、本開示の第１の実施形態に係る画像データ登録システムによって登録されたデータベースのイメージ図である。 図５は、本開示の第２の実施形態に係る画像データ登録システムの画像データ登録方法を示すフローチャート図である。 図６は、本開示の第３の実施形態に係る画像データ登録システムの画像データ登録方法を示すフローチャート図である。 図７は、本開示の第３の実施形態に係る画像データ登録システムによって登録されたデータベースのイメージ図である。
　以下、本開示に係る画像データ登録システムの実施形態について、図面を参照して説明する。
　図１及び図２に示すように、本開示の第１の実施形態に係る画像データ登録システムは、入力部１、画像処理部２及び第１の保存部３ａを含んで構成されている。また、画像データ登録システムは、第２の保存部３ｂ、保持部４、載置面５、筐体６を含んで構成されてよい。
　以後の図において、各機能ブロックを結ぶ実線の矢印は、制御信号または通信される情報の流れを示す。矢印が示す通信は、有線／無線のどちらでもあってもよく、また、両者の組み合わせであってもよい。
　入力部１は、商品の画像または後述する商品コードを、後述する画像処理部２に入力する。
　商品コードまたは商品を撮像するため、入力部１は、撮像光学系及び撮像素子を含んで構成される。撮像光学系は、例えば、１個以上のレンズ及び絞りなどの光学部材を含む。レンズは、焦点距離に囚われずどのようなものであってもよく、例えば、一般的なレンズ、魚眼レンズを含む広角レンズまたは焦点距離が可変であるズームレンズであってもよい。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを含む。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。なお、撮影光学系は、図２に図示したように設置しても良いし、例えば天井など、入力操作を撮影可能な位置に設置してもよい。つまり、また、商品コードをスキャンするため、入力部１は、ＣＣＤ方式、レーザー方式またはペン方式等を含むコードスキャン方式に基づくコードスキャナを含んでもよい。なお、撮像光学系とコードスキャナは必ずしも一体に備えられる必要はなく、別個に備えられてもよい。
　入力部１は、消費者が購買する商品の精算で用いる精算装置に備えられてもよい。精算装置とは、例えばキャッシュレジスタ端末を含む。
　第１の保存部３ａは、入力部１が撮像した画像を保存する。
　画像処理部２は、第１の処理部２１と第２の処理部２２を含んで構成される。
　第１の処理部２１は、入力部１に入力された商品コードを取得する。商品コードの取得方法は、例えば入力部１に入力された画像に対して、深層学習を含む機械学習またはパターンマッチング等に基づいて画像（ここでは商品コードを意味する）認識を行うこと、または入力部１に入力された、商品に付与されている商品コードに基づくマッチング処理を含む。商品コードは、例えば、バーコード、ＱＲコード（登録商標）または識別マーカーを含む。第１の処理部２１は、商品コードの識別によって画像とその画像に含まれる商品に付与されている商品コードに関連する情報（例えば、金額、商品名または生産者を含む）を取得することができる。
　第２の処理部２２は、第１の保存部３ａに保存された画像から、所定の条件を満たす少なくとも１枚以上の画像を取得し、取得した画像と入力部１に入力された商品コードとを紐づけした紐づけデータセットを生成し、後述する第２の保存部３ｂに保存する。
　画像処理部２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などを含むプロセッサを含んで構成される。また、後述する第１の処理部２１及び第２の処理部２２の処理過程のデータを格納するための一時保存部を別途備えてもよい。一時保存部は、例えば半導体メモリ、磁気メモリ、及び光メモリ等の何れか一つ以上を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、及びＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）等を含んで構成されてもよい。
　第２の保存部３ｂは、入力部１で撮像された画像を、画像処理部２での認識結果と紐づけて保存する。
　第１の保存部３ａ及び第２の保存部３ｂは、例えば半導体メモリ、磁気メモリ、及び光メモリ等の何れか一つ以上を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、及びＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）等を含んで構成されてもよい。
　なお、画像処理部２、第１の保存部３ａ及び第２の保存部３ｂは、必ずしもオンプレミスである必要はない。例えば、画像処理部２、第１の保存部３ａ及び第２の保存部３ｂの少なくとも何れか１つを、Ｗｅｂサービス上のクラウドにて処理を行ってもよい。その場合、物理的な構成要素としては入力部１のみとなってもよい。
　保持部４は、入力部１を保持する。
　保持部４の材質、形状及び大きさ等は特に限定されない。配置についても、図２では、保持部４は後述する筐体６に備えられているが、必ずしも筐体６に備えられる必要はない。つまり、入力部１を保持することが達成されるのであれば、保持部４はどのようなものであってもよい。
　載置面５は、入力部１によって撮像される商品を載置する面である。
　載置面５の材質、形状及び大きさ等は特に限定されない。配置についても、図２では、後述する筐体６において、入力部１に面する面に備えられているが、必ずしも図２のような配置である必要はない。つまり、入力部１によって撮像される商品を載置することが達成されるのであれば、載置面５はどのようなものであってもよい。また、入力部１に対して手で商品をかざして撮像する場合、載置面５は備えられる必要はない。
　筐体６は、保持部４及び載置面５を備える。
　筐体６の材質、形状及び大きさ等は特に限定されない。また、画像データ登録システムが保持部４及び載置面５を備えない場合、筐体６は備えられる必要はない。
　次に、図３を用いて、本開示の第１の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローを説明する。第１の実施形態に係る画像データ登録システムにおいては、画像の取得に係る所定の条件として、商品コードの取得時とその前後の撮像された画像を取得する。この条件によって、画像データ登録システムは、複数枚の商品の画像を一度に登録することが可能となる。
　＜Ｓ１０１＞
　第１の処理部２１は、フレーム番号を意味するｎ及び取得するフレーム枚数を決定するパラメータｍを、それぞれｎ＝１、ｍ＝Ｘ（Ｘは任意の自然数）と定義する。その後、＜Ｓ１０２＞に進む。
　＜Ｓ１０２＞
　入力部１は、商品の撮像を行い、撮像によって生成された画像を第１の保存部３ａに保存する。その後、＜Ｓ１０３＞に進む。なお、第１の保存部３ａは、保存された画像について、任意の条件を満たした画像（例えば、撮像されてから一定時間が経過した画像）を削除してもよい。
　＜Ｓ１０３＞
　第１の処理部２１は、第１の保存部３ａに保存された画像に対して、フレーム番号としてｎを付与する。その後、＜Ｓ１０４＞に進む。
　＜Ｓ１０４＞
　第１の処理部２１は、ｎ＝ｎ＋１を実行する。その後、＜Ｓ１０５＞に進む。
　＜Ｓ１０５＞
　第１の処理部２１は、入力部１から商品コードが入力されたかを判断する。商品コードが入力された場合、＜Ｓ１０６＞に進む。商品コードが入力されていない場合、＜Ｓ１０２＞に戻る。
　＜Ｓ１０６＞
　第１の処理部２１は、入力部１から入力された商品コードを取得する。その後、＜Ｓ１０７＞に進む。
　＜Ｓ１０７＞
　第１の処理部２１は、ｎ－ｍ＜０かの判断を行う。ｎ－ｍ＜０を満たす場合、＜Ｓ１０８＞に進む。ｎ－ｍ＜０を満たさない場合、＜Ｓ１０９＞に進む。
　＜Ｓ１０８＞
　第１の処理部２１は、フレーム番号がｎ－ｍ以上かつｎ以下である画像を、第１の保存部３ａから取得する。その後、＜Ｓ１１０＞に進む。
　＜Ｓ１０９＞
　第１の処理部２１は、第１の保存部３ａに保存されている全ての画像を取得する。その後、＜Ｓ１１０＞に進む。
　＜Ｓ１１０＞
　入力部１は、商品の撮像を行い、撮像によって生成された画像を第１の保存部３ａに保存する。その後、＜Ｓ１１１＞に進む。
　＜Ｓ１１１＞
　第１の処理部２１は、第１の保存部３ａに保存された画像に対して、フレーム番号としてｎを付与する。その後、＜Ｓ１１２＞に進む。
　＜Ｓ１１２＞
　第１の処理部２１は、フレーム番号がｎの画像を、第１の保存部３ａから取得する。その後、＜Ｓ１１３＞に進む。
　＜Ｓ１１３＞
　第１の処理部２１は、ｎ＜ｍかの判断を行う。ｎ＜ｍを満たす場合、＜Ｓ１１４＞に進み、ｎ＜ｍを満たさない場合、＜Ｓ１１５＞に進む。
　＜Ｓ１１４＞
　第１の処理部２１は、ｎ＝ｎ＋１を実行する。その後、＜Ｓ１１０＞に戻る。
　＜Ｓ１１５＞
　第２の処理部２２は、取得した少なくとも１枚以上の画像（以下、画像群と表記）と商品コードとを紐づけし、紐づけデータを生成する。その後、＜Ｓ１１６＞に進む。
　＜Ｓ１１６＞
　第２の処理部２２は、紐づけデータを第２の保存部３ｂに保存する。その後、処理を終了する。
　図４は、第１の実施形態に係る画像データ登録システムの画像登録処理によって登録されたデータベースのイメージ図である。図４より、商品コード入力の際の前後の商品の画像も撮像し、第２の保存部３ｂへ紐づけて保存できていることが分かる。
　なお、先の説明において、商品コード入力の際の前後の商品の画像の取得枚数について、パラメータｍのみで決定したが、必ずしも１つのパラメータのみで決定する必要はない。例えば２つ以上のパラメータを用いて取得枚数を設定してもよい。また、これらのパラメータは任意に設定変更であってよい。
　次に、本開示の第２の実施形態に係る画像データ登録システムについて説明する。第２の実施形態に係る画像データ登録システムの構成は、第１の実施形態に係る画像データ登録システムと同一である。
　第１の実施形態に係る画像データ登録システムは効率的に画像を取得することができるが、その中にノイズ画像（例えば、対象の商品が写っていない画像など）が含まれる可能性が出てくる。そのため、第３の実施形態に係る画像データ登録システムは、取得した画像にノイズ画像が含まれているかを判断し、ノイズ画像と判断された画像は第２の保存部３ｂに保存しないようにすることを特徴とする。上述の特徴により、第３の実施形態に係る画像データ登録システムは、ノイズ画像を含まないクリーンな画像データを効率的に取得することができる。つまり、第２の実施形態に係る画像データ登録システムにおいては、画像の取得に係る所定の条件として、ノイズ画像を取得することが、第１の実施形態に係る画像データ登録システムの条件に加わった形となる。
　次に、図６を用いて、本開示の第３の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローを説明する。
　＜Ｓ２０１＞乃至＜Ｓ２１４＞
　これらの処理は、第１の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローの＜Ｓ１０１＞乃至＜Ｓ１１４＞に対応する。＜Ｓ２１４＞の処理後、＜Ｓ２１５＞に進む。
　＜Ｓ２１５＞
　第１の処理部２１は、第１の保存部３ａから取得した画像群について、ノイズ画像が含まれているかを判断する。ノイズ画像かを判断する基準として、例えば、商品のほとんどが写されていない画像、商品コードを認識できない画像または手指を含む体の一部が画像の所定の割合の領域を占めている画像をノイズ画像と判断してもよい。もしくは、公知の画像認識処理において、物体検出または物体認識ができない画像をノイズ画像と判断してもよい。ノイズ画像が含まれていると判断した場合、＜Ｓ２１６＞に進む。ノイズ画像が含まれていないと判断した場合、＜Ｓ２１７＞に進む。
　＜Ｓ２１６＞
　第１の処理部２１は、ノイズ画像と判断された画像群を取得した画像群の中から除外する。その後、＜Ｓ２１７＞に進む。
　＜Ｓ２１７＞乃至＜Ｓ２１８＞
　これらの処理は、第１の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローの＜Ｓ１１５＞乃至＜Ｓ１１６＞に対応する。＜Ｓ２１８＞の処理後、処理を終了する。
　次に、本開示の第３の実施形態に係る画像データ登録システムについて説明する。第３の実施形態に係る画像データ登録システムの構成は、第１の実施形態及び第２の実施形態に係る画像データ登録システムと同一である。
　第３の実施形態に係る画像データ登録システムは、第２の実施形態に係る画像データ登録システムの機能に加えて、更に商品関連情報を取得し、紐づけデータの一属性として紐づけすることを特徴とする。商品関連情報とは、例えば、商品のラベルに含まれる文字情報を含む。上述の特徴により、第３の実施形態に係る画像データ登録システムは、更にリッチな紐づけデータを第２の保存部３ｂに保存することができる。
　次に、図６を用いて、本開示の第３の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローを説明する。
　＜Ｓ３０１＞乃至＜Ｓ３１６＞
　これらの処理は、第３の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローの＜Ｓ２０１＞乃至＜Ｓ２１６＞に対応する。＜Ｓ３１６＞の処理後、＜Ｓ３１７＞に進む。
　＜Ｓ３１７＞
　第１の処理部２１は、第１の保存部３ａから取得した画像群に対して、商品関連情報を取得する。その後、＜Ｓ３１８＞に進む。
　＜Ｓ３１８＞
　第２の処理部２２は、商品コード、第１の保存部３ａから取得した画像群及び商品関連情報とを紐づけし、紐づけデータを生成する。その後、＜Ｓ３１９＞に進む。
　＜Ｓ３１９＞乃至＜Ｓ３２０＞
　これらの処理は、第１の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローの＜Ｓ１１５＞乃至＜Ｓ１１６＞に対応する。＜Ｓ３２０＞の処理後、処理を終了する。
　図７は、第３の実施形態に係る画像データ登録システムの画像登録処理によって登録されたデータベースのイメージ図である。図７より、商品関連情報として、商品コードに紐づけされた画像から取得できる文字情報が紐づけされていることが分かる。
　ここまで、画像データ登録システムについて、本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。例えば、第１の実施形態乃至第３の実施形態に係る画像データ登録システムにおいて、図３、図５及び図６を用いて画像登録処理に係る処理フローを説明してきたが、作業者が別途備えられる入力装置を介して登録作業の終了を画像データ登録システムに入力するまでの間、当該処理フローを繰り返してよい。即ち、例えば、第１の実施形態に係る画像データ登録システムにおいて、図３を用いると、＜Ｓ１１６＞の処理後に、作業者による登録作業の終了が画像データ登録システムに入力されたかを判断する判断処理を行い、作業者による登録作業の終了が画像データ登録システムに入力された場合はそのまま処理を終了し、そうでない場合は＜Ｓ１０２＞に戻ってもよいし、＜Ｓ１０２＞において商品コード入力がないと判断された場合、引き続き＜Ｓ１０２＞を実行してもよい。これは第２の実施形態乃至第４の実施形態に係る処理フローにおいても同じことが適用できる。また、商品関連情報は、文字情報に限定されず、例えば、ロゴ等の画像情報であってもよい。また、抽出された商品関連情報について、公知の文字認識技術または物体認識技術等を含む画像認識技術を用いてノイズ除去に係る処理を行ってもよい。また、本開示及び本開示に基づいて変形及び修正した方法の２つ以上の組み合わせをしてもよい。従って、これらを含む本開示の変形及び修正は本開示の範囲に含まれることに留意されたい。
　さらに、これまでに述べたように、本開示の解決手段を画像データ登録システム、画像登録装置、及び、画像データ登録方法として説明してきたが、本開示は、これらを含む態様としても実現し得るものであり、また、これらに実質的に相当する、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。
　本開示の画像データ登録システム及び画像データ登録方法によって取得された画像及び商品関連情報を用いて、例えば深層学習を含む機械学習の学習データまたはパターンマッチング用の辞書データを構築することができる。
　１　　　入力部
　２　　　画像処理部
　３　　　保存部
　３ａ　　第１の保存部
　３ｂ　　第２の保存部
　４　　　保持部
　５　　　載置面
　６　　　筐体
　２１　　第１の処理部
　２２　　第２の処理部

Claims (7)

  1. 第１の保存部と、
    画像処理部と、を備え、
    前記第１の保存部は、入力部によって入力された画像を保存し、
    前記画像処理部は、前記第１の保存部に保存された画像から所定の条件を満たす少なくとも１枚以上の画像を取得し、前記取得した画像と前記入力された商品コードとを紐づける、画像データ登録システム。
  2. 前記画像処理部は、前記紐づけられた商品コードと画像とを第２の保存部に保存する、請求項１に記載の画像データ登録システム。
  3. 　前記所定の条件は、前記入力された商品コードを前記画像処理部が取得した時とその前後に撮像された画像であることを含む、請求項１または２に記載の画像データ登録システム。
  4. 　前記所定の条件は、ノイズ画像でないことを含む、請求項１乃至３の何れか一項に記載の画像データ登録システム。
  5. 　前記画像処理部は、前記画像から商品関連情報を抽出する、請求項１乃至４の何れか一項に記載の画像データ登録システム。
  6. 　前記入力部は、消費者が購買する商品の精算で用いる精算装置に備えられる、請求項１乃至５の何れか一項に記載の画像データ登録システム。
  7. 　入力部によって入力された画像を第１の保存部に保存し、
    入力部によって入力された商品コードを取得し、
    第１の保存部から所定の条件を満たす少なくとも１枚以上の画像を取得し、
    前記取得した画像と前記商品コードとを紐づける、画像データ登録方法。
     
PCT/JP2020/044958 2019-12-25 2020-12-03 画像データ登録システム、画像データ登録方法 WO2021131563A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20908272.6A EP4083950A4 (en) 2019-12-25 2020-12-03 IMAGE DATA RECORDING SYSTEM AND IMAGE DATA RECORDING METHOD
US17/757,958 US20230057369A1 (en) 2019-12-25 2020-12-03 Image data registration system and image data registration method
CN202080090644.8A CN114902302A (zh) 2019-12-25 2020-12-03 图像数据登记系统、图像数据登记方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-234581 2019-12-25
JP2019234581A JP2021103442A (ja) 2019-12-25 2019-12-25 画像データ登録システム、画像データ登録方法

Publications (1)

Publication Number Publication Date
WO2021131563A1 true WO2021131563A1 (ja) 2021-07-01

Family

ID=76574919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044958 WO2021131563A1 (ja) 2019-12-25 2020-12-03 画像データ登録システム、画像データ登録方法

Country Status (5)

Country Link
US (1) US20230057369A1 (ja)
EP (1) EP4083950A4 (ja)
JP (1) JP2021103442A (ja)
CN (1) CN114902302A (ja)
WO (1) WO2021131563A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231436A (ja) * 2009-03-26 2010-10-14 Toshiba Tec Corp コードシンボル読取装置
JP2017220198A (ja) 2016-06-01 2017-12-14 サインポスト株式会社 情報処理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3191999B2 (ja) * 1992-09-10 2001-07-23 オリンパス光学工業株式会社 バーコードシンボル読取装置
JP2004178695A (ja) * 2002-11-27 2004-06-24 Noritsu Koki Co Ltd 画像保存装置及び写真処理システム
JP2005266907A (ja) * 2004-03-16 2005-09-29 Toshiba Social Automation Systems Co Ltd バーコード検出切り出し方法及びその装置、並びにプログラムを格納したコンピュータ読み取り可能な記録媒体
CN100585653C (zh) * 2007-09-30 2010-01-27 西安朔方信息技术有限公司 超市自助结算购物方法
JP4763847B1 (ja) * 2010-08-30 2011-08-31 楽天株式会社 画像変換装置、画像処理装置、ならびに、画像処理システム
CN103268543A (zh) * 2013-01-26 2013-08-28 谢玉换 一种超市自助结账管理系统
JP2016071787A (ja) * 2014-10-01 2016-05-09 シャープ株式会社 商品精算システムおよび商品精算方法
CN108062837A (zh) * 2018-01-26 2018-05-22 浙江行雨网络科技有限公司 一种基于图像识别的无人值守超市商品结算系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231436A (ja) * 2009-03-26 2010-10-14 Toshiba Tec Corp コードシンボル読取装置
JP2017220198A (ja) 2016-06-01 2017-12-14 サインポスト株式会社 情報処理システム

Also Published As

Publication number Publication date
EP4083950A1 (en) 2022-11-02
US20230057369A1 (en) 2023-02-23
JP2021103442A (ja) 2021-07-15
CN114902302A (zh) 2022-08-12
EP4083950A4 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
San Choi et al. Automatic source camera identification using the intrinsic lens radial distortion
CN107533753B (zh) 图像处理装置
CA2893387C (en) Image processing methods and systems for barcode and/or product label recognition
US20160191856A1 (en) Method and System for Metadata Extraction From Master-Slave Cameras Tracking System
JP7126123B2 (ja) 学習装置、学習方法及びプログラム
JP5784867B2 (ja) 画像スキャニング装置及び画像スキャニング方法
JP6726052B2 (ja) 画像処理方法およびプログラム
CN106022784A (zh) 物品替代欺诈检测
JP2016533566A (ja) 虹彩撮像装置及び虹彩撮像装置を構成するための方法
CN103020101A (zh) 图像处理装置和控制图像处理装置的方法
CN108885636A (zh) 车型识别装置、车型识别系统以及车型识别方法
CN113168705A (zh) 用于上下文嵌入且基于区域的对象检测的方法和装置
KR101715273B1 (ko) 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법
US20150116543A1 (en) Information processing apparatus, information processing method, and storage medium
WO2021131563A1 (ja) 画像データ登録システム、画像データ登録方法
US9721371B2 (en) Systems and methods for stitching metallographic and stereoscopic images
EP4036856A1 (en) Updating of annotated points in a digital image
JP2006270137A (ja) 撮像装置
JP3488762B2 (ja) 画像処理装置及び画像処理方法
US11785354B2 (en) Image sensor for optical code recognition
CN116745826A (zh) 显示装置以及显示方法
Strubel et al. Deep learning approach for artefacts correction on photographic films
CN113128243A (zh) 光学识别系统、光学识别方法及电子设备
US9977990B1 (en) Cognitive method for visual classification of very similar planar objects
CN112699707A (zh) 一种视频检测方法、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20908272

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020908272

Country of ref document: EP

Effective date: 20220725