WO2019163095A1 - 登録装置、登録方法及びプログラム - Google Patents

登録装置、登録方法及びプログラム Download PDF

Info

Publication number
WO2019163095A1
WO2019163095A1 PCT/JP2018/006718 JP2018006718W WO2019163095A1 WO 2019163095 A1 WO2019163095 A1 WO 2019163095A1 JP 2018006718 W JP2018006718 W JP 2018006718W WO 2019163095 A1 WO2019163095 A1 WO 2019163095A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
image
registration
sound
analysis
Prior art date
Application number
PCT/JP2018/006718
Other languages
English (en)
French (fr)
Inventor
壮馬 白石
岩元　浩太
秀雄 横井
二徳 高田
恵美 北川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2018/006718 priority Critical patent/WO2019163095A1/ja
Priority to US16/971,200 priority patent/US12079793B2/en
Priority to JP2020501954A priority patent/JP7070654B2/ja
Publication of WO2019163095A1 publication Critical patent/WO2019163095A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Definitions

  • the present invention relates to a registration device, a registration method, and a program.
  • Patent Document 1 discloses a product registration device that captures a product for accounting and recognizes and registers the product in the image by image analysis.
  • Patent Document 2 discloses a display control device that determines a display area of a display object displayed on a display surface according to information on a real object on the display surface.
  • the display control device can recognize the type of tableware placed on the table and output a display effect and sound according to the type.
  • An object of the present invention is to enable an accounting operator to grasp the progress of image analysis in a technique for recognizing and registering a product to be accounted for by image analysis.
  • Image acquisition means for acquiring an image obtained by photographing the mounting surface of the table on which the product is mounted; Analyzing means for recognizing the product included in the image; Registration means for registering the recognized product as an accounting object; Output means for outputting a sound corresponding to the progress of the analysis of the image by the analysis means; A registration device is provided.
  • Computer An image acquisition step of acquiring an image obtained by photographing the mounting surface of the table on which the product is mounted; An analysis step for recognizing the product included in the image; A registration process for registering the recognized product as an accounting object; An output step of outputting a sound corresponding to the progress of the analysis of the image in the analysis step; A registration method is provided for performing
  • Computer Image acquisition means for acquiring an image obtained by photographing the mounting surface of the table on which the product is mounted; Analysis means for recognizing the product included in the image; Registration means for registering the recognized product as an accounting object; Output means for outputting a sound corresponding to the progress of the analysis of the image by the analyzing means;
  • an accounting operator in a technique for recognizing and registering a product to be accounted for by image analysis, an accounting operator can grasp the progress of image analysis.
  • the registration device of this embodiment is used for accounting processing at a store that sells products.
  • the registration device may be a so-called POS (point of sales) register.
  • the registration device may be a device that is assumed to be operated by a store clerk, or may be a device that is assumed to be operated by a customer.
  • a stand for placing a product subject to the accounting process and a camera for photographing the placement surface of the stand are prepared.
  • an accounting operator a store clerk, a customer, etc. places a product to be accounted for on the mounting surface of the table.
  • the registration device acquires an image generated by the camera, the registration device analyzes the image and recognizes a product included in the image. Then, the registration device registers the recognized product as a product for accounting.
  • the registration device has a function that allows an accounting operator to grasp the progress of image analysis. Specifically, the registration device outputs a sound corresponding to the progress status according to the progress status of the image analysis. A plurality of sounds corresponding to the progress status are different from each other.
  • the accounting worker can grasp the progress of image analysis based on the sound output from the registration apparatus.
  • the functions of the registration device are: a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded into the memory, a storage unit such as a hard disk for storing the program (a program stored in advance from the stage of shipping the device)
  • a storage medium such as a CD (Compact Disc) or a program downloaded from a server on the Internet or the like can be stored
  • a network connection interface is mainly implemented by any combination of hardware and software. It will be understood by those skilled in the art that there are various modifications to the implementation method and apparatus.
  • FIG. 1 is a block diagram illustrating the hardware configuration of the registration device.
  • the registration apparatus includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules. The peripheral circuit 4A may not be provided.
  • the bus 5A is a data transmission path through which the processor 1A, the memory 2A, the peripheral circuit 4A, and the input / output interface 3A transmit / receive data to / from each other.
  • the processor 1A is an arithmetic processing unit such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the memory 2A is a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory).
  • the input / output interface 3A is an interface for acquiring information from an input device (eg, keyboard, mouse, microphone, etc.), external device, external server, external sensor, etc., and an output device (eg, display, speaker, printer, mailer). Etc.), an interface for outputting information to an external device, an external server, etc.
  • the processor 1A can issue a command to each module and perform a calculation based on the calculation result.
  • FIG. 2 shows an example of a functional block diagram of the registration device 10.
  • the registration device 10 includes an image acquisition unit 11, an analysis unit 12, an output unit 13, and a registration unit 14.
  • the image acquisition unit 11 acquires an image obtained by photographing the placement surface of the table on which the product is placed. As described above, in the accounting process using the registration device 10, a stand for placing the product to be subjected to the accounting process and a camera for photographing the placement surface of the stand are prepared. The image acquisition unit 11 acquires an image generated by the camera. The camera may generate a moving image (a plurality of images), and the image acquisition unit 11 may acquire the moving image from the camera.
  • Fig. 3 schematically shows an example of a table and a camera.
  • a stand 1 a member 2, a column 3, and a camera 4 are shown.
  • the member 2 is located on the upper surface of the table 1 and forms a part of the table 1.
  • the exposed surface of the member 2 becomes a placement surface on which the product is placed.
  • the member 2 may be a display or another member.
  • the camera 4 is attached to the column 3 and photographs the exposed surface of the member 2 from above.
  • An image generated by the camera 4 is transmitted to a registration device 10 (not shown) by wired and / or wireless communication.
  • the analysis unit 12 analyzes the image acquired by the image acquisition unit 11 and recognizes a product included in the image.
  • the analysis unit 12 can recognize a product using a pattern matching technique or the like.
  • the analysis unit 12 detects an object included in the image by using techniques such as binarization of the image and contour extraction (object detection). After that, the analysis unit 12 collates the appearance feature (feature of the region where the object exists in the image) that appears in the image of the detected object with the appearance feature of each of the plurality of products registered in advance. , Specify which product the object is (product recognition). For example, the analysis unit 12 may specify a product having the highest appearance similarity with the object, or a product having the highest appearance similarity with the object and having the similarity equal to or higher than a reference value. Examples of the appearance characteristics of the product include, but are not limited to, color, surface unevenness, and shape.
  • the output unit 13 outputs a sound corresponding to the progress of image analysis by the analysis unit 12.
  • a plurality of sounds corresponding to the progress status are different from each other.
  • the output unit 13 may output a certain sound (for example, “pi”) upon completion of the object detection, and output another sound (for example, “po”) upon completion of the product recognition.
  • a certain sound for example, “pi”
  • another sound for example, “po”
  • the registration unit 14 registers the product recognized by the analysis unit 12 as an accounting object. For example, the registration unit 14 acquires the product information of the product recognized by the analysis unit 12 from the product master, and registers at least a part of the acquired product information in the registration device 10.
  • the product information includes a price, a product name, a product code, and the like.
  • a product placed on a table can be recognized by image analysis, and the recognized product can be registered as a target for accounting processing. According to such a registration apparatus 10, the registration work of the product is made efficient.
  • the registration device 10 can output a sound corresponding to the progress status according to the progress status of the image analysis.
  • a plurality of sounds corresponding to the progress status are different from each other.
  • the registration device 10 can output a certain sound (eg, “pi”) upon completion of object detection and can output another sound (eg, “po”) upon completion of product recognition.
  • the accounting operator can grasp the progress of the image analysis based on the sound output from the registration apparatus 10.
  • the registration device 10 of the present embodiment can output sound at a timing different from that of the first embodiment. Details will be described below.
  • An example of the hardware configuration of the registration device 10 is the same as that of the first embodiment.
  • FIG. 2 An example of a functional block diagram of the registration device 10 is shown in FIG. 2 as in the first embodiment.
  • the configurations of the image acquisition unit 11 and the registration unit 14 are the same as those in the first embodiment.
  • the analysis unit 12 analyzes the image acquired by the image acquisition unit 11 and recognizes a product included in the image, as in the first embodiment.
  • the analysis unit 12 may execute “object detection”, “recognition that the object is placed on the table”, and “identification of which product the object placed on the table is” in this order. it can.
  • Object detection can be realized using any technique such as image binarization and contour extraction.
  • the recognition that the object is placed on the table can be realized as follows, for example.
  • the information indicating the display area of the mounting surface of the table in the image is stored in the analysis unit 12 in advance.
  • the display area may be indicated by coordinates in a coordinate system in which an arbitrary point in the image is an origin and an arbitrary direction is an x-axis and a y-axis (for example, when the display area is a polygon, the coordinates of the vertexes) ).
  • a part of the image may be the display area of the table mounting surface, or the entire image may be the display area of the table mounting surface.
  • the installation position of the base, the installation position of the camera, the orientation of the camera, and the like are fixed, and the relative positional relationship between the base and the camera is constant.
  • the analysis part 12 detects that the motion of the object which exists in the display area of the mounting surface of a stand stops for a predetermined time or more, it may recognize that the object was placed on the stand.
  • Identifying which product is the object placed on the table is a pre-registered feature of the appearance that appears in the image of the detected object (feature of the region in which the object exists) This is realized by collating the appearance characteristics of each of a plurality of products.
  • the analysis unit 12 may specify a product having the highest appearance similarity with the object, or a product having the highest appearance similarity with the object and having the similarity equal to or higher than a reference value.
  • the appearance characteristics of the product include, but are not limited to, color, surface unevenness, and shape.
  • the output unit 13 When the analysis unit 12 recognizes that the object is placed on the table, the output unit 13 outputs a first sound corresponding to the situation. In addition, when the analysis unit 12 specifies which product is the object placed on the table, the output unit 13 outputs a second sound corresponding to the situation. The first sound and the second sound are different from each other.
  • the output unit 13 may output a sound corresponding to the situation (a sound different from the first and second sounds).
  • the image acquisition unit 11 starts acquiring an image from the camera.
  • the analysis unit 12 starts image analysis.
  • the output unit 13 When the analysis unit 12 recognizes that the object is placed on the table (Yes in S10), the output unit 13 outputs a first sound corresponding to the situation (S11). Note that while the analysis unit 12 does not recognize that the object has been placed on the table (No in S10), the first sound is not output.
  • the output unit 13 outputs a second sound corresponding to the situation (S13).
  • the registration unit 14 registers the specified product as an accounting object. If the analysis unit 12 does not specify which product is the object placed on the table (No in S12), the second sound is not output.
  • the output unit 13 outputs the first sound corresponding to the situation (S15). Thereafter, when the analysis unit 12 specifies which product the object is (Yes in S16), the output unit 13 outputs a second sound corresponding to the situation, and the registration unit 14 specifies the specified product. Is registered as an accounting object (S17).
  • the registration device 10 executes the settlement process ( S19).
  • the registration device 10 may accept cash input as the payment of the total payment amount calculated based on the products registered so far, and may output change or receipt as necessary.
  • the registration device 10 may accept a credit card input, communicate with a credit company system, and perform a settlement process. Further, the registration device 10 may transmit information for payment processing (information indicating registered products, total payment amount, etc.) to another payment device.
  • the same operational effects as those of the first embodiment can be realized. Also, according to the registration device 10 of the present embodiment, different sounds can be output in accordance with the recognition that the object is placed on the table and the product recognition.
  • the accounting worker can grasp that the placement of the object on the table is recognized based on the sound output from the registration device 10. In addition, the accounting worker can grasp that the product has been recognized. Since the accounting worker can grasp the progress of the image analysis, he can proceed with the registration work without any anxiety.
  • the registration device 10 of the present embodiment differs from the first and second embodiments in the sound output when a product is recognized. Details will be described below.
  • An example of the hardware configuration of the registration device 10 is the same as in the first and second embodiments.
  • FIG. 2 An example of a functional block diagram of the registration device 10 is shown in FIG. 2 as in the first and second embodiments.
  • the configurations of the image acquisition unit 11 and the registration unit 14 are the same as those in the first and second embodiments.
  • the analysis unit 12 identifies the product category of the recognized product.
  • Other configurations of the analysis unit 12 are the same as those in the first and second embodiments.
  • product category information indicating a product category for each product is stored in the analysis unit 12 in advance. Then, when the analysis unit 12 recognizes a product by image analysis, the analysis unit 12 refers to the product category information and identifies the product category of the recognized product.
  • the output unit 13 changes the second sound output when the analysis unit 12 recognizes which product is the object placed on the table according to the product category of the recognized product. For example, the output unit 13 may output a sound “po” when “food” is specified, and output a sound “po” when “daily miscellaneous goods” are specified. Other configurations of the output unit 13 are the same as those in the first and second embodiments.
  • the same operational effects as those of the first and second embodiments can be realized. Further, according to the registration device 10 of the present embodiment, the accounting worker can grasp not only that the product has been recognized but also the recognized content (product category) based on the sound output from the registration device 10. . Based on this, the accounting worker can check whether the recognition content is correct.
  • the registration device 10 of the present embodiment differs from the first and second embodiments in the sound output when a product is recognized. Details will be described below.
  • An example of the hardware configuration of the registration device 10 is the same as in the first and second embodiments.
  • FIG. 2 An example of a functional block diagram of the registration device 10 is shown in FIG. 2 as in the first and second embodiments.
  • the configurations of the image acquisition unit 11 and the registration unit 14 are the same as those in the first and second embodiments.
  • the analysis unit 12 outputs the reliability of the recognition result of the product recognition.
  • the reliability may be a similarity calculated by pattern matching (similarity between a recognized product and an object included in an image).
  • Other configurations of the analysis unit 12 are the same as those in the first and second embodiments.
  • the output unit 13 varies the second sound that is output when the analysis unit 12 recognizes which product is the object placed on the table according to the reliability of the recognition result.
  • the reliability may be divided into a plurality of hierarchies such as “high”, “medium”, and “low”, and a sound may be prepared for each hierarchy.
  • the output unit 13 outputs a sound “po” when the reliability is “high”, outputs a sound “pop” when the reliability is “medium”, and the reliability is “low”. In some cases, a popping sound may be output.
  • Other configurations of the output unit 13 are the same as those in the first and second embodiments.
  • the same operational effects as those of the first and second embodiments can be realized.
  • the accounting operator can grasp not only the product recognition but also the reliability of the product recognition based on the sound output from the registration device 10. If the reliability is low, the accounting worker can check whether the recognition content is correct. According to the present embodiment, the accounting operator can check the recognition contents only for the products with low reliability, instead of checking whether the recognition contents are correct for all the products. As a result, it is possible to save work.
  • the registration device 10 can output a sound at a timing different from that of the first to fourth embodiments. Details will be described below.
  • An example of the hardware configuration of the registration apparatus 10 is the same as in the first to fourth embodiments.
  • FIG. 2 An example of a functional block diagram of the registration device 10 is shown in FIG. 2 as in the first to fourth embodiments.
  • the configurations of the image acquisition unit 11 and the registration unit 14 are the same as those in the first to fourth embodiments.
  • the analysis unit 12 continuously analyzes a plurality of frames (images) included in the moving image.
  • the analysis unit 12 recognizes the first product that was not recognized in the frame immediately before the first frame in the first frame, and then the recognition result for the frame after the first frame satisfies a predetermined condition. If satisfied, the recognition result that the first product is included in the image is determined.
  • the predetermined condition may be that after the first product is recognized in the first frame, the first product is recognized continuously for M frames (M is an integer of 1 or more).
  • M is an integer of 1 or more
  • the output unit 13 outputs a third sound when the analysis unit 12 recognizes the first product in the first frame.
  • the output unit 13 outputs the second sound when the analysis unit 12 determines that the predetermined condition is satisfied.
  • the third sound is different from sounds corresponding to other situations of the image analysis (for example, the first sound and the second sound).
  • Other configurations of the output unit 13 are the same as those in the first to fourth embodiments.
  • the registration unit 14 registers the first product as an accounting object after confirming the recognition result that the first product is included in the image.
  • the same operational effects as those of the first to fourth embodiments can be realized.
  • the recognition result of the goods contained in an image can be decided based on the analysis result with respect to not only the analysis result with respect to one frame but with respect to a plurality of frames. As a result, the reliability of the analysis result can be increased.
  • the accounting worker determines the recognition result of the product included in the image based on the analysis results for a plurality of frames based on the sound output from the registration device 10. You can grasp the progress of As a result, the accounting worker can grasp the status of the image analysis in more detail.
  • the registration device 10 may include a switching unit that turns on / off the sound output from the output unit 13.
  • the switching unit can switch ON / OFF according to a user input.
  • the output unit 13 When the sound output from the output unit 13 is ON, the output unit 13 outputs a sound corresponding to the progress state according to the progress state of the image analysis by the analysis unit 12.
  • the output unit 13 when the output of the sound from the output unit 13 is OFF, the output unit 13 does not output a sound corresponding to the progress of image analysis by the analysis unit 12.
  • a customer or a store who is bothered by the sound output can operate the registration device 10 and set it to OFF to avoid the sound output.
  • a user-friendly configuration can be realized.
  • the output unit 13 When the analysis unit 12 recognizes that the object is placed on the table, but the product is not identified as a product (when the product is not recognized), the output unit 13 generates a sound indicating that. It may be output. The sound is different from sounds corresponding to other situations of the image analysis (eg, first sound, second sound, third sound).
  • the case where the product is not recognized may be, for example, a case where there is no product whose similarity is equal to or higher than a reference value.
  • the accounting worker can grasp the situation in which the object is detected but the product is not recognized from the sound output from the registration device 10. As a result, the status of image analysis can be grasped in detail.
  • Image acquisition means for acquiring an image obtained by photographing the mounting surface of the table on which the product is mounted; Analyzing means for recognizing the product included in the image; Registration means for registering the recognized product as an accounting object; Output means for outputting a sound corresponding to the progress of the analysis of the image by the analysis means; A registration device.
  • the output unit is a registration device that outputs the first sound when the analyzing unit recognizes that an object is placed on the table. 3.
  • the output unit outputs a second sound when the analyzing unit recognizes the product. 4).
  • the registration device according to The registration device for causing the output means to vary the second sound according to a product category of the recognized product. 5. 3, the registration device according to The registration device that causes the output means to vary the second sound according to the reliability of the recognition result of the product. 6).
  • the analysis means recognizes the first product not recognized in the frame immediately before the first frame in the first frame, and then recognizes the recognition result for the frame after the first frame as a predetermined condition. If satisfied, the recognition result that the first product is included in the image is confirmed, The output means outputs the third sound when the analyzing means recognizes the first product in the first frame, and when the analyzing means determines that the predetermined condition is satisfied, A registration device that outputs the second sound. 7).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、商品を載置する台の載置面を撮影した画像を取得する画像取得部（１１）と、画像に含まれる商品を認識する解析部（１２）と、認識された商品を会計対象として登録する登録部（１４）と、解析部（１２）による画像の解析の進行状況に対応した音を出力する出力部（１３）と、を有する登録装置（１０）を提供する。

Description

登録装置、登録方法及びプログラム
　本発明は、登録装置、登録方法及びプログラムに関する。
　特許文献１には、会計対象の商品を撮影し、画像解析で画像内の商品を認識して登録する商品登録装置が開示されている。
　特許文献２には、表示面上の実オブジェクトの情報に応じて表示面に表示される表示オブジェクトの表示領域を決定する表示制御装置が開示されている。当該表示制御装置は、食卓に置かれた食器の種別を認識し、種別に応じた表示エフェクトおよび音を出力することができる。
特開２０１６－６２５４５号公報 国際公開第２０１５／０９８１８９号
　会計対象の商品を撮影し、画像解析で画像内の商品を認識して登録する技術においては、会計作業者が画像解析の進行状況を把握し難という問題がある。本発明は、画像解析で会計対象の商品を認識して登録する技術において、会計作業者が画像解析の進行状況を把握できるようにすることを課題とする。
　本発明によれば、
　商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
　前記画像に含まれる前記商品を認識する解析手段と、
　認識された前記商品を会計対象として登録する登録手段と、
　前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段と、
を有する登録装置が提供される。
　また、本発明によれば、
　コンピュータが、
　商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
　前記画像に含まれる前記商品を認識する解析工程と、
　認識された前記商品を会計対象として登録する登録工程と、
　前記解析工程での前記画像の解析の進行状況に対応した音を出力する出力工程と、
を実行する登録方法が提供される。
　また、本発明によれば、
　コンピュータを、
　商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
　前記画像に含まれる前記商品を認識する解析手段、
　認識された前記商品を会計対象として登録する登録手段、
　前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段、
として機能させるプログラムが提供される。
　本発明によれば、画像解析で会計対象の商品を認識して登録する技術において、会計作業者が画像解析の進行状況を把握できるようになる。
　上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
本実施形態の登録装置のハードウエア構成の一例を示す図である。 本実施形態の登録装置の機能ブロック図の一例を示す図である。 本実施形態の登録装置を利用した会計処理で利用されるカメラと台の一例を模式的に示す図である。 本実施形態の登録装置の処理の流れの一例を示すフローチャートである。
＜第１の実施形態＞
　まず、本実施形態の登録装置の概要を説明する。本実施形態の登録装置は、商品を販売する店舗での会計処理に利用される。登録装置は、いわゆるＰＯＳ（point of sales）レジスターであってもよい。登録装置は、店員に操作されることを前提とした装置であってもよいし、顧客に操作されることを前提とした装置であってもよい。
　登録装置を利用した会計処理では、会計処理の対象の商品を載置するための台と、当該台の載置面を撮影するカメラとが用意される。会計処理において、会計作業者（店員、顧客等）は、会計対象の商品を台の載置面に載置する。登録装置は、カメラにより生成された画像を取得すると、画像を解析し、画像に含まれる商品を認識する。そして、登録装置は、認識した商品を会計対象の商品として登録する。
　なお、登録装置は、会計作業者が画像解析の進行状況を把握できるようにする機能を有する。具体的には、登録装置は、画像解析の進行状況に応じて、進行状況に対応した音を出力する。進行状況に対応した複数の音は互いに異なる。
　このような本実施形態の登録装置によれば、会計作業者は、登録装置から出力された音に基づき、画像解析の進行状況を把握することができる。
　次に、本実施形態の登録装置の構成を詳細に説明する。まず、登録装置のハードウエア構成の一例について説明する。登録装置が備える機能は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図１は、登録装置のハードウエア構成を例示するブロック図である。図１に示すように、登録装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
　図２に、登録装置１０の機能ブロック図の一例を示す。図示するように、登録装置１０は、画像取得部１１と、解析部１２と、出力部１３と、登録部１４とを有する。
　画像取得部１１は、商品を載置する台の載置面を撮影した画像を取得する。上述の通り、登録装置１０を利用した会計処理では、会計処理の対象の商品を載置するための台と、当該台の載置面を撮影するカメラとが用意される。画像取得部１１は、当該カメラにより生成された画像を取得する。カメラは動画像（複数の画像）を生成し、画像取得部１１は当該動画像をカメラから取得してもよい。
　図３に、台とカメラの一例を模式的に示す。図では、台１と、部材２と、支柱３と、カメラ４とが示されている。部材２は、台１の上面に位置し、台１の一部をなす。部材２の露出面が、商品を載置する載置面となる。なお、部材２はディスプレイであってもよいし、他の部材であってもよい。カメラ４は支柱３に取り付けられており、上方から部材２の露出面を撮影する。カメラ４により生成された画像は、有線及び／又は無線での通信により、不図示の登録装置１０に送信される。
　図２に戻り、解析部１２は、画像取得部１１により取得された画像を解析し、画像に含まれる商品を認識する。解析部１２は、パターンマッチング技術などを利用して、商品を認識することができる。
　例えば、解析部１２は、画像の二値化、輪郭線抽出等の技術を利用して画像に含まれる物体を検出する（物体検出）。その後、解析部１２は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴とを照合することで、その物体がいずれの商品であるかを特定する（商品認識）。例えば、解析部１２は、その物体との外観の類似度が最も高い商品、又は、その物体との外観の類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。
　出力部１３は、解析部１２による画像の解析の進行状況に対応した音を出力する。進行状況に対応した複数の音は互いに異なる。例えば、出力部１３は、物体検出の完了に応じてある音（例：「ピ」）を出力し、商品認識の完了に応じて他の音（例：「ポ」）を出力してもよい。なお、ここでは、物体検出の完了及び商品認識の完了に応じて音を出力する例を示したが、画像解析が他の状況に達したことに応じて音を出力する構成としてもよい。
　登録部１４は、解析部１２により認識された商品を会計対象として登録する。例えば、登録部１４は、解析部１２により認識された商品の商品情報を商品マスタから取得し、取得した商品情報の少なくとも一部を登録装置１０に登録する。商品情報は、価格、商品名、商品コード等を含む。
　以上説明した本実施形態の登録装置１０によれば、台に載置された商品を画像解析で認識し、認識した商品を会計処理の対象として登録することができる。このような登録装置１０によれば、商品の登録作業が効率化する。
　また、登録装置１０は、画像解析の進行状況に応じて、進行状況に対応した音を出力することができる。進行状況に対応した複数の音は互いに異なる。例えば、登録装置１０は、物体検出の完了に応じてある音（例：「ピ」）を出力し、商品認識の完了に応じて他の音（例：「ポ」）を出力することができる。このような登録装置１０によれば、会計作業者は、登録装置１０から出力される音に基づき、画像解析の進行状況を把握することができる。
＜第２の実施形態＞
　本実施形態の登録装置１０は、第１の実施形態と異なるタイミングで音を出力することができる。以下、詳細に説明する。
　登録装置１０のハードウエア構成の一例は、第１の実施形態と同様である。
　登録装置１０の機能ブロック図の一例は、第１の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１の実施形態と同様である。
　解析部１２は、第１の実施形態同様、画像取得部１１により取得された画像を解析し、画像に含まれる商品を認識する。解析部１２は、「物体の検出」、「物体が台に載置されたことの認識」、「台に載置された物体がいずれの商品であるかの特定」をこの順に実行することができる。
　物体の検出は、画像の二値化、輪郭線抽出等のあらゆる技術を利用して実現できる。
　物体が台に載置されたことの認識は、例えば、以下のようにして実現することができる。まず、予め、画像内の台の載置面の表示領域を示す情報を解析部１２に保持させておく。表示領域は、画像内の任意の点を原点とし、任意の方向をｘ軸及びｙ軸とした座標系の座標で示されてもよい（例：表示領域が多角形である場合、頂点の座標）。画像内の一部が台の載置面の表示領域であってもよいし、画像の全部が台の載置面の表示領域であってもよい。台の設置位置、カメラの設置位置、カメラの向き等は固定され、台とカメラとの相対的な位置関係等は一定であるものとする。そして、解析部１２は、台の載置面の表示領域に存在する物体の動きが所定時間以上停止したことを検出すると、その物体が台に載置されたと認識してもよい。
　台に載置された物体がいずれの商品であるかの特定（商品認識）は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴とを照合することで実現される。例えば、解析部１２は、その物体との外観の類似度が最も高い商品、又は、その物体との外観の類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。
　出力部１３は、解析部１２により物体が台に載置されたことを認識されると、当該状況に対応した第１の音を出力する。また、出力部１３は、解析部１２により台に載置された物体がいずれの商品であるかを特定されると、当該状況に対応した第２の音を出力する。第１の音及び第２の音は、互いに異なる音である。
　なお、出力部１３は、解析部１２により物体が検出されると、当該状況に対応した音（第１及び第２の音と異なる音）を出力してもよい。
　次に、図４のフローチャートを用いて、本実施形態の登録装置１０の処理の流れの一例を説明する。
　処理がスタートされると、画像取得部１１はカメラからの画像の取得を開始する。そして、解析部１２は、画像の解析を開始する。
　解析部１２により物体が台に載置されたことを認識されると（Ｓ１０のＹｅｓ）、出力部１３は、その状況に対応した第１の音を出力する（Ｓ１１）。なお、解析部１２により物体が台に載置されたことを認識されない間（Ｓ１０のＮｏ）、第１の音は出力されない。
　その後、解析部１２によりその物体がいずれの商品であるか特定されると（Ｓ１２のＹｅｓ）、出力部１３は、その状況に対応した第２の音を出力する（Ｓ１３）。また、Ｓ１３では、登録部１４は、特定された商品を会計対象として登録する。なお、解析部１２により台に載置された物体がいずれの商品であるかを特定されなければ（Ｓ１２のＮｏ）、第２の音は出力されない。
　その後、解析部１２により次の物体が台に載置されたことを認識されると（Ｓ１４のＹｅｓ）、出力部１３は、その状況に対応した第１の音を出力する（Ｓ１５）。その後、解析部１２によりその物体がいずれの商品であるか特定されると（Ｓ１６のＹｅｓ）、出力部１３はその状況に対応した第２の音を出力し、登録部１４は特定された商品を会計対象として登録する（Ｓ１７）。
　解析部１２によるＳ１４及びＳ１６での新たな認識／特定がなく（Ｓ１４のＮｏ、Ｓ１６のＮｏ）、精算処理の入力があった場合（Ｓ１８のＹｅｓ）、登録装置１０は精算処理を実行する（Ｓ１９）。例えば、登録装置１０は、それまでに登録された商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、登録装置１０は、クレジットカードの入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、登録装置１０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。
　以上説明した本実施形態の登録装置１０によれば、第１の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、物体が台に載置されたことの認識、及び、商品認識各々に応じて、互いに異なる音を出力することができる。
　このような本実施形態の登録装置１０によれば、会計作業者は、登録装置１０から出力された音に基づき、台への物体の載置を認識されたことを把握できる。また、会計作業者は、商品認識されたことを把握できる。会計作業者は、画像解析の進行状況を把握できるので、不安なく登録作業を進めることができる。
＜第３の実施形態＞
　本実施形態の登録装置１０は、商品認識された際に出力される音が、第１及び第２の実施形態と異なる。以下、詳細に説明する。
　登録装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。
　登録装置１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１及び第２の実施形態と同様である。
　解析部１２は、認識した商品の商品カテゴリを特定する。解析部１２のその他の構成は、第１及び第２の実施形態と同様である。例えば、予め、商品毎に商品カテゴリを示した商品カテゴリ情報を、解析部１２に保持させておく。そして、解析部１２は、画像解析で商品を認識すると、当該商品カテゴリ情報を参照し、認識した商品の商品カテゴリを特定する。
　出力部１３は、解析部１２により台に載置された物体がいずれの商品であるか認識された際に出力する第２の音を、認識された商品の商品カテゴリに応じて異ならせる。例えば、出力部１３は、「食品」が特定された際に「ポ」という音を出力し、「日用雑貨」が特定された際に「ポー」という音を出力してもよい。出力部１３のその他の構成は、第１及び第２の実施形態と同様である。
　以上説明した本実施形態の登録装置１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、会計作業者は、登録装置１０から出力された音に基づき、商品認識されたことのみならず、認識内容（商品カテゴリ）を把握することができる。それに基づき、会計作業者は、認識内容が間違っていないかを確認できる。
＜第４の実施形態＞
　本実施形態の登録装置１０は、商品認識された際に出力される音が、第１及び第２の実施形態と異なる。以下、詳細に説明する。
　登録装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。
　登録装置１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１及び第２の実施形態と同様である。
　解析部１２は、商品認識の認識結果の信頼度を出力する。当該信頼度は、パターンマッチングで算出された類似度（認識した商品と画像に含まれる物体との類似度）であってもよい。解析部１２のその他の構成は、第１及び第２の実施形態と同様である。
　出力部１３は、解析部１２により台に載置された物体がいずれの商品であるか認識された際に出力する第２の音を、認識結果の信頼度に応じて異ならせる。例えば、信頼度を「高」、「中」、「低」のように複数に階層分けし、階層毎に音が用意されてもよい。例えば、出力部１３は、信頼度が「高」の場合に「ポ」という音を出力し、信頼度が「中」の場合に「ポポ」という音を出力し、信頼度が「低」の場合に「ポポポ」という音を出力してもよい。出力部１３のその他の構成は、第１及び第２の実施形態と同様である。
　以上説明した本実施形態の登録装置１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、会計作業者は、登録装置１０から出力された音に基づき、商品認識されたことのみならず、商品認識の信頼度を把握することができる。会計作業者は、信頼度が低い場合には、認識内容が間違っていないか確認することができる。本実施形態によれば、会計作業者は、全ての商品に対して認識内容が間違っていないか確認するのでなく、信頼度が低い商品に対してのみ認識内容の確認をすることができる。結果、作業の手間を省くことができる。
＜第５の実施形態＞
　本実施形態の登録装置１０は、第１乃至第４の実施形態と異なるタイミングで音を出力することができる。以下、詳細に説明する。
　登録装置１０のハードウエア構成の一例は、第１乃至第４の実施形態と同様である。
　登録装置１０の機能ブロック図の一例は、第１乃至第４の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１乃至第４の実施形態と同様である。
　解析部１２は、動画像に含まれる複数のフレーム（画像）を連続的に解析する。そして、解析部１２は、第１のフレームの直前のフレームで認識されなかった第１の商品を第１のフレームで認識した後、第１のフレームの後のフレームに対する認識結果が所定の条件を満たすと、第１の商品が画像に含まれるという認識結果を確定する。所定の条件は、第１の商品を第１のフレームで認識した後、Ｍフレーム連続で第１の商品を認識することであってもよい（Ｍは１以上の整数）。解析部１２のその他の構成は、第１乃至第４の実施形態と同様である。
　出力部１３は、解析部１２により第１の商品が第１のフレームで認識されると第３の音を出力する。そして、出力部１３は、解析部１２により上記所定の条件を満たすと判断されると第２の音を出力する。第３の音は、画像解析のその他の状況に対応した音（例：第１の音、第２の音）と異なる。出力部１３のその他の構成は、第１乃至第４の実施形態と同様である。
　登録部１４は、第１の商品が画像に含まれるという認識結果を確定された後、第１の商品を会計対象として登録する。
　以上説明した本実施形態の登録装置１０によれば、第１乃至第４の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、１つのフレームに対する解析結果だけでなく、複数のフレームに対する解析結果に基づいて、画像に含まれる商品の認識結果を確定することができる。結果、解析結果の信頼性を高めることができる。
　また、本実施形態の登録装置１０によれば、会計作業者は、登録装置１０から出力される音に基づき、複数のフレームに対する解析結果に基づいて画像に含まれる商品の認識結果を確定する処理の進行状況を把握することができる。結果、会計作業者は、より詳細に画像解析の状況を把握できる。
　ここで、すべての実施形態に適用可能な変形例を説明する。登録装置１０は、出力部１３からの音の出力をＯＮ／ＯＦＦする切替部を有してもよい。切替部は、ユーザ入力に応じてＯＮ／ＯＦＦを切り替えることができる。出力部１３からの音の出力がＯＮになっている場合、出力部１３は、解析部１２による画像の解析の進行状況に応じて、進行状況に対応した音を出力する。一方、出力部１３からの音の出力がＯＦＦになっている場合、出力部１３は、解析部１２による画像の解析の進行状況に対応した音を出力しない。音の出力を煩わしく思う客や店舗は、登録装置１０を操作し、ＯＦＦ設定にすることで、音の出力を回避できる。このように、当該変形例によれば、ユーザフレンドリーな構成を実現できる。
　すべての実施形態に適用可能な他の変形例を説明する。解析部１２により、物体が台に載置されたことを認識されたが、その物体がいずれの商品であるかを特定されない場合（商品認識されない場合）、出力部１３はその旨を示す音を出力してもよい。当該音は、画像解析のその他の状況に対応した音（例：第１の音、第２の音、第３の音）と異なる。商品認識されない場合は、例えば、上述した類似度が基準値以上となる商品が存在しない場合であってもよい。当該変形例によれば、会計作業者は、物体検出されているが、商品認識されない状況を、登録装置１０から出力された音により把握することができる。結果、画像解析の状況を詳細に把握できる。
　以下、参考形態の例を付記する。
１．　商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
　前記画像に含まれる前記商品を認識する解析手段と、
　認識された前記商品を会計対象として登録する登録手段と、
　前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段と、
を有する登録装置。
２．　１に記載の登録装置において、
　前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると、第１の前記音を出力する登録装置。
３．　１又は２に記載の登録装置において、
　前記出力手段は、前記解析手段により前記商品を認識されると、第２の前記音を出力する登録装置。
４．　３に記載の登録装置において、
　前記出力手段は、前記第２の音を、認識された前記商品の商品カテゴリに応じて異ならせる登録装置。
５．　３に記載の登録装置において、
　前記出力手段は、前記第２の音を、前記商品の認識結果の信頼度に応じて異ならせる登録装置。
６．　３から５のいずれかに記載の登録装置において、
　前記解析手段は、第１のフレームの直前のフレームで認識されなかった第１の前記商品を前記第１のフレームで認識した後、前記第１のフレームの後のフレームに対する認識結果が所定の条件を満たすと、前記第１の商品が前記画像に含まれるという認識結果を確定し、
　前記出力手段は、前記解析手段により前記第１の商品が前記第１のフレームで認識されると第３の前記音を出力し、前記解析手段により前記所定の条件を満たすと判断されると前記第２の音を出力する登録装置。
７．　コンピュータが、
　商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
　前記画像に含まれる前記商品を認識する解析工程と、
　認識された前記商品を会計対象として登録する登録工程と、
　前記解析工程での前記画像の解析の進行状況に対応した音を出力する出力工程と、
を実行する登録方法。
８．　コンピュータを、
　商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
　前記画像に含まれる前記商品を認識する解析手段、
　認識された前記商品を会計対象として登録する登録手段、
　前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段、
として機能させるプログラム。

Claims (8)

  1. 　商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
    　前記画像に含まれる前記商品を認識する解析手段と、
    　認識された前記商品を会計対象として登録する登録手段と、
    　前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段と、
    を有する登録装置。
  2. 　請求項１に記載の登録装置において、
    　前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると、第１の前記音を出力する登録装置。
  3. 　請求項１又は２に記載の登録装置において、
    　前記出力手段は、前記解析手段により前記商品を認識されると、第２の前記音を出力する登録装置。
  4. 　請求項３に記載の登録装置において、
    　前記出力手段は、前記第２の音を、認識された前記商品の商品カテゴリに応じて異ならせる登録装置。
  5. 　請求項３に記載の登録装置において、
    　前記出力手段は、前記第２の音を、前記商品の認識結果の信頼度に応じて異ならせる登録装置。
  6. 　請求項３から５のいずれか１項に記載の登録装置において、
    　前記解析手段は、第１のフレームの直前のフレームで認識されなかった第１の前記商品を前記第１のフレームで認識した後、前記第１のフレームの後のフレームに対する認識結果が所定の条件を満たすと、前記第１の商品が前記画像に含まれるという認識結果を確定し、
    　前記出力手段は、前記解析手段により前記第１の商品が前記第１のフレームで認識されると第３の前記音を出力し、前記解析手段により前記所定の条件を満たすと判断されると前記第２の音を出力する登録装置。
  7. 　コンピュータが、
    　商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
    　前記画像に含まれる前記商品を認識する解析工程と、
    　認識された前記商品を会計対象として登録する登録工程と、
    　前記解析工程での前記画像の解析の進行状況に対応した音を出力する出力工程と、
    を実行する登録方法。
  8. 　コンピュータを、
    　商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
    　前記画像に含まれる前記商品を認識する解析手段、
    　認識された前記商品を会計対象として登録する登録手段、
    　前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段、
    として機能させるプログラム。
PCT/JP2018/006718 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム WO2019163095A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/006718 WO2019163095A1 (ja) 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム
US16/971,200 US12079793B2 (en) 2018-02-23 2018-02-23 Registration apparatus, registration method, and non-transitory storage medium
JP2020501954A JP7070654B2 (ja) 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006718 WO2019163095A1 (ja) 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019163095A1 true WO2019163095A1 (ja) 2019-08-29

Family

ID=67687180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006718 WO2019163095A1 (ja) 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム

Country Status (3)

Country Link
US (1) US12079793B2 (ja)
JP (1) JP7070654B2 (ja)
WO (1) WO2019163095A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097355A1 (en) * 2018-02-23 2021-04-01 Nec Corporation Registration apparatus, registration method, and non-transitory storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022139727A (ja) * 2021-03-12 2022-09-26 東芝テック株式会社 読取装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156934A (ja) * 2012-01-31 2013-08-15 Toshiba Tec Corp 情報処理装置、店舗システム及びプログラム
JP2016115173A (ja) * 2014-12-16 2016-06-23 カシオ計算機株式会社 売上処理装置、および客層別商品人気分析方法
JP2017102595A (ja) * 2015-11-30 2017-06-08 株式会社寺岡精工 商品販売データ処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020196204A1 (en) * 2001-06-26 2002-12-26 Matthew Senn Steven Michael Retail customer and product purchase divider with interactive retail transaction functions
US7551060B1 (en) * 2005-10-19 2009-06-23 Ncr Corporation Feedback device
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
EP2668611A4 (en) * 2011-01-24 2016-02-10 Datalogic Adc Inc SYSTEMS AND METHODS FOR PROVIDING A RETURN TO A USER WORKING AT AN AUTOMATED BOX
WO2015098188A1 (ja) 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
JP6555866B2 (ja) 2014-09-22 2019-08-07 カシオ計算機株式会社 商品登録装置及びプログラム
US20160180658A1 (en) * 2014-12-19 2016-06-23 Symbol Technologies, Inc. Apparatus and method for adaptive notifications
JP2016212502A (ja) * 2015-04-30 2016-12-15 東芝テック株式会社 顧客管理システム、顧客管理装置、及び顧客管理方法
JP6916015B2 (ja) * 2017-03-23 2021-08-11 東芝テック株式会社 販売データ処理装置およびプログラム
WO2019059213A1 (ja) * 2017-09-20 2019-03-28 パナソニックＩｐマネジメント株式会社 商品案内システム、商品案内方法及びプログラム
JP6303160B1 (ja) * 2017-11-01 2018-04-04 和則 藤沢 購入商品精算支援システム
WO2019163095A1 (ja) * 2018-02-23 2019-08-29 日本電気株式会社 登録装置、登録方法及びプログラム
JP2019185472A (ja) * 2018-04-12 2019-10-24 東芝テック株式会社 商品販売データ処理装置およびプログラム
JP2020035015A (ja) * 2018-08-27 2020-03-05 東芝テック株式会社 チェックアウト装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156934A (ja) * 2012-01-31 2013-08-15 Toshiba Tec Corp 情報処理装置、店舗システム及びプログラム
JP2016115173A (ja) * 2014-12-16 2016-06-23 カシオ計算機株式会社 売上処理装置、および客層別商品人気分析方法
JP2017102595A (ja) * 2015-11-30 2017-06-08 株式会社寺岡精工 商品販売データ処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097355A1 (en) * 2018-02-23 2021-04-01 Nec Corporation Registration apparatus, registration method, and non-transitory storage medium
US12079793B2 (en) * 2018-02-23 2024-09-03 Nec Corporation Registration apparatus, registration method, and non-transitory storage medium

Also Published As

Publication number Publication date
JP7070654B2 (ja) 2022-05-18
JPWO2019163095A1 (ja) 2021-02-04
US12079793B2 (en) 2024-09-03
US20210097355A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
JP2019168762A (ja) 精算システム、精算方法及びプログラム
JP7464156B2 (ja) 登録装置、登録方法及びプログラム
WO2019215966A1 (ja) 登録システム、登録方法及びプログラム
WO2019163095A1 (ja) 登録装置、登録方法及びプログラム
JP7248010B2 (ja) 登録システム、登録方法及びプログラム
WO2019181034A1 (ja) 登録システム、登録方法及びプログラム
JP7322945B2 (ja) 処理装置、処理方法及びプログラム
JP7405144B2 (ja) 処理装置、処理方法及びプログラム
JP7205603B2 (ja) 登録装置、登録方法及びプログラム
JP7215474B2 (ja) 登録システム、登録方法及びプログラム
JP7200487B2 (ja) 精算システム、精算方法及びプログラム
JP7435716B2 (ja) 登録装置、登録方法及びプログラム
WO2019163096A1 (ja) 登録装置、登録方法及びプログラム
JP7464162B2 (ja) 処理装置、処理方法及びプログラム
WO2020174526A1 (ja) 処理装置、処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907304

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020501954

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18907304

Country of ref document: EP

Kind code of ref document: A1